Składniki

Dostawcy baz danych Dodaj Google MapReduce

MapReduce

MapReduce
Anonim

Greenplum i Aster Data Systems, dwie startupy zaangażowane w dużą skalę analiza danych, ogłosiła w tym tygodniu, że ich produkty będą obsługiwać MapReduce, technikę programowania opracowaną pierwotnie przez Google w celu równoległego przetwarzania dużych zbiorów danych na całym sprzęcie towarowym.

Deweloperzy oprogramowania wydają się być bardziej wygodni w takich językach jak Java i C ++ niż język baz danych SQL, powiedział Mayank Bawa, współzałożyciel i dyrektor generalny Aster, twórcy systemu baz danych klastra, który rozdziela obciążenia na wiele dyskretnych poziomów.

"Większość programistów zmaga się z niuansami tworzenia bazy danych dobrze tańczących w ich kierunkach," napisał w poście na blogu. "Rzeczywiście, SQL Maestro jest wymagany do wykonywania interesujących zapytań dotyczących transformacji danych (podczas przetwarzania ETL lub przetwarzania Extract-Load-Transform) lub eksploracji danych (podczas analityki)."

Wprowadź MapReduce, której celem było dostarczenie "trywialnie równoległy framework, dzięki któremu nawet początkujący programiści (aka stażyści) mogli pisać programy w różnych językach (Java / C / C ++ / Perl / Python), aby analizować dane niezależne od skali," napisał Bawa.

Tymczasem Greenplum, Producent bazy danych, o której mówi, że może skalować się do petabajta informacji, powiedział w tym tygodniu, że struktura MapReduce będzie częścią jego silnika przepływu danych od września.

Podwójne ogłoszenia przyniosły ukłon w stronę zatwierdzenia przez jednego bliskiego obserwatora bazy danych world.

"MapReduce sam w sobie może wykonać wiele ważnych zadań związanych z manipulowaniem i analizą danych, a zintegrowanie go z SQL powinno tylko zwiększyć jego zastosowanie i moc" - napisał Curt Monash z Monash Research na blogu DBMS2.

"MapReduce nie jest potrzebny dla tabu duże zarządzanie danymi. Zostało to skutecznie zrównoleglone na inne sposoby - dodał - ale jeśli chcesz zbudować nie-tabelaryczne struktury, takie jak indeksy tekstowe lub wykresy, MapReduce okazuje się być dużą pomocą. "