Cloudera Preps Hadoop dla Enterprise

Cloudera zaprezentował nowy zestaw narzędzi do zarządzania Hadoop, o nazwie Cloudera Enterprise, że firma zaoferuje roczną opłatę abonamentową, ogłosiła we wtorek. Firma zaktualizowała również pakiet dystrybucyjny open source Hadoop.

Obie nowe wersje, a także kilka nowych partnerstw z dostawcami oprogramowania do zarządzania danymi, pokazują, że firma przygotowuje się do zaoferowania nowej technologii baz danych - obecnie najczęściej wykorzystywanej przez internetowych gigantów, takich jak Google i Yahoo - na rynek przedsiębiorstw jako alternatywa dla relacyjnych baz danych.

"Nasz zakład to nie tylko duże firmy internetowe, ale banki, szpitale i firmy ubezpieczeniowe odkryją, że muszą analizować złożone i zorganizowane razem dane, a Hadoop został stworzony do tego ", powiedział CEO firmy Cloudera, Mike Olson. "Hadoop rozwiązuje nowy problem w nowy sposób."

Jedna z coraz większej liczby baz danych nie bazujących na SQL lub NoSQL, Hadoop jest oparta na Google MapReduce, strukturze przetwarzania równoległych danych na dużej liczbie komputerów węzły. Hadoop, obecnie rozwijany przez Apache Software Foundation jako projekt open source, oferuje alternatywę dla tradycyjnych relacyjnych baz danych, przynajmniej w przypadku analizowania dużych, szybko zmieniających się zestawów danych.

Może pracować zarówno z SQL, jak i innymi -SQL i jest bardziej odporny na awarie serwerów niż relacyjne bazy danych, powiedział Olson.

Cloudera pakuje Hadoop dla organizacji klasy średniej, zarówno z dystrybucją Hadoop, jak i z niedawno wydanym zestawem narzędzi do zarządzania. Oba pakiety powinny umożliwić organizacjom bez dogłębnego doświadczenia technicznego w Hadoop uruchomienie oprogramowania, powiedział Olson. "Istnieje mit, że Hadoop jest użyteczny, jeśli posiadasz dane skalowane przez Google." Jest wielu użytkowników, którzy mają zaledwie kilka terabajtów danych, które chcieliby przeanalizować ", powiedział Olson.

Dystrybucja Cloudera dla Hadoop (CDH) jest pakiet open-source z wstępnie zintegrowanymi programami zbudowanymi wokół Hadoop Common, wcześniej o nazwie Hadoop Core. Pakiet zawiera: Hive, który zapewnia infrastrukturę hurtowni danych; HBase, baza danych leżąca u podstaw Hadoop; Pig, kompilator do programów zmniejszających mapę; Zookeper, harmonogram uruchamiania aplikacji na wielu serwerach i MapReduce.

W nowo wydanej wersji 3 pakiet zawiera trzy programy, które firma opublikowała jako projekty open-source, na licencji open source Apache V2. Jednym z nich jest Flume, który może pomóc w załadowaniu danych do Hadoop. Kolejnym nowym dodatkiem jest Oozie, czyli oprogramowanie do zarządzania przepływem pracy. Ostatnim z nich jest kod środowiska Hadoop (HUE), który zapewnia interfejs użytkownika do zarządzania Hadoop.

"HUE pozwala każdemu budować aplikacje skierowane do analityków, wie jak rozmawiać z klastrami Hadoop" - powiedział Olson.

Pakiet Cloudera Enterprise rozszerza CDH w wersji 3 o dodatkowe narzędzia do zarządzania. To nowe oprogramowanie, które nie jest open source, pozwala administratorom kontrolować zarządzanie dostępem przy użyciu protokołu Lightweight Directory Access Protocol. Dostarczane są również programy do udostępniania zasobów, do konfigurowania i monitorowania wydajności.

Olson nie omówił jak dużo Cloudera zrobiła z opłat za subskrypcję i konsultacje do tej pory, ale zauważa, że ​​w pierwszym kwartale 2010 roku firma wyprodukowała tyle, ile co udało się osiągnąć przez połowę 2009 roku Olson powiedział, że spośród różnych branż, usług finansowych, telekomunikacji, handlu detalicznego, rządu i firm handlujących w Internecie, interesuje się tą technologią.

"To, co firmy robią z Hadoop, są różne. ogólnie rzecz biorąc, ci ludzie zbierają dużo danych z wielu miejsc i muszą poddać je zaawansowanym analizom "- powiedział Olson. "Usługi finansowe są zainteresowane wykorzystaniem Hadoop do wykrywania oszustw. W telekomunikacji istnieje realna potrzeba optymalizacji sieci i zmniejszenia liczby klientów".

Oprócz oferowania tych pakietów, Cloudera pozyskiwał wsparcie dla Hadoop od dostawców oprogramowania Business Intelligence (BI) oraz oprogramowania do zarządzania danymi.

Olson planuje ogłosić podczas swojego wystąpienia na szczycie Hadoop 2010, który odbędzie się w Santa Clara, Kalifornia we wtorek, że dostawca MicroStrategy sprzedawca BI będzie obsługiwał użycie Hadoop.

Kolejnym nowym partnerem jest Talend, dostawca oprogramowania do integracji danych open source. Firma rozszerzyła swój Talent Integration Suite do interfejsu z bazami danych Hadoop. Jego pakiet pozwala administratorom zarządzać i agregować wiele źródeł danych z jednej konsoli. Dzięki oprogramowaniu Hadoop oprogramowanie "może natywnie wstawiać lub pobierać dane i przetwarzać dane w architekturze Hadoop" - powiedział Yves de Montcheuil, wiceprezes ds. Marketingu w firmie Talend.

Microstrategy i Talend dołączają do coraz większej liczby firm przygotowujących otwarte oprogramowanie lub komercyjne narzędzia do zarządzania dla Hadoop. W zeszłym tygodniu Cloudera i Quest rozpoczęli projekt budowy oprogramowania, które może łączyć Hadoop z bazami danych Oracle. W maju firma Pentaho z otwartym biznesem, zajmująca się wywiadem gospodarczym, ogłosiła, że ​​jej pakiet BI będzie działał z bazami danych Hadoop.

W osobnym wywiadzie dla IDG News Service, Yahoo CTO Raymie Stata zwrócił uwagę, że Hadoop może zmniejszyć potrzebę budowania superkomputerów analizować duże zbiory danych. Tradycyjnie, duże zestawy danych zostały przeniesione z pamięci do superkomputera, który jest połączonym zbiorem serwerów do analizy. W przeciwieństwie do tego Hadoop przenosi obliczenia analityczne do miejsca, w którym znajdują się dane, eliminując potrzebę użycia maszyny centalnej, gigantycznej. Yahoo był wczesnym czołowym współpracownikiem Hadoop.

Oprócz oferty firmy Cloudera, Hadoop jest również komercjalizowany przez IBM, który niedawno zaczął oferować zestaw usług analitycznych wykorzystujących tę technologię.

Joab Jackson obejmuje oprogramowanie do zarządzania i ogólne nowości technologiczne dla Serwisu IDG News. Śledź Joaba na Twitterze na @Joab_Jackson. Adres e-mail Joaba to [email protected]