Duże plany danych na Facebooku obejmują magazyny, szybszą analitykę

Facebook może cenić dane, które posiada na swoim plusie miliardów użytkowników za zwroty z reklam, ale Oczekuje się, że analiza, którą strona przeprowadzi na tych danych, będzie stanowić kolejne wyzwania w nadchodzącym roku, powiedział inżynier.

Problemy, z którymi Facebook zmagał się z "znacznie wcześniej niż w szerszym przemyśle", to m.in. bardziej wydajne sposoby przetwarzania zachowań użytkowników na stronie, sposobów lepszego dostępu i konsolidacji różnych typów danych w wielu centrach danych Facebooka oraz opracowywania nowych systemów oprogramowania open source do przetwarzania tych danych, Ra vi Murthy, który zarządza infrastrukturą analityczną Facebooka, powiedział we wtorek.

"Facebook to firma danych, a najbardziej oczywistą rzeczą, którą ludzie myślą na tym froncie, jest kierowanie reklam", powiedział podczas konferencji branżowej w San Francisco, podczas rozmawiać o back-endowej infrastrukturze Facebooka, analitykach danych i projektach open source.

[Czytaj dalej: najlepsze usługi transmisji telewizyjnej]

"Ale to idzie głębiej niż to," powiedział.

Jeden główny obszar praca w tle jest związana z infrastrukturą analityczną Facebooka, która ma na celu przyspieszenie rozwoju produktu i poprawę wrażenia użytkownika dzięki dogłębnej analizie wszystkich dostępnych danych, niezależnie od tego, czy składa się z działań podejmowanych przez użytkowników w witrynie, takich jak aktualizacje statusu publikowania, czy też aplikacje, których używają w Facebooku na różnych urządzeniach.

Facebook używa obecnie kilku różnych systemów oprogramowania open source, znanych jako Hadoop, Corona i Prism, do przetwarzania i analizy danych, które firma będzie koncentrować na tworzeniu szybszy i bardziej wydajny w ciągu najbliższych sześciu do dwunastu miesięcy, powiedział Murthy.

Wiele wyzwań firmy jest powiązanych z tym, co Facebook nazywa jako magazyn danych, który łączy dane z wielu źródeł w bazę danych, w której można analizować aktywność użytkownika łącznie, np. poprzez codzienne raportowanie liczby zdjęć, które zostały oznaczone w danym kraju, lub sprawdzenie, ilu użytkowników w danym obszarze zaangażowało się w polecane im strony.

Analiza został zaprojektowany, aby zoptymalizować doświadczenia użytkowników i dowiedzieć się, co użytkownicy lubią i nie lubią, ale jest też coraz bardziej podatny, ponieważ Facebook może uzyskać dostęp do coraz większej liczby danych o swoich użytkownikach, powiedział Murthy. Obecnie magazyn Facebooka codziennie pobiera 500 terabajtów nowych danych lub 500 000 gigabajtów. Magazyn zwiększył się prawie 4000 razy w ciągu ostatnich czterech lat, "wyprzedzając wzrost użytkowników Facebooka", powiedział Murthy.

Aby poradzić sobie z tymi problemami, Facebook opracował system oprogramowania Prism, który został zaprojektowany do wykonywania kluczowe funkcje analizy w centrach danych firmy na całym świecie i podzielenie analiz na "fragmenty" - powiedział Murthy. W ten sposób wykonanie analizy na, powiedzmy, niektórych danych związanych z kanałami informacyjnymi użytkowników nie spowoduje większego zapchania magazynu.

"Coraz częściej zastanawiamy się, jak przechwycić te dane", powiedział.

Firma pracuje również nad systemem, który ma zupełnie inne podejście do zapytania o magazyn, aby dać odpowiedź w ciągu kilku sekund, powiedział Murthy.

Kolejnym obszarem, na którym Facebook nieustannie się rozwija, jest jego "infrastruktura transakcyjna, "Która obsługuje bardziej podstawowe, codzienne przetwarzanie danych, powiedzmy, polubień, komentarzy i aktualizacji statusu, aby zapewnić sprawne funkcjonowanie sieci społecznościowej. Niektóre z pytań, na które patrzą inżynierowie i analitycy firmy, obejmują zastanowienie się, jak przewidzieć rzeczywisty wzrost w tego typu danych i ile naprawdę powinien za to przydzielić komputerowy Facebook, powiedział Murthy.

"Czy możemy przewidzieć, co będzie za sześć miesięcy?"

W międzyczasie Facebook angażuje się również w długofalowe wysiłki, aby jego fizyczne serwery były bardziej wydajne. Firma rozpoczęła projekt Open Compute w 2011 roku, którego celem było zaprojektowanie modularnych serwerów dających klientom większą kontrolę nad siecią, pamięcią, zasilaczami i innymi komponentami, które trafiają na ich serwery. Został rozszerzony o procesory ARM w styczniu.