Facebook przygotowuje się do użycia "zimnej pamięci", aby poradzić sobie z ogromnymi ilościami danych

Facebook ponownie zastanawia się, w jaki sposób przechowuje dane, aby poradzić sobie z 7 petabajtami nowych zdjęć, które użytkownicy sieci społecznościowych przesyłają co miesiąc. Ponieważ liczba zdjęć rośnie, Facebook musi znaleźć tańsze i mniej żmudne sposoby przechowywania ich wszystkich, zgodnie z wiceprezesem firmy ds. Inżynierii infrastruktury.

Użytkownicy przesyłają około 300 milionów zdjęć dziennie, więcej na specjalne okazje, Jay Parikh z Facebooka powiedział podczas środowej konferencji Structure Europe w Amsterdamie. "Halloween jest jednym z naszych największych dni na wysyłanie zdjęć w ciągu roku." Dostaniemy gdzieś pomiędzy prawdopodobnie 1 a 2 miliardami zdjęć przesłanych w ciągu jednego dnia ", powiedział.

Zdjęcia takie jak te, które zostały zrobione na Halloween, wkrótce tracą zainteresowanie, nikt nie patrzy na nich po kilku dniach lub tygodniach, ale "Nasza umowa z naszymi użytkownikami polega na tym, że nie możemy usunąć danych, gdy nie są dostępne, musimy je zachować" - powiedział. To doprowadziło do tego, że zdjęcia zostały umieszczone w "zimnym schowku" - powiedział Parikh.

[Więcej informacji: najlepsze usługi transmisji telewizyjnej]

Aby to zrobić, Facebook planuje zbudować nowe centrum danych z różne rodzaje pamięci masowej, sprzęt serwerowy i sprzęt sieciowy, który zużywa mniej energii i kosztuje mniej niż istniejące centra danych - wszystko to bez zmiany czasu reakcji serwerów, powiedział.

Ale jak efektywny może być Facebook na zimno? Gdy koszty i zużycie energii w centrach danych są obniżane, dzieje się tak zazwyczaj kosztem prędkości dostępu.

Przechowywanie danych na taśmach, na przykład, obniża zużycie energii, ale znacznie spowalnia dostęp do danych.

Amazon Web Services obserwuje środkowa ścieżka z usługą przechowywania chmur Glacier, która jest alternatywą dla taśmy. Usługa jest zoptymalizowana dla danych, które są rzadko dostępne i dla których czasy pobierania wynoszą kilka godzin są do przyjęcia.

To zdecydowanie za mało dla Facebooka, zgodnie z Parikh. "Nie mogę mieć zdjęcia, do którego masz dostęp sprzed pięciu lub dziesięciu lat, i pokazać banerowi, który mówi:" Hej, dlaczego nie spróbujesz ponownie za 24 godziny? " Nadal musi być stosunkowo realnie "- powiedział.

Niższe zapotrzebowanie na energię

Zdjęcie: dzięki Centrum danych KnowledgeFacebook Data Center w Oregonie

Większość dzisiejszych centrów danych jest zoptymalizowanych do używania wielu moc radzenia sobie z zadaniami wymagającymi dużej mocy obliczeniowej. Technologia "zimnego przechowywania", o której myśli Facebook, znajduje się na drugim krańcu - powiedział Parikh. "Potrzebujesz dużo miejsca, ale nie potrzebujesz dużej mocy", powiedział, dodając, że wszystko, co dotyczy centrum danych, musi zostać ponownie przemyślane, aby poradzić sobie z problemem w skali, na jaką facebook ma facebook.

Na wysokim poziomie, Facebook pracuje nad oprogramowaniem, które pozwoli zorientować się, jak i gdzie przechowywać część treści w infrastrukturze, kiedy się starzeje, powiedział Parikh. "Oznacza to, że kopie danych będą się przemieszczać w czasie i będą wykorzystywać różne elementy infrastruktury, które zoptymalizujemy pod kątem wieku treści." Niektóre z wynalazków w warstwie oprogramowania pozwolą Facebookowi nadal szybko reagować, ale aby przechowywać dane bardziej efektywnie, powiedział.

Zimne przechowywanie stanie się częścią infrastruktury Facebooka w przyszłym roku lub dwóch, powiedział. Facebook planuje ujawnić i udostępnić części, które według nich są istotne, za pośrednictwem projektu Open Compute, inicjatywy rozpoczętej przez Facebooka, mającej na celu zastosowanie modelu współpracy oprogramowania open source do świata sprzętu centrum danych.