Inżynierowie z Facebooka identyfikują wyzwania związane z dużymi danymi w Graph Search

Inżynierowie Facebooka mają przed sobą wiele wyzwań, ponieważ pracują nad skalowaniem Graph Search, nowego narzędzia do wyszukiwania w serwisie społecznościowym. Jedna przeszkoda: nadmierna ilość danych do przesiewania.

Weź przykład wyszukiwania japońskich restauracji w Nowym Jorku lubianych przez ludzi z Japonii. Wyszukiwarka, która wydaje się generować setki, jeśli nie tysiące wyników, wypluwa tylko dwie nędzne firmy.

Wyszukiwarka w swojej obecnej formie beta, po prostu nie ma mocy przetwarzania, aby przesiać miliony połączeń między Japończykami na stronie, aby przeprowadzić wyszukiwanie, inżynierowie z Facebooka oświadczyli w czwartek podczas krótkiego briefingu prasowego w głównej siedzibie firmy w Menlo Park w Kalifornii.

[Czytaj dalej: najlepsze usługi transmisji telewizyjnej]

Kerry Davis, IDGNSMike Curtiss, inżynier na Facebooku opisuje tło Graph Search, które jest napędzane przez wyszukiwarkę Facebook wywołuje Unicorn.

"Nadal jest dużo pracy, którą musimy wykonać," powiedział inżynier oprogramowania Michael Curtiss. "Takie zapytanie jest bardzo trudne obliczeniowo", zaczynając od 100 milionów w Japonii, a następnie w ułamku sekundy, aby posortować wszystkie strony lubiane przez ludzi w Japonii, powiedział.

"To jest praktycznie w ograniczonym czasie mamy kłopot ", powiedział inżynier, który pomógł zaprojektować wyszukiwarkę Unicorn witryny, która zapewnia infrastrukturę Graph Search. "To, co musimy zrobić, to wyeliminować możliwie dobre wyniki."

Kerry Davis, firma IDGNSFacebook, której celem jest wyszukiwanie grafów, nazywa się Unicorn. Wewnątrz tego typu krawędzi przypisuje się liczbę. Tutaj liczba dla przyjaciół, która działa jako słowo kluczowe w systemie, jest wyświetlana w lewym dolnym rogu ekranu.

Facebook stosuje różne metody rozwiązywania tego i innych dużych problemów związanych z wyszukiwaniem wykresów.

Jedna strategia obejmuje koncepcję w komputerowych bazach danych, zwaną "optymalizacją zapytań", w celu poprawy szybkości i efektywności niektórych rodzajów wyszukiwań.

W przypadku japońskiej restauracji można zastosować tę technikę, aby zacząć od pierwszej z restauracje, które są lubiane zamiast zaczynać od Japonii, a następnie filtrowanie ludzi przez fanów, powiedział inżynier z Facebooka.

Firma zajmuje się także wyzwaniami na poziomie sprzętu, dodając dodatkową pamięć flash i inne nowe funkcje do serwery, z których korzysta w centrach danych, aby dostosować się do wzrostu ruchu w wyszukiwarkach spowodowanego wyszukiwaniem w wykresach.

"Musimy wykonać dodatkową pracę w centrach danych, kupić nowe platformy sprzętowe, [z] nowymi typami serwerów, które są dostarczane Potrzeby obliczeniowe Unicorn "- powiedział Soren Lassen, który kierował zespołem infrastruktury wyszukiwania odpowiedzialnym za Graph Search.

Facebook zaczął wprowadzać wyszukiwanie wykresów w zeszłym miesiącu do ograniczonej liczby użytkowników w USA. Narzędzie do wyszukiwania zostało zaprojektowane, aby umożliwić ludziom przeczesuj 1 bilionowe połączenia między portalami społecznościowymi, aby wyszukiwać ludzi, miejsca, zdjęcia i zainteresowania za pomocą zwrotów w prostym języku angielskim.

Zasadniczo nic nie może powstrzymać użytkowników przed pisaniem zapytania, które jest niezwykle długie, na przykład "Pracodawcy przyjaciół moich przyjaciół, którzy mieszkają w Nowym Jorku i którzy lubią Abbey Downton, "inżynierowie stwierdzili, że Graph Search używa takich wskazówek jak" Likes "i check-inów, aby łatwiej klasyfikować wyniki.

Docelowo Graph Search będzie zawierał inne dane, takie jak komentarze użytkowników i aktualizacje statusu, aby kompilować i oceniać wyniki, ale to jest dalej, mówi firma.