Hotmail otrzymuje nowy system pamięci masowej - dzięki czemu jest jeszcze szybszy!

Hotmail otrzymuje miliardy wiadomości e-mail każdego dnia, a te muszą być bezpiecznie przechowywane i muszą być łatwo dostępny. System pamięci masowej oparty na chmurze Hotmail obsługuje ponad miliard skrzynek pocztowych i setki petabajtów danych (jeden petabajt to milion gigabajtów). Obsługa efektywnych transakcji na setkach tysięcy równoczesnych w tej skali jest wyzwaniem inżynieryjnym. System pamięci masowej zbudowany jest w oparciu o technologię Microsoft, w tym Windows Server i Microsoft SQL Server.

Microsoft pracuje nad poważną aktualizacją tego systemu pamięci masowej. Od początku tego roku nowy system oparty na technologiach opracowanych w Hotmail działa w klastrze pilotażowym na kontach osobistych pracowników Microsoft. Po rygorystycznych testach nowy system uzyskał certyfikat, który zapewnia wyższą niezawodność przy znacznie niższej cenie.

Zobaczmy niektóre z nowych technologii używanych przez Hotmail.

Implementacja JBOD zastępującego RAID:

"RAID (nadmiarowy Array of Inexpensive Disks) to technologia, która pozwala na podłączenie kilku twardych dysków do jednej płyty kontrolera, co sprawia, że ​​wyglądają jak jeden większy i znacznie bardziej niezawodny dysk twardy (nazywany czasem "urządzeniem logicznym") dla oprogramowania system pamięci masowej. "

Hotmail używa RAID przez długi czas. Wiadomości e-mail były przechowywane w wielu grupach RAID, więc nawet w przypadku niepowodzenia całej macierzy RAID można przywrócić wiadomości. Hotmail przestudiował perspektywę niezawodności dysków o pojemności większej niż 1 terabajt i stwierdził, że nie jest to wartość pieniężna z punktu widzenia niezawodności. Ponieważ systemy RAID z łatwością radzą sobie z problemami mającymi wpływ na pojedynczy system, ale nie wtedy, gdy cała maszyna lub kontroler RAID napotyka problemy. Hotmail odkrył, że posiadanie kopii na innym komputerze niedzielącym się kontrolerem było nie tylko bardziej niezawodne, ale także tańsze niż konfiguracja RAID.

Tak więc opracowali JBOD (Just a Bunch Of Disks), w którym kopie danych znajdują się na niezależnych twardych dyskach. napędy, kontrolery i maszyny. Dzięki temu kontroler dysku twardego prawie całkowicie zniknie i przekazuje go oprogramowaniu do kontroli. To oprogramowanie systemu JBOD zostało opracowane przez Hotmail.

To oprogramowanie JBOD stale monitoruje awarie i podnosi alarm, gdy zostanie wykryte, co spowoduje proces naprawy. Proces naprawy może polegać na ponownym uruchomieniu komputera lub ponownym uruchomieniu procesu, naprawieniu uszkodzenia danych lub nawet interwencji człowieka w razie potrzeby. Główną zaletą korzystania z oprogramowania jest to, że może zachować dobre kopie wiadomości e-mail z priorytetem działań naprawczych, jeśli znajdzie mniej kopii. Dzięki temu oprogramowaniu sama replikacja została uproszczona

"System składowania składa się z zestawu maszyn, z których każdy ma swoją kopię wiadomości e-mail oraz dziennik, w którym zapisywane są wiadomości, które zostały dostarczone w dniu przybycia. Maszyny od czasu do czasu rozmawiają ze sobą, porównują swoje dzienniki i kopiują wszelkie wiadomości, które nie zostały skopiowane na wszystkie komputery. "

Implementacja dysków SSD (Solid State Drive) zamiast dysków twardych.

Wiemy, że dyski SSD są znacznie szybsze niż dyski twarde. Dyski twarde, choć większe i tańsze, radzą sobie z szybkością żądania.

"Zwykły dysk twardy może wykonać nieco więcej niż sto operacji odczytu / zapisu na sekundę, podczas gdy niektóre z najszybszych dysków SSD mogą zrobić sto tysięcy operacji na sekundę. "

Choć prędkość ta ma swoją cenę, ponieważ są one dużo droższe / gigabajt w porównaniu z dyskami twardymi.

Dyski SSD wydajnie radzą sobie z ciągle zmieniającym się ładunkiem. Można to wyjaśnić, ponieważ usługa Hotmail nie tylko przechowuje wiadomości e-mail, ale także śledzi różne stale zmieniające się metadane, takie jak lista wiadomości w skrzynce odbiorczej, status wiadomości przeczytanych / nieprzeczytanych, wątki konwersacji itp. Te metadane zajmują jednak niewielką część pamięci masowej stawia maksymalne obciążenie dysków twardych ze względu na ciągle zmieniający się charakter. Tak więc używanie dysków SSD do przechowywania metadanych i dysków twardych dla wiadomości tworzy lepszą i wydajniejszą kombinację.

Oprócz tych ulepszeń Hotmail ujawni o wiele więcej w kolejnych postach. Uruchomienie nowego systemu pamięci masowej już się rozpoczęło, a nowe klastry będą oparte na JBOD. Już 30 milionów użytkowników korzysta z JBOD, podczas gdy kolejne 100 milionów będzie się przesuwać z czasem.

Jeśli zauważyłeś, Hotmail stał się naprawdę szybki. Jeśli nie, spróbuj teraz.