Co napędza bot openai, który pokonuje dendi

W zeszłym tygodniu historia została stworzona w domenach Dota 2 i AI. W The International Dendi, jeden z najlepszych graczy w tej grze, został pokonany bezlitośnie w 1v1 przez bota, dwa razy z rzędu. Przedmiotowy bot został stworzony przez OpenAI, startup Elon Musk.

Teraz możesz mieć kilka pytań. Co to jest Dota? Czym jest OpenAI? A dlaczego to jest nawet ważne? Na początek Dota to darmowa gra MOBA, w której kontrolujesz bohaterów, a Twoim celem jest zniszczenie przeciwników Ancienta. Wielu fanów Dota może obrażać się na ostatnie zdanie, ponieważ Dota ma tak wiele do podsumowania.

Gra jest bardzo złożona z bardzo stromą krzywą uczenia się. Rozpocząłem misję, aby nauczyć się Doty jakiś czas temu, a zajęło mi tydzień, aby przejść przez podstawowy film How To, w którym wyjaśniają strategię gry, jakie bronie, zaklęcia, bohaterowie robią i jak wydobywać gęsią skórkę. To sprawia, że ​​cała bitwa AI vs Dendi jest ważna, ponieważ ilustruje, jak bardzo rozwinęła się AI i ML. Zobaczmy więc, co zasila tego bota i czy musimy się bać powstania AI.

Rise Of The Planet Of AI

AI stając się Skynetem jest problemem dyskusyjnym. Elon Musk wierzy, że jeśli nie będzie się go kontrolować, prawdopodobny będzie scenariusz podobny do Skynetu. Z drugiej strony Mark Zuckerberg twierdzi, że sztuczna inteligencja jest nieszkodliwa i nie spowoduje scenariusza zagłady. Elon Musk rozpoczął OpenAI z tym celem.

Aby zapobiec nadużywaniu sztucznej inteligencji i badaniom sztucznej inteligencji, które nie zwrócą się przeciwko nam. I jestem po jego stronie.

Ale nie o to tu chodzi. Głównym tematem jest wiedza o tym, co zasila bota przez OpenAI. Aby to zrozumieć, przeczytałem kilka artykułów naukowych i blogów na ten temat, a także skontaktowałem się z moim przyjacielem Anmolem Sharmą, który jest badaczem AI i ML.

Uczenie się o wzmocnieniu

To jest nazwa technologii stojącej za botem Dota OpenAI. Zanim jednak zajmiemy się tym zagadnieniem, musimy zrozumieć, jak działa ogólna sztuczna inteligencja, a konkretnie sztuczna inteligencja w grach wideo. Sztuczna inteligencja jest terminem bardzo złożonym i zawiera wiele tematów, takich jak uczenie maszynowe, głębokie uczenie się i sieci neuronowe, aby wymienić tylko kilka. Aby z grubsza zdefiniować AI, możemy powiedzieć, że jest to zdolność komputera do uczenia się na podstawie informacji i podejmowania decyzji w oparciu o jego naukę. Im więcej się uczy, tym większa jest poprawność decyzji.

Czym różni się od normalnych botów?

Boty w ogólności mogą wyglądać na inteligentne, ale nie są prawdziwą formą sztucznej inteligencji. Prawie wszystkie te boty w grach są programowane w oparciu o zestaw If..This..Then..Ten stwierdzenia. Po prostu podążają za stwierdzeniami i podejmują działania w oparciu o warunki zapisane w oświadczeniu.

Powyżej pokazałem bardzo prosty przykład. Wypowiedzi w prawdziwych grach są znacznie bardziej złożone z warunkami w warunkach. Im lepiej zdefiniowane i szczegółowe są te stwierdzenia, tym bardziej bot wydaje się być inteligentny.

Nagrody i kary

W żargonie AI to, co nazywamy botem, nazywane jest agentem. Celem jest sprawienie, aby agent dowiedział się, czego chcemy się nauczyć. Agent uczy się w ten sam sposób, w jaki uczy się twój pies, poprzez nagrody i kary. Za każdym razem, gdy agent popełni błąd, jest on karany i za każdym razem, gdy powoduje poprawne odgadnięcie lub daje prawidłową odpowiedź, jest nagradzany. Poprzez ten system agent uczy się kojarzyć działania, których nie powinien robić, aby uniknąć kary i wykonać akcję (lub podobne działania), która daje nagrody.

Jeśli dokładnie się nad tym zastanowić, to tak jak podejmowanie decyzji na podstawie określonych warunków, podobnie jak robią to algorytmy. Jak pokazałem powyżej, bot z gry, trafiając na wybuchową beczkę, podejmie działania zgodnie z algorytmem. Algorytmy w AI są oczywiście bardzo złożone, co czyni cały system inteligentnym.

Dochodząc do naszego bota OpenAI, według twórców, nauczył się całej gry w czasie 2 tygodni. Przez cały okres 2 tygodni gra była online 24 godziny na dobę, 7 dni w tygodniu i grała przeciwko sobie. To niezwykły kamień milowy, biorąc pod uwagę złożoność gry i fakt, że może pokonać Dendi.

Dlaczego wciąż nie ma samochodów bez kierowcy?

Było to jedno z pierwszych pytań, które pojawiło się w mojej głowie, kiedy usłyszałem o tym całym wydarzeniu. Jeśli bot może nauczyć się takiej gry i trenować do punktu pokonania najlepszych graczy, to dlaczego wciąż prowadzimy kierownicę. To było to samo pytanie, które zadałem swojemu przyjacielowi, panu Anmolowi Sharma, który również badał samochody bez napędu. To właśnie miał do powiedzenia.

W grze opracowanej przez człowieka liczba zmiennych jest mniejsza. Plus, jeśli agent (bot) popełni błąd, najgorszą karą jest runda straty. W prawdziwym świecie jedną pomyłką jest śmierć.

Mimo że Dota jest złożoną grą, możliwe kombinacje ruchów, zaklęć i taktyk, choć wciąż absurdalnie duże, są nadal ograniczone. A błędy są dozwolone bez żadnej realnej kary. Ale w przypadku agentów samochodów bez kierowcy błędy mogą prowadzić do niebezpiecznych wypadków, a nawet śmierci.

W rzeczywistym świecie liczba zmiennych, które agent musi monitorować, jest nieograniczona, a sytuacje pojawiające się z powodu tych zmiennych, takie jak inny samochód nagle zmieniający pas ruchu, skoki pieszych przed samochodem, są również nieograniczone. Dodatkowo, jak ujął to Jeremy Clarkson, będą musieli podejmować moralne i etyczne decyzje, kiedy będą mieli do czynienia z natychmiastowym wypadkiem (choć jego teoria jest nieważna).

Przyszłość

Znamy już robota sterowanego przez człowieka wykonującego operacje wewnętrzne. Kolejny skok to roboty sterowane przez sztuczną inteligencję. A to tylko w dziedzinie medycyny. AI z pewnością będzie dominującą nową technologią w następnej dekadzie w wielu dziedzinach. Ale sztuczna inteligencja może być również wykorzystywana do niecnych celów, takich jak ataki DDoS, botów Ransomware i hakowania innych komputerów lub systemów korporacji.

Jeśli chodzi o Dota i inne gry, możemy spodziewać się takich inteligentnych botów stworzonych również do innych gier, przeciwko którym gracze mogą trenować, aby osiągać jeszcze lepsze wyniki. A czy wspomniałem, że OpenAI będzie robił 5V5 na przyszłorocznej Międzynarodówce? Więc zaczynam oczyszczać umiejętności Doty, aby przynajmniej pokonać wbudowane botki. Boski Rapier tu przyjdę!