Oprogramowanie do konwersji głosu na język migowy Oprogramowanie Microsoft Dev Contest

Oprogramowanie do tłumaczeń mowy Speak-to-Sign napisane przez zespół z Tajlandii zdobyło główną kategorię konkursu sponsorowanego przez Microsoft dla studentów, Imagine Puchar, w czwartek.

Czterech studentów z Uniwersytetu Kasetsart w Bangkoku wygrało kategorię projektowania oprogramowania, wyprzedzając sześciu innych finalistów. Pracowali przez 12 godzin przez pół roku, aby zakończyć swoje zgłoszenie, opierając się na ścisłym planowaniu, aby uzyskać problemy logistyczne spowodowane zamieszkami i niestabilnością polityczną w ich kraju.

Uczestnicy Imagine Cup musieli korzystać z platform programistycznych Microsoftu, aby dalsze co najmniej jedno z Milenijnych Celów Organizacji Narodów Zjednoczonych, w tym zmniejszenie o połowę skrajnego ubóstwa, powstrzymanie rozprzestrzeniania się HIV / AIDS oraz zapewnienie powszechnego nauczania na poziomie podstawowym, aż do 2015 r.

Pierwsza nagroda w konkursie o wartości 25 000 USD przyciągnęła wpisy od 325 000 studentów, zgodnie z Microsoft. Spośród nich 400 trafiło do finałowej rundy, w której przyznano łączną nagrodę w wysokości 240 000 $ w pięciu kategoriach konkursowych i sześciu nagrodach.

Oprogramowanie zespołu tajskiego, EyeFeel, łączy rozpoznawanie mowy, rozpoznawanie twarzy i animację języka migowego, aby zaoferować prawdziwe nagrody. tłumaczenie czasowe dla osób z problemami ze słuchem.

"Moduł rozpoznawania mowy przechwytuje mowę i zamienia zdanie tak, aby pasował do gramatyki języka migowego", powiedział Pichai Sodsai, członek zespołu Skeek. "Język migowy jest następnie animowany na ekranie, a rozpoznawanie twarzy jest używane do rozróżniania różnych głośników." Oprogramowanie umieszcza również balony tekstowe podobnie jak komiksy, wszystkie w czasie rzeczywistym.

Aby oprogramowanie było wykonalne, zespół musiał wydajnie wykorzystywać zasoby. "Wykorzystujemy wielowątkowy kod, aby połączyć wszystkie części oprogramowania w jedną, funkcjonującą całość", powiedział Sodsai. "Każda część musi działać obok drugiej, bez której nie można tego zrobić."

Nawet teraz, są pewne problemy, z którymi zespół musi się uporać. Język migowy ma problemy z nadążaniem za językiem mówionym, a podczas demonstracji animacja i napisany tekst znacznie się zawęziły.

"To ogromne wyzwanie, z którym trzeba sobie poradzić", powiedział Sodsai. "Mamy do czynienia z większością problemów, pozwalając oprogramowaniu automatycznie skrócić zdanie." Każde zdanie zostaje przywrócone do jego podstawowego znaczenia, dzięki czemu oprogramowanie staje się łatwiejsze. Kolejnym ograniczeniem jest to, że oprogramowanie obsługuje obecnie jedynie amerykański język migowy i język angielski. "Zmiana języków wciąż jest ogromnym zadaniem" - powiedział Sodsai. "Musielibyśmy napisać do tego cały moduł."

Sodsai zabierze członków zespołu na kolejny rok, aby udoskonalić system. Do tego czasu wciąż szukają potencjalnych nabywców.

"Konstrukcja jest bardzo modułowa, więc możemy dodawać i usuwać funkcje w razie potrzeby" - powiedział. "Planujemy użyć systemu licencjonowania opartego na darmowych podstawowych komponentach i płatnych dodatkowych opcjach."

Zespół Skeek oszacował, że na całym świecie jest około 350 milionów osób z wadami słuchu. Głównym rynkiem byłaby edukacja, w której oprogramowanie może być używane przez osoby głuche i prawie głuche w celu śledzenia wykładów i prezentacji.

EyeFeel wyprzedził serbski zespół, który opracował interfejs do komunikacji bez użycia rąk i przeglądanie stron internetowych dla ludzi z ciężkimi postaciami porażenia. Trzecie miejsce zajęła Nowa Zelandia, z aplikacją do konwersji plików na dźwięki, które można transmitować na duże odległości, wykorzystując pasma FM i AM do miejsc, w których łączność internetowa jest niewielka lub nie ma jej wcale. Laptopy OLPC (One Laptop Per Child) mogą odbierać pliki za pośrednictwem podłączonego radia i konwertować je z powrotem do ich oryginalnej postaci.

Tajwański zespół SmarterME wygrał kategorię konkurencji Embedded Development z miernikiem mocy śledzącym zużycie energii poszczególnych urządzeń i sprzęt AGD. Kategoria Design Game została wygrana przez zespół z Filipin.

Według Jona Perery, dyrektora generalnego Microsoft Education Group, nie wszystkie projekty będą miały komercyjną przyszłość.

"Jeśli chodzi o zastosowanie w świecie rzeczywistym, część oprogramowania [może potencjalnie] trafić na rynek rzeczywisty i będzie miał wpływ, jaki studenci będą chcieli, i oczywiście widzimy wiele programów, które niekoniecznie staną się komercyjnym lub długoterminowym rozwiązaniem na rynku, "powiedział.

Samo eksploracja jest punktem wyjścia do dyskusji na temat roli technologii w rozwiązywaniu problemów, powiedział Perera.

"Niektóre rozwiązania są już wykorzystywane przez rządy." Zespół z Jordanii na przykład zbudował "system monitorowania pustynnienia", który jest samozatrudnieniem. zasilana płyta z chipsetem, która śledzi rozwój pustyni w czasie ", powiedział. "Rząd Jordanii współpracuje z nimi i sponsoruje zespół, aby monitorował kilka stron."