Czy aplikacja do tłumaczenia języka migowego stanie się rzeczywistością?

Wyobraź sobie świat, w którym zniknęły bariery między głuchymi a słyszącymi. Świat, w którym rozmowy płyną płynnie między tymi, którzy słyszą dźwięk, a tymi, którzy go nie słyszą. Czy ten świat mógłby stać się rzeczywisty w najbliższej przyszłości?

W czerwcu grupa studentów marketingu w Berghs School of Communication opracowała film koncepcyjny dla fikcyjnego produktu o nazwie Google Gesture. Produkt zawierał opaskę na nadgarstek do noszenia i aplikację mobilną, która wykorzystywała elektromiografię do odczytywania ruchów mięśni głuchych osób posługujących się językiem migowym. Następnie system przekazał te sygnały do ​​aplikacji, która przetłumaczyła te sygnały na zdigitalizowany głos i przemówiła w imieniu osoby.

Oglądanie fałszywego filmu marketingowego było bardzo ekscytujące. W rzeczywistości tak ekscytujące, że główne witryny z technologiami, takie jak Mashable, Slashgear i inne, pierwotnie ogłosiły ten produkt jako prawdziwy, a później musiały powtórzyć roszczenie i przeprosić za swój błąd. To był dziwny błąd, biorąc pod uwagę, że tak naprawdę jest jest produkt Google o nazwie Google Gesture Search [już niedostępny], który umożliwia rysowanie gestów na ekranie telefonu komórkowego w celu wyszukiwania kontaktów, zakładek i innych.

Niezależnie od tego koncepcja studentów Berghsa przedstawiła niezwykły pomysł, który doprowadził do pytania - czy można stworzyć taką aplikację naprawdę?

Czy możliwe jest tłumaczenie języka migowego??

Analiza koncepcji marketingowej na poziomie technicznym ujawnia, że ​​technologia wykorzystująca elektromiografię (EMG) do “sens” język migowy wcale nie jest tak daleko posunięty. Już w 2009 r. Badacze z University of Washington byli w stanie wykorzystać wiele czujników EMG do dekodowania ruchów mięśni i przekształcania ich w rzeczywiste gesty rąk i dłoni.

Naukowcy faktycznie zbudowali komplet “biblioteka rozpoznawania gestów”, określenie, które sygnały mięśni reprezentują który gest. Badania dowodzą, że tego rodzaju technologia jest dostępna i gotowa do wdrożenia w rodzaju aplikacji przewidzianej przez studentów Berghsa.

Czy ktoś już to osiągnął? Jeśli nie, dlaczego nikt tego nie robi, a osobom niesłyszącym i niedosłyszącym umożliwia komunikowanie się z kimkolwiek na świecie za pomocą języka migowego?

Przyszłość technologii tłumaczenia w czasie rzeczywistym

Prawda jest taka, że ​​ktoś faktycznie pracuje nad technologią tłumaczenia języka migowego w czasie rzeczywistym.

Istnieje firma o nazwie SpeechTrans, która w ostatnich latach przesuwa granice technologii tłumaczeniowych. 3 Najlepsze narzędzia tłumaczeniowe oparte na Google Translate 3 Najlepsze narzędzia tłumaczeniowe oparte na Google Translate w ostatnich latach. SpeechTrans współpracuje z partnerami technologicznymi, aby stworzyć jedne z najbardziej niezwykłych obecnie dostępnych na rynku usług tłumaczeń w czasie rzeczywistym. Są to usługi, które tłumaczą czat tekstowy na czat tekstowy, głos na tekst, a nawet tłumaczenie języka na głos w czasie rzeczywistym za pomocą aplikacji na telefony komórkowe i komputery stacjonarne.

Aby sprawdzić, czy technologia języka migowego może stać się rzeczywistością w najbliższej przyszłości, MakeUseOf spotkał się z CEO SpeechTrans Johnem Freimem i dyrektorem ds. Zarządzania Yan Auerbach, aby omówić tę przełomową nową technologię tłumaczenia Zrozumienie dowolnego języka za pomocą 5 stron internetowych z tłumaczeniem języka Zrozumienie dowolnego języka za pomocą tych 5 Tłumaczenie stron internetowych Technologie sprawiły, że świat jest mniejszy. Ludzie z każdej części tej planety używają wielu takich samych narzędzi, odwiedzają niektóre z tych samych stron internetowych i mieszają się w różnych czatach online. … I jak daleko może być w przyszłości.

Opracowanie aplikacji do tłumaczenia języka migowego

MUO: Czy można wykonać rodzaj tłumaczenia języka migowego na mowę, który uczniowie Berghsa przedstawili w tym filmie koncepcyjnym Google Gesture?

Jan: Powiedziałbym, że technologia jest dostępna do tego. Obecnie współpracujemy z Microsoftem i Intelem w zakresie badań nad niektórymi technologiami, które oferują, w zakresie sprzętu i oprogramowania. Przewidujemy możliwość użycia tej technologii do rozpoznawania języka migowego, a następnie konwersji go na mowę i dźwięk.

MUO: Aktywnie pracujesz teraz nad rozwojem tej technologii?

Yan: Tak więc był klient, który korzystał z naszego oprogramowania, i pomyślałby, że byłoby cudownie, gdybyśmy mogli go zmodyfikować, aby osoby niedosłyszące mogły używać go do wykonywania połączeń telefonicznych z naszej aplikacji, aby komunikować się bez konieczności podpisywania język, gdy są osobiście lub bez potrzeby korzystania z usługi typu TTY do połączeń telefonicznych. Opracowaliśmy ten produkt, a dzięki środkom finansowym firmy Microsoft i Intel wprowadziliśmy SpeechTrans dla osób niedosłyszących w systemie Windows 8.1, co eliminuje potrzebę używania języka migowego.

MUO: W jaki sposób “osobiście” aplikacja działa?

Yan: Jest tryb nasłuchiwania i tryb wprowadzania. Tak więc, gdy ktoś do ciebie mówi, włączasz tryb słuchania i wpisujesz wszystko, co mówi na ekranie w tekście. Następnie, kiedy odpowiadasz, piszesz to, a potem mówi głośno, co piszesz. Za pomocą telefonu wystarczy wybrać numer telefonu dowolnej osoby, a gdy odbierze telefon, stanie się to jak wiadomość błyskawiczna. Cokolwiek mówią, otrzymujesz wiadomość błyskawiczną. Cokolwiek wpiszesz, będzie głośno wypowiadane przez telefon. To pierwszy etap.

Tłumaczenie języka migowego w pobliżu przyszłości

MUO: Jakie technologie mogą spodziewać się w najbliższej przyszłości? Jaki jest następny etap?

Jan: Przewidujemy - dla kogoś, kto ma tylko umiejętność posługiwania się językiem migowym - aby móc to zrobić przed urządzeniem, takim jak telefon, komputer stacjonarny lub laptop. Intel ma nowy system kamer, a Microsoft radzi sobie również z Kinect, który rozpoznaje gesty.

MUO: Jak to jest lepsze od koncepcji opaski na ramię przedstawionej przez studentów Berghsa?

Yan: Zasadniczo nasz będzie działał w taki sposób, aby nie wymagał od ciebie niczego na rękę. Rozpozna 64 punkty na twojej ręce. Używamy wersji beta kamery RealSense Intela. Dzięki temu nie tylko będziemy w stanie rozpoznać cały język migowy i wiele różnych dialektów języka migowego, ale także będziemy w stanie rozpoznać emocje, mimikę i inne małe niuanse, a następnie przekonwertować to na słowa mówione.

To nie wymaga noszenia żadnych rękawiczek ani niczego. Koncentrujemy się na tym rynku, ponieważ po prostu lubimy pomagać ludziom w ogóle. Chcemy nie tylko pomagać ludziom, którzy chcą mówić w wielu różnych językach, ale chcemy również pomagać ludziom, którzy nie mówią w żadnym języku. Technologia istnieje i nie ma powodu, dla którego ich jakość życia powinna być inna niż nasza.

Jan: To wykonalna koncepcja. To tylko inne wejście i wyjście. Niektóre rozmowy, które przeprowadziliśmy z Microsoftem na temat niektórych przyszłych technologii, polegają na tym, że ktoś może wszczepić mikroukład w szyję i bezpośrednio odczytuje wzorce fal mózgowych. Jeśli więc pomagasz ludziom, którzy nie potrafią się komunikować, faktycznie postrzegamy coś takiego jako wdrożenie fazy trzeciej.

W ubiegłym roku grupa studentów wyszła z działającym prototypem rękawicy podłączonej do komputera. Gesty wykonane za pomocą rękawicy zostaną wówczas rozpoznane i przekształcone w język migowy. Dzięki temu mają już taką możliwość dzięki obecnej technologii.

Naszą wizją jest to, że tak naprawdę nie chcemy tworzyć akcesoriów, takich jak opaski na ramię, które musisz założyć. To powinno być naturalne i swobodne dla nich [ludzi posługujących się językiem migowym], aby robili to przed kamerą wideo. 90% tego, co ludzie mówią w komunikacji, faktycznie jest w mowie ciała. Będąc w stanie uzyskać dostęp do rozpoznawania twarzy, gestów i emocji, będziemy mogli również wykorzystać te dane, aby upewnić się, że tłumaczenie i to, co próbują przekazać, jest wyrażone we właściwej formie.

MUO: Czy Intel jest w zasięgu 5 lat od posiadania tej technologii rozpoznawania języka migowego?

Jan: Intel zdecydowanie ma wiele dostępnych zasobów. Ich technologia i oprogramowanie idą w tempie, w którym możemy sprawić, że stanie się to dość szybko.

MUO: Czy masz ramy czasowe, kiedy chcesz wprowadzić tę technologię na rynek??

Jan: W przypadku języka migowego jest to około 12–18 miesięcy.

MUO: Czy ktoś jeszcze ma coś takiego do tłumaczenia języka migowego?

Jan: Widziałem film na YouTube, w którym IBM robi prototyp, w którym ktoś posługuje się językiem migowym, ale był to dowód koncepcji i miał tylko trzy lub cztery słowa, które rozpoznał. Mamy ponad pięćset tysięcy słów, które zamierzamy wprowadzić w życie, więc przeniesie to na zupełnie inny poziom.

Wniosek

Chociaż wizja, o której marzyli studenci Berghs, może nie stać się aplikacją do tłumaczenia języka migowego w przyszłości, nie oznacza to, że taka koncepcja się nie wydarzy. Prace wykonane w SpeechTran, Intel i Microsoft dowodzą, że tłumaczenie języka migowego z pewnością stanie się prawdziwą technologią w ciągu zaledwie kilku lat. Najprawdopodobniej nie będzie wymagał uciążliwych opasek na rękę, ale zamiast tego będzie to tylko specjalna kamera wideo i aplikacja mobilna.

Dzięki magii rozpoznawania gestów i twarzy, ta aplikacja do tłumaczenia języka migowego przyszłości całkowicie zrewolucjonizuje komunikację interpersonalną dla setek tysięcy osób niedosłyszących. 5 najlepszych zasobów dla niepełnosprawnych użytkowników urządzeń Mac i Apple 5 najlepszych zasobów dla użytkowników komputerów Mac i Apple z osobami niepełnosprawnymi lub niedosłyszącymi na całym świecie.