Microsoft vs Google - Kto prowadzi wyścig sztucznej inteligencji?

AI powraca.

Po raz pierwszy od lat 80. badacze sztucznej inteligencji robią namacalny postęp w zakresie trudnych problemów, a ludzie znów zaczynają poważnie mówić o silnej sztucznej inteligencji. W międzyczasie nasz coraz bardziej oparty na danych świat rozpoczął wyścig zbrojeń między firmami, które chcą zarabiać na nowych danych wywiadowczych, szczególnie w przestrzeni mobilnej.

Dwóch tytanów prowadzących paczkę to Google i Microsoft. Pierwsza bitwa? Nowa domena sztucznej inteligencji o nazwie “Głęboka nauka.”

Kto wygrywa?

Google Brain

Wysiłki badawcze Google koncentrowały się wokół projektu o nazwie „Google Brain”. Google Brain jest produktem słynnego / tajnego laboratorium badawczego Google „Google X”, które jest odpowiedzialne za projekty z księżyca o niskim prawdopodobieństwie sukcesu, ale o bardzo dużym potencjale. Inne produkty Google X to Project Loon, balonowa inicjatywa internetowa i samonapędowy projekt samochodu Google Oto, jak dostaniemy się do świata wypełnionego samochodami bez kierowcy Oto, jak dostaniemy się do świata wypełnionego samochodami bez kierowcy nużące, niebezpieczne i wymagające zadanie. Czy pewnego dnia może to zostać zautomatyzowane dzięki samochodowej technologii Google? .

Google Brain to ogromna inicjatywa uczenia maszynowego, której głównym celem jest przetwarzanie obrazów, ale ma znacznie szersze ambicje. Projekt rozpoczął profesor Stanford Andrew Ng, ekspert w dziedzinie uczenia maszynowego, który odszedł z projektu, pracując dla Baidu, największej chińskiej wyszukiwarki.

Google ma długą historię zaangażowania w badania nad AI. Matthew Zeiler, CEO wizualnego startu maszynowego i stażysta, który pracował w Google Brain, przedstawia to następująco:

“Google nie jest tak naprawdę firmą wyszukiwania. To firma ucząca się maszynowo […] Wszystko w firmie jest naprawdę napędzane przez uczenie maszynowe.”

Celem projektu jest znalezienie sposobów na ulepszenie algorytmów głębokiego uczenia w celu budowy sieci neuronowych, które mogą znaleźć głębsze i bardziej znaczące wzorce danych przy użyciu mniejszej mocy obliczeniowej. W tym celu Google agresywnie kupuje talenty w głębokim uczeniu się, dokonując przejęć, w tym 500 milionów dolarów zakupu startupu AI DeepMind.

DeepMind martwiło się wystarczająco o zastosowania ich technologii, dlatego zmusili Google do utworzenia tablicy etyki zaprojektowanej, aby zapobiec niszczeniu świata przez ich oprogramowanie. Oto dlaczego naukowcy uważają, że należy się martwić sztuczną inteligencją Oto dlaczego naukowcy uważają, że należy się martwić o sztuczną inteligencję Czy uważasz, że sztuczna inteligencja jest niebezpieczna? Czy sztuczna inteligencja może stanowić poważne zagrożenie dla rasy ludzkiej? Oto niektóre powody, dla których możesz się martwić. . DeepMind nie wydało jeszcze swojego pierwszego produktu, ale firma zatrudniała znaczną część wszystkich ekspertów w dziedzinie głębokiego uczenia się na świecie. Do tej pory ich jedyną publiczną demonstracją tej technologii była zabawkowa sztuczna inteligencja, która jest naprawdę bardzo dobra w Atari.

Ponieważ głębokie uczenie się jest stosunkowo nową dziedziną, nie było czasu na stworzenie dużej generacji ekspertów. W rezultacie istnieje niewielka liczba osób posiadających wiedzę specjalistyczną w tej dziedzinie, co oznacza, że ​​można uzyskać znaczną przewagę w tej dziedzinie, zatrudniając wszystkich zaangażowanych.

Do tej pory Google Brain był stosowany do funkcji rozpoznawania głosu Androida i do automatycznego katalogowania zdjęć StreetView, identyfikując ważne funkcje, takie jak adresy. Wczesnym testem był słynny eksperyment z kotami, w którym sieć Google dogłębnego uczenia się automatycznie nauczyła się identyfikować koty w filmach na Youtube z większą dokładnością niż dotychczasowy stan wiedzy. W swoim artykule na ten temat Google umieściło to w następujący sposób:

“Wbrew powszechnej intuicji nasze wyniki eksperymentalne ujawniają, że można wyszkolić detektor twarzy bez konieczności oznaczania obrazów jako zawierających twarz lub nie […] Sieć jest wrażliwa na koncepcje wysokiego poziomu, takie jak kocie twarze i ludzkie ciała. Począwszy od tych wyuczonych funkcji, wyszkoliliśmy go, aby uzyskać 15,8 procent dokładności w rozpoznawaniu 20 000 kategorii obiektów, co stanowi skok o 70 procent względnej poprawy w porównaniu z poprzednimi najnowszymi technologiami [sieci].”

Ostatecznie Google chciałoby, aby algorytmy głębokiego uczenia robiły… właściwie właściwie wszystko. Potężne platformy sztucznej inteligencji, takie jak Watson IBM, polegają na tego rodzaju algorytmach uczenia maszynowego niskiego poziomu, a udoskonalenia w tym zakresie sprawiają, że ogólne pole sztucznej inteligencji jest znacznie potężniejsze.

Przyszła wersja Google Now, obsługiwana przez Google Brain, może identyfikować zarówno mowę, jak i obrazy, i zapewniać inteligentny wgląd w te dane, aby pomóc użytkownikom w podejmowaniu mądrzejszych decyzji. Mózg Google może poprawić wszystko, od wyników wyszukiwania po Tłumacz Google.

Microsoft Adam

Podejście Microsoftu do wojny o głębokie uczenie się było nieco inne. Zamiast próbować wykupić ekspertów dogłębnego uczenia się w celu udoskonalenia algorytmów, Microsoft skupił się na ulepszeniu implementacji i znalezieniu lepszych sposobów na równoległe wykorzystanie algorytmów pociąg algorytmy głębokiego uczenia się.

Ten projekt nazywa się “Microsoft Adam.” Ich techniki zmniejszają zbędne obliczenia, podwajając jakość wyników przy użyciu mniejszej liczby procesorów do ich uzyskania. Doprowadziło to do imponujących osiągnięć technicznych, w tym sieci, która z dużą dokładnością rozpoznaje poszczególne rasy psów na podstawie zdjęć.

Microsoft opisuje projekt w następujący sposób:

Celem projektu Adam jest umożliwienie oprogramowaniu wizualnego rozpoznawania dowolnego obiektu. To wysoki porządek, biorąc pod uwagę ogromną sieć neuronową w ludzkich mózgach, która umożliwia tego rodzaju skojarzenia dzięki trylionom połączeń. […] Korzystając z 30 razy mniej maszyn niż w innych systemach, [dane obrazu internetowego] wykorzystano do wyszkolenia sieci neuronowej wykonanej ponad dwa miliardy połączeń. Ta skalowalna infrastruktura jest dwa razy bardziej dokładna w rozpoznawaniu obiektów i 50 razy szybsza niż inne systemy.

Oczywistą aplikacją tej technologii jest Cortana, nowy wirtualny asystent Microsoftu. Jak Cortana stała się „inną kobietą” w moim życiu. Jak Cortana stała się „inną kobietą” w moim życiu. Pewnego dnia pojawiła się i zmieniła moje życie. Wie dokładnie, czego potrzebuję i ma nikczemne poczucie humoru. Nic dziwnego, że zakochałem się w urokach Cortany. , zainspirowany postacią AI w Halo. Cortana, której celem jest konkurowanie z Siri, może robić wiele sprytnych rzeczy, stosując zaawansowane techniki rozpoznawania mowy.

Celem projektu jest zbudowanie asystenta z bardziej naturalną interakcją i może wykonać szerszy zestaw przydatnych zadań dla użytkownika, co byłoby bardzo pomocne przy głębokim uczeniu się.

Ulepszenia Microsoft w zakresie zaplecza głębokiego uczenia się są imponujące i doprowadziły do ​​tego, że aplikacje nie były wcześniej możliwe.

Jak działa głębokie uczenie się

Aby trochę lepiej zrozumieć ten problem, poświęć chwilę na zrozumienie tej nowej technologii. Głębokie uczenie się to technika budowy inteligentnego oprogramowania, często stosowana w sieciach neuronowych. Buduje duże, przydatne sieci, nakładając na siebie prostsze sieci neuronowe, z których każdy znajduje wzorce na wyjściu swojego poprzednika. Aby zrozumieć, dlaczego jest to przydatne, ważne jest, aby spojrzeć na to, co stało się przed głębokim uczeniem się.

Sieci neuronowe propagujące wstecz

Podstawowa struktura sieci neuronowej jest w rzeczywistości dość prosta. Każdy „neuron” jest niewielkim węzłem, który pobiera dane wejściowe i korzysta z wewnętrznych reguł, aby zdecydować, kiedy to zrobić “ogień” (produkcja wyjściowa). Wejścia zasilające każdy neuron mają “ciężary” - multiplikatory kontrolujące, czy sygnał jest dodatni czy ujemny i jak silny.

Łącząc te neurony razem, możesz zbudować sieć, która emuluje dowolny algorytm. Wprowadzasz swój wkład do neuronów wejściowych jako wartości binarne i mierzysz wartość odpalającą neuronów wyjściowych, aby uzyskać wynik. W związku z tym sztuczką dla sieci neuronowych dowolnego typu jest przejęcie sieci i znalezienie zestawu wag, który najlepiej przybliża funkcję, którą jesteś zainteresowany.

Propagacja wsteczna, algorytm wykorzystywany do szkolenia sieci w oparciu o dane, jest bardzo prosta: zaczynasz swoją sieć od losowych wag, a następnie próbujesz klasyfikować dane o znanych odpowiedziach. Kiedy sieć jest zła, sprawdzasz, dlaczego jest zła (generując mniejszą lub większą moc wyjściową niż docelowa), i wykorzystujesz te informacje, aby przesunąć ciężary w bardziej pomocnym kierunku.

Robiąc to w kółko, dla wielu punktów danych, sieć uczy się poprawnie klasyfikować wszystkie twoje punkty danych i, miejmy nadzieję, generalizować nowe punkty danych. Kluczowy wgląd w algorytm propagacji wstecznej polega na tym, że możesz przenosić dane błędów wstecz przez sieć, zmieniając każdą warstwę na podstawie zmian wprowadzonych w ostatniej warstwie, umożliwiając w ten sposób budowanie sieci o głębokości kilku warstw, co pozwala zrozumieć bardziej skomplikowane wzorce.

Backprop został wynaleziony w 1974 roku przez Geoffreya Hintona i miał niezwykły efekt, czyniąc sieci neuronowe użytecznymi do szerokich zastosowań po raz pierwszy w historii. Trywialne sieci neuronowe istniały od lat 50-tych i początkowo były wdrażane za pomocą mechanicznych neuronów napędzanych silnikiem.

Innym sposobem myślenia o algorytmie backprop jest eksploracja krajobrazu możliwych rozwiązań. Każda waga neuronu jest innym kierunkiem, w którym może eksplorować, a dla większości sieci neuronowych są ich tysiące. Sieć może użyć informacji o błędzie, aby zobaczyć, w którym kierunku musi się poruszać i jak daleko, aby zmniejszyć błąd.

Zaczyna się w przypadkowym punkcie i stale konsultując się z kompasem błędów, przesuwa się „w dół” w kierunku mniejszej liczby błędów, ostatecznie osiadając na dnie najbliższej doliny: najlepsze możliwe rozwiązanie.

Dlaczego więc nie wykorzystamy wstecznej propagacji do wszystkiego? Cóż, backprop ma kilka problemów.

Najpoważniejszy problem nazywa się „problemem znikającego gradientu”. Zasadniczo, gdy przenosisz dane błędu z powrotem przez sieć, staje się ono mniej znaczące za każdym razem, gdy wracasz do warstwy. Próba zbudowania bardzo głębokich sieci neuronowych z propagacją wsteczną nie działa, ponieważ informacje o błędach nie będą w stanie przeniknąć wystarczająco głęboko do sieci, aby poćwiczyć niższe poziomy w użyteczny sposób.

Drugim, mniej poważnym problemem jest to, że sieci neuronowe zbiegają się tylko z lokalnymi optymami: często zostają złapani w małą dolinę i brakuje im głębszych, lepszych rozwiązań, które nie są w pobliżu losowego punktu początkowego. Jak więc rozwiązać te problemy?

Sieci głębokiej wiary

Sieci głębokiego przekonania są rozwiązaniem obu tych problemów i opierają się na pomyśle budowania sieci, które już mają wgląd w strukturę problemu, a następnie udoskonalania tych sieci za pomocą propagacji wstecznej. Jest to forma głębokiego uczenia się, powszechnie stosowana zarówno przez Google, jak i Microsoft.

Technika jest prosta i opiera się na rodzaju sieci o nazwie a “Ograniczona maszyna Boltzman” lub “RBM”, który opiera się na tak zwanym uczeniu się bez nadzoru.

Ograniczone maszyny Boltzman, w skrócie, to sieci, które po prostu próbują skompresować dane, które im przekazują, zamiast próbować jawnie je klasyfikować zgodnie z informacjami szkoleniowymi. RBM pobierają zbiór punktów danych i są szkoleni zgodnie z ich zdolnością do odtwarzania tych punktów danych z pamięci.

Zmniejszając RBM niż sumę wszystkich danych, które chcesz zakodować, wymuszasz na RBM nauczenie się strukturalnych prawidłowości danych w celu przechowywania ich na mniejszej przestrzeni. Poznanie głębokiej struktury pozwala sieci na uogólnienie: jeśli szkolisz RBM do odtwarzania tysiąca obrazów kotów, możesz następnie wprowadzić do niego nowy obraz - i patrząc na to, jak energiczna staje się sieć, możesz dowiedzieć się, czy nowy obraz zawiera kota.

Reguły uczenia się RBM przypominają funkcję prawdziwych neuronów w mózgu w istotny sposób, w przeciwieństwie do innych algorytmów (takich jak propagacja wsteczna). W rezultacie mogą mieć rzeczy do nauczenia badaczy o tym, jak działa ludzki umysł. Myślące maszyny: czego neuronauka i sztuczna inteligencja mogą nas nauczyć o świadomości Myślące maszyny: czego neuronauka i sztuczna inteligencja mogą nas nauczyć o świadomości Potrafi budować sztucznie inteligentne maszyny i oprogramowanie naucz nas o działaniu świadomości i naturze samego ludzkiego umysłu? .

Kolejną ciekawą funkcją RBM jest to, że są “konstruktywny”, co oznacza, że ​​mogą one również działać w odwrotnym kierunku, pracując wstecz od funkcji wysokiego poziomu, aby tworzyć wymyślone dane wejściowe zawierające tę funkcję. Ten proces nazywa się “śnić.”

Dlaczego jest to przydatne do głębokiego uczenia się? Cóż, maszyny Boltzman mają poważne problemy ze skalowaniem - im głębiej próbujesz je wykonać, tym dłużej trwa szkolenie sieci.

Kluczowym wglądem w sieci głębokiego przekonania jest to, że można łączyć ze sobą dwuwarstwowe RBM, z których każda jest przeszkolona w znajdowaniu struktury w wynikach swojego poprzednika. Jest to szybkie i prowadzi do sieci, która może zrozumieć skomplikowane, abstrakcyjne funkcje danych.

W zadaniu rozpoznawania obrazu pierwsza warstwa może nauczyć się widzieć linie i narożniki, a druga warstwa może nauczyć się widzieć kombinacje tych linii, które tworzą cechy takie jak oczy i nosy. Trzecia warstwa może łączyć te cechy i uczyć się rozpoznawania twarzy. Przełączając tę ​​sieć na wsteczną propagację, możesz dopracować tylko te funkcje, które dotyczą kategorii, którymi jesteś zainteresowany.

Pod wieloma względami jest to prosta poprawka na backpropagację: pozwala na backpropagację “oszukać” zaczynając od szeregu informacji o problemie, który próbuje rozwiązać. Pomaga to sieci osiągnąć lepsze minima i zapewnia, że ​​najniższe poziomy sieci są przeszkolone i robią coś pożytecznego. To jest to.

Z drugiej strony, metody głębokiego uczenia dały radykalną poprawę szybkości i dokładności uczenia maszynowego i są niemal samodzielnie odpowiedzialne za szybką poprawę oprogramowania mowy na tekst w ostatnich latach.

Wyścig o Canny Computers

Możesz zobaczyć, dlaczego to wszystko jest przydatne. Im głębiej można budować sieci, tym większe i bardziej abstrakcyjne są pojęcia, których sieć może się nauczyć.

Chcesz wiedzieć, czy wiadomość e-mail jest spamem? Dla sprytnych spamerów jest to trudne. Musisz przeczytać wiadomość e-mail i zrozumieć część jej intencji - spróbuj sprawdzić, czy istnieje związek między nadawcą a odbiorcą, i wywnioskuj intencje odbiorcy. Musisz to wszystko zrobić w oparciu o bezbarwne ciągi liter, z których większość opisuje pojęcia i zdarzenia, o których komputer nic nie wie.

To jest wiele pytań od kogokolwiek.

Gdybyś został poproszony o nauczenie się rozpoznawania spamu w języku, w którym jeszcze nie mówiłeś, podając tylko kilka pozytywnych i negatywnych przykładów, zrobiłbyś to bardzo źle - i masz ludzki mózg. W przypadku komputera problem był prawie niemożliwy do niedawna. Są to rodzaje spostrzeżeń, które może mieć głębokie uczenie się, i będzie niesamowicie potężne.

W tej chwili Microsoft wygrywa ten wyścig włosami. W końcu? Zgaduje ktoś.

Kredyty obrazkowe: “Komputerowa AI“, autor: Simon Liu, “Żaba rycząca“, autor: Brunop, “Kompas Top“, autor: airguy1988, “Wolniejszy niż bezpłatny,” przez opensource.com