Czy wirtualna rzeczywistość może przeciąć przewód?

Nie mielmy słów: jestem wyraźnie podekscytowany nowym zestawem wirtualnej rzeczywistości firmy Valve Valve i HTC ogłaszają nowy zestaw VR do wysyłki na Boże Narodzenie 2015 Valve i HTC ogłaszają nowy zestaw VR do wysyłki do Bożego Narodzenia 2015 Nowy zestaw VR firmy Valve jest najlepszy na świecie widziany. Czy Oculus ma szansę? .

Vive, stworzony we współpracy z HTC, oferuje doskonałe śledzenie głowy i dwóch kontrolerów, wygodną rozdzielczość 2160 x 1200 i ultra-ostry wyświetlacz OLED 90 Hz. Ukaże się w tym roku i oferuje interaktywne wrażenia VR, które zapewniają trwałe poczucie fizycznej obecności na wirtualnej scenie.

Aby dowiedzieć się, jak dobre jest śledzenie, sprawdź ten film wideo “Galeria,” gra VR rozgrywana na Vive.

Wyzwanie, jakim jest wirtualna rzeczywistość bez ograniczeń

Vive jest fantastyczny. Jeśli jednak przeczytasz recenzje prototypowych zestawów słuchawkowych, które się napływają, zaczniesz to zauważać jedna konkretna skarga ciągle wyskakuje.

Venture Beat:

“Podczas mojej próby z prototypem nosiłem pasek, aby nie wchodzić mi w drogę z pakietem sznurków - a teraz, gdy o tym myślę, Valve musiała mieć ze sobą kogoś, kto by się nie potknął. luz, który stworzyłem, gdy poruszałem się po pokoju.”

PC MAG:

“Ponieważ jest to w pełni interaktywne, spacerowe doświadczenie, musisz wyczyścić meble ze środka pokoju i starać się nie potknąć o kabel prowadzący z powrotem do komputera.”

Gizmodo:

“I to prawdopodobnie główny słaby punkt HTC Vive. To jest jak Macierz wydaje się to prawdziwe, ale także dlatego, że jesteś podłączony do komputera za pomocą kabla, który wychodzi z tyłu głowy. Czasami ograniczy to twój swobodny ruch i jest czasem (ale nie często, z mojego doświadczenia) zagrożeniem potknięcia. To nie jest bardzo duży problem, ale i tak zauważalny.”

Częściowo dzieje się tak, ponieważ zestaw słuchawkowy jest prototypem z pięcioma kablami (wersja konsumencka powinna mieć tylko jeden, połączony kabel USB i HDMI łączący zestaw słuchawkowy z komputerem). Jednak problem wydaje się mieć zasadnicze znaczenie dla przewodowych zestawów słuchawkowych, które pozwalają swobodnie chodzić Oglądaj nas Wypróbuj Oculus Rift Crescent Bay na CES 2015 Oglądaj nas Wypróbuj Oculus Rift Crescent Bay Na CES 2015 Oculus Rift Crescent Bay to zupełnie nowy prototyp który pokazuje kilka ekscytujących ulepszeń w technologii rzeczywistości wirtualnej. Wypróbowujemy to na CES 2015.. Sznury stanowią ryzyko potknięcia się, a także są czymś w rodzaju szaleństwa. Zapobiegają wyjściu urządzenia VR z pokoju, a tym bardziej z domu.

Stanie się to większym problemem, gdy zaczniemy używać VR jako podstawowego interfejsu dla naszych systemów operacyjnych.

Nie mieliśmy komputerów zbyt długo, zanim chcieliśmy mobilnej wersji tego doświadczenia (laptopy, smartfony i tablety). VR będzie działało w ten sam sposób, szczególnie, gdy zaczniemy integrować funkcje rzeczywistości rozszerzonej zgodnie z Microsoft HoloLens 8 Rzeczywiste zastosowania dla Microsoft HoloLens 8 Rzeczywiste zastosowania dla Microsoft HoloLens 8 HoloLens firmy Microsoft HoloLens jest fajny, ale z czego będziesz korzystać to dla? Rozumiemy najbardziej ekscytujące możliwości. .

Niestety okazuje się, że odłączenie słuchawek VR od komputerów PC jest poważnym wyzwaniem technologicznym, a którego wciąż nie wiemy, jak rozwiązać. Istnieją jednak dwie obiecujące technologie na horyzoncie, które mogą pomóc rozwiązać problem.

Rozwiązanie nr 1: Przesyłanie strumieniowe z komputera

Jednym z oczywistych podejść do programu jest użycie komputera do renderowania wirtualnego świata, a następnie przesyłanie strumieniowe renderowanych obrazów do zestawu słuchawkowego przez WiFi (np. Steamlink, który przesyła strumieniowo gry z komputera na telewizor). Problemem w tym podejściu jest opóźnienie. W rzeczywistości wirtualnej chcesz zminimalizować opóźnienie między ruchem a widzeniem tego ruchu odbijanego na ekranie. Zwykle uważa się, że najsłabszy punkt ma być krótszy niż 20 milisekund.

Współczesne przesyłanie strumieniowe wideo może osiągnąć opóźnienie poniżej jednej milisekundy, co jest świetnym początkiem. Niestety, nieskompresowany strumień wideo 1440p 90 Hz to prawie 8 gigabitów na sekundę danych. Routery konsumenckie WiFi mogą obsłużyć około 100 megabitów. Nawet najwyższej klasy routery przemysłowe mają maksymalną przepustowość około 800 megabitów, osiem razy mniej niż jest to potrzebne. Aby to naprawić, musisz skompresować obrazy przed ich wysłaniem. Proces kompresji i dekompresji dodaje około 80 ms opóźnienia, co będzie rozchorować się.

Istnieje kilka możliwych rozwiązań tego problemu:

Ulepszenia przepustowości

Jednym z podejść jest próba zwiększenia dostępnej przepustowości. Sieci 5G, które będą dostępne za pięć lat, mogą zapewnić prędkość około jednego terabit na sekundę, co mogłoby obsługiwać futurystyczne 8K HMD bez kompresji. W najbliższym terminie Li-Fi (technologia internetowa oparta na szybko pulsujących diodach LED) może pozwolić na prędkości transferu 10 GB / s przy bardzo niskich opóźnieniach, co pozwoliłoby na bezprzewodowe wersje zestawów VR obecnej generacji w ciągu najbliższych kilku lat, chociaż technologia nie jest jeszcze dostępna dla konsumentów.

Jest to prawdopodobnie najlepsze rozwiązanie problemu, ale nie będzie dostępne dla konsumentów przez co najmniej rok lub dwa, może być drogie, a rozdzielczość prawdopodobnie pozostanie w tyle za najwyższej jakości przewodowymi zestawami słuchawkowymi, dopóki nie pojawią się odpowiednie sieci 5G.

Lokalne wypaczanie

Bardziej złożoną opcją byłoby zaakceptowanie 80 ms opóźnienia i próba skorygowania go po fakcie, wypaczając stary obraz do nowej pozycji głowy. Nadal powoduje to pewne opóźnienie wejściowe, ale nie wywołuje mdłości w ruchu głowy.

Standardowym podejściem do tego rodzaju problemu jest asynchroniczne dopasowanie czasowe, które zbiera dane z komputera i wypacza je za pomocą małego procesora graficznego na zestawie słuchawkowym, aby wyświetlić stary obraz z nowej perspektywy, umożliwiając płynną aktualizację zestawu słuchawkowego pomimo dużego opóźnienia..

Na pierwszy rzut oka brzmi to jak magiczna kula. Niestety są pewne duże połowy. Cytując Michała Antonowa, badacza Oculus,

“Miara pozycyjna jest jednym z najbardziej oczywistych artefaktów z tylko orientacją czasu. Kiedy poruszasz głową, tylko dodatkowy komponent obrotowy jest odzwierciedlany w obrazach generowanych przez ATW, a wszelkie ruchy głowy translacyjne od czasu renderowania ramki są ignorowane. Oznacza to, że gdy poruszasz głową z boku na bok, a nawet po prostu obracasz głowę, co przekłada twoje oczy, zobaczysz wielokrotny obraz drgania na obiektach, które są blisko ciebie.

[…]

Jednym z możliwych sposobów rozwiązania problemu wymiaru pozycyjnego jest wdrożenie pełnego wypaczenia pozycyjnego, które stosuje zarówno poprawki translacji, jak i orientacji do oryginalnej renderowanej ramki. Wypaczanie położenia musi uwzględniać głębokość oryginalnej renderowanej ramki, przesuwając części obrazu o różne wartości. Jednak takie przemieszczenie generuje artefakty związane z okluzją na krawędziach obiektów, w których odkryte są obszary przestrzeni, które nie zawierają danych w oryginalnej ramce.”

Istnieje kilka technik tworzenia danych w celu wypełnienia dziur utworzonych przez pozycjonowanie ograniczenia czasowego, ale wszystkie z nich pozostawiają artefakty, a te, które pozostawiają najmniej artefaktów, są najdroższe obliczeniowo. Problem jest podobny do tego, z którym borykają się osoby próbujące wyświetlić wideo z głębią VR VR ma zamiar zmienić filmowanie na zawsze: oto jak VR ma zamiar zmienić filmowanie na zawsze: oto jak wirtualna rzeczywistość to nowy sposób komunikowania się z widzem i wieloma osobami z doświadczeniem w tradycyjnym kręceniu filmów możliwości są ekscytujące. .

Aby idealnie rozwiązać ten problem, programiści muszą znaleźć sposób na przesłanie dodatkowych danych w celu wypełnienia dziur. Kilka możliwych podejść:

• Renderuj osobno obiekty dalekiego i bliskiego pola osobno i przesyłaj strumieniowo oba obrazy
• Renderuj pole świetlne, które może być ponownie rzutowane przez duże przesunięcia głowy bez dezintegracji
• Opracuj wyjątkowo wyrafinowane modele ruchów głowy i użyj przewidywania, aby zminimalizować błędy dyslokacji

Nie jest jasne, jakie jest najlepsze rozwiązanie. Żadne z podejść, które znamy, nie jest idealne, a niektóre z nich wymagają dalszych badań. Ustalenie, czy ponowne rzutowanie jest dobrym pomysłem, sprowadza się do tego, jak bardzo możemy zminimalizować artefakty. To obiecująca możliwość, ale jest wiele pytań bez odpowiedzi.

Rozwiązanie nr 2: Lokalne renderowanie

Zupełnie inną strategią jest zapomnienie komputera i wykonanie renderowania lokalnie na zestawie słuchawkowym. Tak działają Microsoft HoloLens i Samsung Gear VR. Niewiele wiadomo na temat HoloLens Pięć pytań na temat „Projektu HoloLens” Microsoftu Pięć pytań na temat „Projektu HoloLens” Microsoftu Nowy zestaw słuchawkowy Microsoft Augmented Reality jest bardzo ekscytujący - ale czy potrafią rozwiązać podstawowe problemy AR? , ale Gear VR ma wiele poważnych ograniczeń. Jego mobilny procesor graficzny może obsłużyć niektóre skromne wrażenia VR (z intensywną optymalizacją), ale z trudem. Zarządzanie ciepłem jest problemem, rozdzielczość i częstotliwość odświeżania nie rosną do poziomu wymaganego do obecności na scenie, a zestaw słuchawkowy nie ma śledzenia pozycji. Niektóre z nich wynikają z ograniczeń technologii mobilnej, a wkrótce poprawi się, napędzany falą prawa Moore'a.

Jednak niektóre z tych problemów wynikają z konieczności zaprojektowania smartfona, który nie został zaprojektowany do VR. Jeśli budujesz mobilny zestaw VR od zera, możesz robić wiele rzeczy inaczej. Projektanci mogliby mieć dwa wysokiej klasy mobilne układy GPU, ekran o bardzo wysokiej częstotliwości odświeżania i dużą baterię. Mogą również rozkładać komponenty w celu lepszego rozkładu masy i zarządzania ciepłem. Wynikowy współczynnik kształtu może wyglądać bardzo podobnie do Sony Morpheus.

Lub, jeśli inżynierowie chcieliby stać się ambitni, mogliby zbudować coś więcej jak mini-PC: mały poręczny blok komputronium zawierający jeden lub więcej laptopów GPU, wentylator i dużą baterię. To urządzenie miałoby kształt podobny do odtwarzacza Walkman i sterowało dyskiem HMD za pomocą jednego kabla.

Obecny flagowy procesor graficzny NVIDIA, GTX 980, którego wewnętrznie używa Oculus, jest tylko o około 40% szybszy niż jego mobilny odpowiednik, 980M, i jest malutki. Prawdopodobnie możliwe jest zmieszczenie dwóch z nich w fantazyjnej paczce, z miejscem na resztę wnętrzności małego komputera mobilnego.

Uwaga dla twórców sprzętu: pod żadnym pozorem nie wolno prasie opisywać twojego produktu jako „fanny pack”.

Ten współczynnik kształtu byłby bardziej nieporęczny niż samodzielny zestaw słuchawkowy, nie wspominając o drogich - matematyka z tyłu koperty sugeruje cenę około 2500 USD. Możliwe, że współcześni konsumenci nie będą zainteresowani produktami nieporęcznymi. Jest to jednak jedyny sposób, aby mobilny zestaw VR zapewniał wydajność konkurencyjną w stosunku do PC VR i podejrzewam, że wybiorą go zapaleni gracze i inni niewiarygodni. Od dawna kujony kierują technologią, chcąc nosić produkty, które sprawiają, że wyglądają śmiesznie.

W tej chwili mobilne zestawy słuchawkowe cierpią z powodu niemożności zapewnienia śledzenia pozycji, co powoduje mdłe uczucie, że świat jest przywiązany do tułowia podczas próby poruszania się. Jednak ten problem może wkrótce zostać rozwiązany. W krótkim okresie Valve's “latarnia morska” technologia śledzenia pozycji jest doskonałym rozwiązaniem: projektory laserowe są głupie, co oznacza, że ​​można je układać kafelkami, aby pokryć duże przestrzenie, i mogą obsługiwać wiele urządzeń jednocześnie. W rezultacie w ciągu najbliższych kilku lat śledzenie latarni morskich może stać się niedrogą usługą zapewnianą przez domy i firmy, podobnie jak obecnie WiFi, pozwalając na korzystanie z mobilnego sprzętu VR w większości pomieszczeń wewnętrznych.

W dłuższej perspektywie, gdy kamery głębinowe poprawią rozdzielczość i poziom hałasu, powinno być możliwe ich wykorzystanie do śledzenia położenia, z wystarczającą precyzją, aby zapewnić poczucie obecności VR. Pozwoli to na samodzielne produkty VR odpowiednie do użytku na zewnątrz i w rzeczywistości rozszerzonej.

Przyszłość mobilnej VR

Na dłuższą metę mobilne zestawy słuchawkowe są tam, gdzie idzie technologia VR.

Możemy wykonać matematykę prawa Moore'a, sprawdzając, ile dublowań jesteśmy w stanie renderować fotorealistyczne wirtualne światy na urządzeniach mobilnych. Komputery z wyższej półki to być może pięć dublowania (kolejna generacja konsol) od możliwości dostarczenia realistycznych wrażeń w grach w rozdzielczości 1080p. W przypadku VR potrzebujemy jednego podwojenia dla 3D i trzech kolejnych do renderowania przy 8K na oko potrzebnych do wyeliminowania rozmycia i efektu drzwi ekranowych. Aby uwzględnić platformę mobilną, potrzebujemy około czterech dodatkowych podwojeń, aby dogonić wysokiej klasy komputery PC.

Jeśli zsumujesz wszystkie podwojenia i pomnożysz przez osiemnaście miesięcy podyktowanych prawem Moore'a, otrzymasz około dwudziestu lat (2035), w którym nikt nie będzie w stanie odróżnić sceny VR renderowanej na smartfonie i renderowane na wysokiej klasy komputerze do gier. W tym momencie nie będzie powodu, aby ponownie używać zestawu słuchawkowego sterowanego komputerem.

Do tego dnia podejrzewam, że przez jakiś czas będziemy widzieć zarówno przewodowe, jak i bezprzewodowe zestawy VR sterowane komputerowo. Bezprzewodowe zestawy słuchawkowe będą wygodniejsze, ale przewodowe zestawy słuchawkowe będą oferować lepszą rozdzielczość - przynajmniej dopóki sieci 5G nie będą w pełni dojrzałe.

Po drugiej stronie podziału mobilne zestawy słuchawkowe będą się nadal poprawiać, a udział w rynku będzie się zmniejszał, gdy będziemy przesuwać się wystarczająco daleko po krzywej malejących zwrotów, a coraz więcej osób będzie chciało poświęcić niewielką ilość wierności dla elastyczności . Konkurencja będzie zacięta i, miejmy nadzieję, dobra dla konsumenta. Osobiście nie mogę się doczekać.

Podekscytowany bezprzewodowymi zestawami słuchawkowymi? Wiesz o technologii, za którą tęskniliśmy? Daj nam znać w komentarzach!

Kredyty obrazkowe: Barone Firenze Via Shutterstock, “Nagrywanie Isana… ”, autor: Edvvc, “Pyzaty,” autor: Kevin Lin, “HTC VR,” przez HTC, “Link Steam,” przez Valve, “prawo Moore'a,” autor: Wikimedia