VR ma zamiar zmienić filmowanie na zawsze Oto jak

Hollywood mówi o wirtualnej rzeczywistości. Na konferencji Oculus Connect w zeszłym miesiącu cały zespół absolwentów z Hollywood mówił o technologii i jej zastosowaniach w tworzeniu filmów.

Tymczasem ciężkie hity w branży zaczynają ważyć. James Cameron tego nienawidzi. David Attenborough robi o tym dokument. Niedawny (znakomity) film Interstellar promował go w VR.

Rzeczywistość wirtualna to nowy sposób komunikowania się z widzem, a wiele osób z doświadczeniem w tradycyjnym filmowaniu uważa, że ​​możliwości są ekscytujące. Rzeczywistość wirtualna, a nie tylko okno na nowy świat, pozwala reżyserom przejąć kontrolę nad całym światem wokół widza.

Co możesz zrobić z kamerą VR?

Nie trzeba wiele wyobraźni, aby ekscytować się ideą kamer VR. Twórcy filmów mogli dosłownie zbliżyć publiczność do swoich bohaterów i zanurzyć ich w spektakularnych, dziwacznych światach. Fotografowie mogli uchwycić całe sceny, zatrzymane w czasie, aby każdy mógł je obejrzeć w dowolnym miejscu na świecie.

Dokumentaliści mogliby zaprowadzić publiczność do miejsc, których inaczej nigdy by nie odwiedzili. Mogliby wysłać kamerę VR na dno oceanu i pozwolić widzom stanąć pośrodku zatopionej sali balowej Titanica. Dokumenty przyrodnicze mogą manipulować czasem i przestrzenią, umieszczając użytkowników wśród mrówek wielkości psów lub budując wciągające sekwencje poklatkowe. NASA może zamontować kamerę VR na łaziku Marsa i pozwolić milionom ludzi stanąć na czerwonej planecie.

Są też oczywiście bardziej przyziemne aplikacje:

Jednym z kluczy do sukcesu VR konsumentów będą stereoskopowe panoramiczne filmy z kotami.

- John Carmack (@ID_AA_Carmack) 6 listopada 2014

Wideo VR na żywo może być również bardzo atrakcyjne. W grach sportowych można było zdalnie uczestniczyć, kamery VR dawałyby wszystkim miejsca przy boisku. Nawet turystyka może być wirtualna.

Użytkownicy mogą wypożyczyć prostego robota teleobecności (być może Segwaya z kamerą VR siedzącą na kierownicy) i pilotować go w dowolnym miejscu na świecie. Segway przesyła strumieniowo swoje wideo z powrotem na żywo, pozwalając turystom wirtualnie “teleport” na całej planecie, aby eksplorować w dowolnym miejscu. Bezpiecznie jest powiedzieć, że VR zmieni świat. Dlaczego technologia wirtualnej rzeczywistości zaatakuje twój umysł za 5 lat Dlaczego technologia wirtualnej rzeczywistości zaatakuje twój umysł za 5 lat Przyszłość wirtualnej rzeczywistości obejmuje śledzenie głowy, oczu i ekspresji, symulację dotyku , i wiele więcej. Te niesamowite technologie będą dostępne za 5 lat lub krócej. .

Produkcja filmów VR ma jednak wiele wyzwań. W jaki sposób reżyserzy mogą poruszać kamerą, zapewniając wygodę widzowi? Jak reżyserzy wycinają filmy, nie dezorientując widza? Jak upewniają się, że widz patrzy we właściwym kierunku, aby uchwycić ważne wydarzenia fabularne? Czy zbliżenia mają nawet sens?

Być może najważniejsze są jednak kwestie praktyczne: w jaki sposób nagrywasz treści do rzeczywistości wirtualnej? Renderowanie treści VR na żywo w grach wymaga intensywnych obliczeniowo, ale koncepcyjnie prostych. Natomiast nagrywanie prawdziwego życia stanowi poważne wyzwanie.

Kamera panoramiczna

Najprostszym rozwiązaniem (i obecnie jedynym powszechnie stosowanym) jest proste panoramiczne przechwytywanie wideo. W tym schemacie kulka konwencjonalnych kamer jest używana do nagrywania wideo we wszystkich kierunkach, a wyniki są łączone z oprogramowaniem w celu stworzenia płynnej sfery wideo. Są to bardzo podobne panoramy, które robisz. 5 porad dotyczących robienia zdjęć panoramicznych za pomocą smartfona 5 wskazówek robienia zdjęć panoramicznych za pomocą smartfona Panoramiczne zdjęcia oszałamiających krajobrazów prawie zawsze wyglądają wspaniale, ale ich utworzenie może być bardzo trudne. Korzystając ze smartfona, możesz zastosować różne techniki i sztuczki, aby uzyskać najlepsze wyniki. ez telefonem, ale jednocześnie nagrane w formacie wideo. Dane wyjściowe procesu wyglądają mniej więcej tak:

To jest proste i tanie. Możesz zamówić kamerę panoramiczną w przedsprzedaży za około 700 USD, ale ma ona ograniczenia. Najważniejszy jest brak głębi: panoramy są renderowane na nieskończenie dużą kulę, więc paralaksa między twoimi oczami wynosi zero, nawet dla części obrazu, które naprawdę powinny mieć głębokość, jak osoba stojąca obok ciebie.

Pomimo tego niedociągnięcia wrażenia płynące z filmów panoramicznych są nadal zaskakująco fajne, szczególnie w przypadku treści odbywających się na odległość (dobrym przykładem jest fotografia lotnicza). Około tygodnia temu zbudowałem aplikację Oculus Rift, która renderuje wirtualny kokpit w powyższym filmie, a wyniki są przekonujące: czuje się jak jazda na łodzi podwodnej otoczonej żółwiami morskimi wielkości małych budynków.

Pomyśl o tego rodzaju treści VR jak o osobistym kinie Super-IMAX, w którym stoisz zawieszony pośrodku ogromnego sferycznego wyświetlacza. Poczucie miejsca zapewniane przez sferyczne wideo jest już czymś niemożliwym w przypadku tradycyjnych narzędzi filmowych. Mimo swoich ograniczeń prawdopodobnie tak będzie wyglądać większość filmów VR w najbliższej przyszłości. Dokument Richarda Attenborougha (“Podbój niebios“) jest kręcony w tym formacie.

Panoramiczna kamera stereo

Powiedzmy, że reżyser jest niezadowolony z ograniczenia panoram monoskopowych. Jednym z oczywistych rozszerzeń tej technologii jest wprowadzenie równoległej technologii 3D. Dawna zabawa: jak robić zdjęcia 3D do oglądania bez okularów Dawna zabawa: jak robić zdjęcia 3D do oglądania bez okularów Wierzcie lub nie, tak naprawdę nie potrzebujesz okularów 3D, aby oglądać przekonująco realistyczne obrazy 3D (lub filmy). Musisz tylko zmusić się do wyjścia “skrzyżowane”. Zasadniczo patrzysz na dwa obrazy i celowo…. Aby to zrobić, sprzęt potrzebuje dwóch równoległych kamer skierowanych w każdym kierunku, przesuniętych o około 6,3 cm. Następnie aparat używa oprogramowania do łączenia dwóch zdjęć panoramicznych: jednego dla lewego oka i jednego dla prawego. Różnica między nimi stwarza iluzję głębi. Produkty obsługujące tę funkcję są dostępne, chociaż są drogie (995 USD plus koszt dziesięciu kamer GoPro).

Niedawno Samsung ogłosił, że starając się uczynić tego rodzaju treści bardziej popularnymi “Project Beyond”, stereofoniczna kamera panoramiczna VR do mobilnego zestawu słuchawkowego Oculus-Samsung Gear VR. Obecny prototyp ma kształt małego krążka, wykorzystuje 17 kamer HD i renderuje gigapiksel na sekundę danych.

Przy 30 fps, to działa na panoramiczne klatki, które mają około 15 megapikseli na oko lub około 50 000 pikseli na oko na stopień wizualny. Informacje o cenach są nadal tajemnicą, a Samsung podkreśla, że ​​nie jest to gotowy projekt. Ich podgląd wideo poniżej.

Panoramy stereo są wyraźnie lepszym doświadczeniem niż ich monoskopowi bracia - duże rzeczy wyglądają na duże, małe rzeczy wyglądają na małe, obiekty mają głębokość i położenie, i przypomina to bardziej bycie tam. To powiedziawszy, doświadczenie jest wciąż dalekie od ideału. Jak opisuje John Carmack w swoim przemówieniu na temat Oculus Connect, panoramy stereo mają wiele problemów.

“… Panoramy stereoskopowe, zarówno nieruchome, jak i wideo, to absolutnie hack. Jest - wiemy, co jest prawem, a to nie jest właściwe. Skończyło się na tym, że masz fragmenty pobrane z wielu kamer, więc na wprost jest to odpowiednie stereo dla pary, a potem tutaj jest to odpowiednie. Ale to oznacza, że ​​jeśli patrzysz na to, co było odpowiednie dla oczu tutaj, ale patrzysz tutaj kątem oka, zdecydowanie nie jest to właściwe. To nie jest właściwa różnica dla oczu.

A nawet gorzej, jeśli odwrócisz głowę w ten sposób [przewraca głowę], robi się bardzo źle, ponieważ jest ustawiony tylko dla oczu na wprost. To była interesująca rzecz. Mamy rzeczy, w których wiemy, że w pewnym sensie można je zatruć, może to być naprawdę złe doświadczenie, jeśli ludzie spędzają dużo czasu pochylony. […]

Są to problemy techniczne, które mogą być rozwiązane przez lepszy sprzęt. Istnieje jednak głębszy problem: co dzieje się, gdy poruszasz głową? Panoramy dla obu oczu są nadal renderowane w nieskończoności: fizyczne poruszenie głową spowoduje mdłości, że świat porusza się wraz z tobą, szczególnie jeśli w pobliżu znajdują się obiekty. Nie ma prostego sposobu, aby dowiedzieć się, jak wyglądałby obraz stereoskopowy z nowego punktu widzenia.

Pomimo tych ograniczeń, panoramiczne wrażenia panoramiczne są nadal atrakcyjne. Platforma Gear VR skupi się na tego rodzaju doświadczeniach, ponieważ można je tworzyć przy użyciu nowoczesnego sprzętu i wyświetlać bez obciążania możliwości renderowania sprzętu. Panoramy stereo będą prawdopodobnie złotym standardem w produkcji treści VR, przynajmniej przez kilka następnych lat.

Aparaty głębokościowe

Alternatywą do przechwytywania dwóch obrazów obok siebie (jak w przypadku tradycyjnych filmów 3D) jest przechwytywanie tak zwanych obrazów głębi: pojedynczego obrazu uchwyconego z jednej perspektywy, który zawiera dodatkowy kanał kolorów, który przechowuje odległość od obiektywu danego piksela.

Jeśli to masz, oprogramowanie może symulować wirtualne kamery oglądające obraz z nowej perspektywy, upewniając się, że zawsze masz nowy, poprawny obraz z każdego oka. Możliwe jest generowanie panoramicznych głębi obrazu, które umożliwiają naturalny ruch i obrót głowy w sposób, który nie jest możliwy w przypadku panoram stereo. Istnieje kilka technologii, które można wykorzystać do przechwytywania obrazów głębi.

Czas lotu

Wersja tej technologii, którą prawdopodobnie znasz, jest ta, która jest używana w Kinect. Kinect V2 (wersja dołączona do Xbox One) opiera się na tak zwanej kamerze czasu.

Teoria jest tutaj prosta: kamery czasu lotu to kamery na podczerwień, które mogą rejestrować nie tylko miejsce, w którym światło uderza w czujnik, ale także gdy światło uderza w czujnik z dokładnością do kilku mikrosekund. Jest to połączone z kolorową kamerą wideo i światłem stroboskopowym na podczerwień. Na początku każdej klatki stroboskop IR miga, bardzo krótko oświetlając scenę. Zmierzając czas, jaki zajmuje każdy piksel na obserwację lampy błyskowej, aparat może wywnioskować z prędkości światła, jak daleko każdy piksel jest od aparatu.

Ta technologia jest niezwykle wydajna. Hakerzy dokonali niesamowitych rzeczy 5 hacków Microsoft Xbox Kinect, które oszaleją 5 hacków Microsoft Xbox Kinect, które oszałamiają Twój umysł. Używając kilku Kinectów w konfiguracji nakładającej się, może być możliwe utworzenie panoramy sceny, z dokładną wartością głębokości dla każdego piksela, którą można renderować w rzeczywistości wirtualnej, aby uzyskać wciągające wrażenia z prawidłową głębią.

Aby dowiedzieć się, jakie wyniki daje to podejście, zapoznaj się z tym filmem pokazującym wyniki z kamery głębinowej Kinect V2.

Jest to wysokiej jakości obraz głębi - dużo szczegółów, czyste krawędzie i niezbyt dużo hałasu. Istnieją jednak pewne ograniczenia: największym zastrzeżeniem jest to, że Kinect w tym przykładzie nagrywa scenę wewnętrzną ze starannie kontrolowanymi warunkami oświetleniowymi.

W rzeczywistych sytuacjach (a zwłaszcza na zewnątrz) interferencja podczerwieni z otoczenia przez bezpośrednie i pośrednie światło słoneczne oraz żarowe źródła światła mogą obniżyć dokładność. Istnieje również bardziej podstawowy problem, polegający na tym, że czas kamer lotniczych zależy od aktywnego oświetlenia. To nakłada pewne twarde ograniczenia na ich zasięg. Nie radzą sobie również dobrze z przezroczystymi i odblaskowymi powierzchniami. Ponieważ rozdzielczość głębokości jest ograniczona dokładnością pomiaru czasu, kamery czasu lotu nie są zbyt przydatne do rejestrowania małych obiektów, co uniemożliwia zabawę ze skalą.

Pole świetlne

Inna technologia przechwytywania obrazów głębi jest znana jako fotografia „pola jasnego”. Aparat Lytro Light Field: Snap Happy or Photo Gimmick? Lytro Light Field Camera: Snap Happy or Photo Gimmick? Aparat Lytro, opisany przez pracownika jako „pierwsza poważna zmiana w fotografii od czasu wynalezienia fotografii”, jest z pewnością rewolucyjnym urządzeniem. Aparat wstrząsa, zastępując większość ciężkich… .

Oto jak to działa: w tradycyjnej fotografii obiektyw aparatu skupia światło przychodzące na matrycy. Każdy element czujnika rejestruje ilość padającego na niego światła. Kamery polowe wykorzystują specjalny czujnik, w którym każda “piksel” to tak naprawdę mała soczewka z wieloma czujnikami pod spodem. Pozwala to aparatowi zmierzyć nie tylko to, ile światła pada na każdy piksel, ale także kąt, pod jakim ono pada.

Jest to przydatne z kilku powodów. Najprostsza aplikacja polega na tym, że zmieniając sposób próbkowania tego dużego „pola świetlnego” użytkownicy końcowi mogą ponownie ustawić ostrość zdjęcia po jego wykonaniu. Ciekawą aplikacją dla VR jest to, że kamery lekkich pól również są kamerami głębinowymi! Kąt przychodzącego światła od obiektu jest funkcją odległości obiektu od obiektywu w stosunku do wielkości przysłony. Dalekie obiekty wytwarzają światło, które jest prawie prostopadłe do soczewki. Bardzo bliskie obiekty wytwarzają światło, które jest prawie równoległe. Na tej podstawie możliwe jest (bardzo dokładnie) określenie mapy głębi obrazu.

Poniżej możesz zobaczyć niektóre wyniki z kamery wideo z wczesnym polem świetlnym oraz to, jak obraz wygląda jak rzutowany pod innym kątem.

Ponieważ jest to proces pasywny, ograniczenie zasięgu i dokładność przestrzenna są określone przez rozdzielczość i rozmiar apertury i nic więcej. Oznacza to, że przy użyciu soczewek powiększających można wykonywać zdjęcia głębi pola światła niemal dowolnego obiektu w dowolnej skali w każdych warunkach. Aby uzyskać przykład tego, co jest możliwe przy większych, bardziej dokładnych polach świetlnych, obejrzyj ten film, który wykorzystuje kilka klatek z podręcznej kamery pola świetlnego do symulacji znacznie większego pola świetlnego. Generuje z niego dość przekonującą geometrię 3D.

Kamery z polem świetlnym są znacznie mniej dojrzałą technologią niż kamery z lotu (obecnie na rynku konsumenckim jest tylko jedna kamera z polem świetlnym i nie obsługuje przechwytywania wideo). To powiedziawszy, przy dłuższym czasie opracowywania kamery polowe powinny oferować znacznie bardziej niezawodne wrażenia z głębi obrazu na dłuższą metę.

Radzenie sobie z dysocjacją

Jest jeden poważny problem z filmami głębinowymi, o którym warto wspomnieć: ruch głowy. Tak, możliwe jest przerzucenie filmów głębokości na nowe perspektywy, a wszystkie piksele kończą się tam, gdzie powinny. Głębokie wideo nie sprawi, że będziesz chory. Niestety wprowadzają nowy problem: dezintegrację.

Kiedy poruszasz głową w taki sposób, że patrzysz na część świata niewidoczną na oryginalnym obrazie lub panoramie, dostajesz paskudny artefakt wizualny: cień. Aby dowiedzieć się, o czym mówię, obejrzyj ten film:

W tym filmie programista zhakował Kinect, aby wyrenderować głęboki film z tego, co widzi w kosmosie. Przesuwając wirtualną kamerę, odtwarza scenę z wielu perspektyw.

To Kinect pierwszej generacji, więc transmisja wideo jest trochę błędna, ale wyniki są imponujące. Największym minusem, który staje się oczywisty, gdy zaczyna obracać aparat, są cienie na scenie. Część ściany za jego ciałem ma wycięty z niego ogromny otwór w kształcie osoby: część, której aparat nie widzi i nie ma danych. Te czarne cienie pojawią się w panoramach głębi, gdy tylko głowa zacznie się poruszać. Jak więc kamery VR radzą sobie z tymi dziurami? Istnieje kilka podejść do tego problemu:

Więcej kamer

Najprostszym rozwiązaniem jest po prostu rejestrowanie materiału wokół narożników i za zasłaniającymi powierzchniami. Aby to zrobić, dodajesz więcej kamer - o wiele więcej. Aby umożliwić ludziom poruszanie głowami do, powiedzmy, jednego metra w dowolnym kierunku, należy rozszerzyć kamerę, aby utworzyć sferę o szerokości 2 metrów wyposażoną w kamery o wysokiej głębokości FOV, aby oprogramowanie mogło zsyntetyzować dowolny punkt widzenia w obrębie kula.

Jest to najbardziej niezawodne podejście, ale także najmniej praktyczne. Dwumetrowa kula kamer nie jest ładnym, przenośnym steadicamem, to instalacja i droga. Może to być praktyczne w przypadku niektórych wysokiej klasy produkcji hollywoodzkich, ale z pewnością nie w przypadku większości rzeczywistych aplikacji. Poniżej prototyp tego pomysłu, zaimplementowany w formie aplikacji do telekonferencji 3D na żywo:

Rekonstrukcja sceny

Innym podejściem, jeśli twórca wideo rejestruje przede wszystkim kilka dynamicznych obiektów na statycznym tle, jest użycie kamery głębinowej do mapowania otoczenia przed rozpoczęciem filmowania i wykorzystanie tych danych do wypełnienia otworów w zarejestrowanych obrazach. Można to zrobić automatycznie, stosując technikę SLAM (symultaniczna lokalizacja i mapowanie), która automatycznie łączy wiele obrazów głębi, aby utworzyć kompletną mapę 3D sceny. Wyniki wyglądają mniej więcej tak:

Działa to całkiem dobrze, ale nie jest odpowiednie dla wszystkich sytuacji. Nietrudno sobie wyobrazić próbę sfilmowania sceny w ruchliwym miejscu publicznym, w którym znaczna część tła składa się z ludzi, którzy poruszają się i wzajemnie zasłaniają. Uchwycenie pojedynczej statycznej wersji tej sceny w celu wypełnienia dziur po prostu nie jest możliwe. Ponadto w przypadku filmów dokumentalnych, filmów na żywo lub wiadomości nie jest praktyczne wcześniejsze wyczerpujące mapowanie środowiska.

Po prostu zmyślanie

Ostatnim podejściem do problemu jest zastosowanie zwykłej odpowiedzi w przypadkach, gdy nie masz wystarczającej ilości danych: wprost kłamstwa.

Wgląd tutaj jest taki, że w prawdziwym życiu widz nie będzie wstawał i próbował chodzić po scenie. Będą siadać, a to, czego oprogramowanie naprawdę potrzebuje do skorygowania, to niewielkie różnice w pozie, spowodowane przez pochylającego się i przesuwającego się na siedzeniu widza - wady nie będą po prostu takie duże. Oznacza to, że dane użyte do wypełnienia dziur nie muszą być dokładne, muszą po prostu wyglądać realistycznie. Ci z was, którzy bawili się wypełnianiem obrazów w Photoshopie (lub jego konkurentami Snapheal na komputery Mac: The Superhero Image Healer [Giveaway] Snapheal na komputery Mac: The Superhero Image Healer [Giveaway] SnapHeal na komputery Mac (14,99 USD) jest tutaj, aby zapisać zdjęcia, które świetnie sobie radzą. W tym tygodniu rozdamy 25 kopii Snapheala na komputery Mac o łącznej wartości 375 USD. Jeśli…) wiemy, dokąd to zmierza.

Jak się okazuje, badacze opracowali całkiem niezłe algorytmy wypełniania dziur w strumieniach wideo na żywo w czasie rzeczywistym. Możesz sprawdzić kilka przykładów poniżej:

Wyobraź sobie rozkładanie obrazu głębokości na warstwy, odejmowanie ich pojedynczo, aby zobaczyć, gdzie mogą wystąpić cienie, a następnie stosowanie tego rodzaju algorytmów malarskich do generowania wiarygodnych obrazów w celu wypełnienia otworów.

Jest to trochę trudniejsze niż zwykłe malowanie 2D, ponieważ algorytm musi również ustalić rozsądne wartości głębokości otworów, ale można zastosować wiele takich samych technik. Podejścia te nie sprawdzą się idealnie we wszystkich sytuacjach, ale dopóki te artefakty są mniej inwazyjne niż duże czarne dziury na świecie, co nadal liczy się jako zwycięstwo.

Jak długo trzeba czekać?

Dzięki kamerom VR, nawet bardziej niż innym rzeczom, doskonały jest wrogiem dobra.

Nawet przy najlepszej technologii, jaką można kupić za pieniądze i dokładnie zaplanowanym materiale w celu zminimalizowania błędów okluzji, wyniki byłyby nadal niedoskonałe. Na przykład odblaski są plamami jasności pojawiającymi się na błyszczących powierzchniach, które różnią się pozycją w zależności od pozycji głowy, ponieważ polegają na odbijaniu światła pod bardzo określonym kątem.

Lustrzane refleksy nagrane nawet w najlepszym wideo VR pojawią się jako przypieczone białe plamy na powierzchni i nie będą wyglądały dobrze na pobliskich obiektach podczas ruchu głową. Jest to ograniczenie, które trudno będzie obejść. Co więcej, wypełnianie błędów okluzji w skomplikowanych scenach z dużą ilością poruszających się obiektów jest trudne - robienie tego idealnie jest niemożliwe i będzie przez długi czas.

Miną lata, a może nawet dekady, zanim kamery VR zapewnią doskonałe wrażenia w taki sam sposób, jak tradycyjne filmy 2D. To poświęcenie, którego dokonujesz, aby doświadczyć fundamentalnie silniejszego medium.

Po tym wszystkim, w najbliższej przyszłości pojawi się kilka naprawdę fajnych rzeczy. Każda opcja wymieniona w tym artykule może zapewnić naprawdę cenne doświadczenia. Ogłoszenie Samsunga o “Project Beyond” jest obiecującym znakiem nadchodzących wydarzeń.

Wprowadzenie na rynek Oculus Rift planowane jest na jakiś czas w 2015 r., A sprzedaż w milionach egzemplarzy nie wydaje się długa. Jeśli rzeczywistość wirtualna odejdzie tak, jak mogłoby się wydawać, szybko nastąpi ogromny postęp technologiczny.

Zapotrzebowanie na treści sprawi, że kamery VR będą coraz lepsze, mniejsze i tańsze, aby zaspokoić popyt. Prawdopodobnie nie minie wiele lat, zanim urządzenie, które kosztuje mniej niż nowy telefon i mieści się w Twojej dłoni, zapewni fascynujące, wygodne nagrywanie VR wszystkiego - i to będzie bardzo, bardzo fajne.

Co zrobiłbyś z własną kamerą VR? Jakiego rodzaju treści jesteś najbardziej podekscytowany? Daj nam znać w komentarzach!

Kredyty graficzne: Koncepcja okularów za pośrednictwem Shutterstock