Welke VR-headset? # 6: de FOVE
De respons op het vorige artikel, waar nu 5 actieve HMD’s worden besproken, was erg positief. Maar diverse lezers gaven aan graag meer achtergrond informatie te willen krijgen, welke niet op de website van de fabrikant zelf of andere blogs te vinden is. Bij de laatst toegevoegde vr-headsets zie je dat er al meer uitgebreide informatie staat, waardoor het verhaal erg lang is geworden. We breiden het oorspronkelijke artikel dus nu niet meer verder uit, maar bespreken nummer 6 t/m 10 (en wie weet wat er nog na komt…) in aparte blogs per model. Te beginnen bij:
6. Fove
Fove is de afkorting van “foveated”, waar ik zo snel geen Nederlands woord voor weet. Gefocussed zou kunnen, maar klinkt ook niet erg Nederlands. “Foveated graphics” zijn afbeeldingen waar maar alleen dat deel van scherp is, waar de nadruk op wordt gelegd. Alles eromheen wordt vager gemaakt. Dit wordt bij de Fove bereikt door in de bril de beweging van je ogen te volgen en dat geeft dit unieke ontwerp een groot aantal voordelen op de concurrentie. Sommige recensenten noemen de Fove al “next generation HMD”, maar gaat deze headset dit waarmaken? Er zijn namelijk ook nadelen, waarvan de meest opvallende op bovenstaande afbeelding goed te zien is: de bril wordt vooralsnog behoorlijk groot en zwaar aan de voorkant. Mensen die hem uitgeprobeerd hebben, klagen over het slechte evenwichtspunt bij dit model. De meest bekende truc om de framerate op peil te houden bij real-time rendering is gebruik maken van de afstand van de objecten en de details van alles dat ver weg is met een lagere resolutie (LOD = Level Of Detail) te berekenen. Foveated rendering kan hier nog eens vele malen sneller renderen aan toevoegen, theoretisch! Maar dat is niet het enige:
Eyetracking levert meer dan alleen rekenvoordeel op
Foveated rendering
Real-time volgen op welk deel van het beeld je ogen zich richten, heeft grote voordelen voor VR. Het eerste voordeel is dat het natuurlijker is. De laatst besproken actieve HMD in het vorige artikel, de Vise, maakt hiervan slim gebruik met zijn “virtuele 180 FOV”. Als je goed rekening houdt met de richting van patronen, kleuren en de manier waarop onze hersens die visuele informatie verwerken, worden zaken 30-40% makkelijker herkend in die “foveated graphics”, zo blijkt uit studies! Want alleen het middelste stuk van onze blikveld nemen we scherp waar, de rest is vaag. Onze ogen kijken met ongeveer 135 graden vertikaal en 160 graden horizontaal de wereld in, maar in het grootste deel van dit blikveld onderscheiden we niet veel meer dan vage vlekken zonder heel veel verschillende kleuren. Dit heeft te maken met de verdeling van de lichtgevoelige cellen op je netvlies, zie de grafiek hieronder. Voor de meer wetenschappelijk geïnteresseerde liefhebbers: op de rode lijn staan de aantallen (in 1000 per vierkante millimeter) rods= staafjes, waarmee je goed in het donker kunt zien, maar geen kleuren waarneemt. De groene lijn geeft de dichtheid weer van de cones = kegeltjes, waarvan er drie soorten bestaan en waarmee we bij voldoende licht heel scherp kunnen kijken en kleuren kunnen onderscheiden. De fovea is het middelpunt van je netvlies, waar dus enorm veel van die kegeltjes zitten waarmee je details kunt onderscheiden. En op het grootste deel van je netvlies zitten er domweg veel minder. Zo, weer wat geleerd!
Het gevolg hiervan is, dat je alleen dat kleine stukje in het midden maar met zo hoog mogelijke resolutie hoeft te renderen en lang niet het hele beeld op hoge resolutie. De cirkel waarin echt alle details zichtbaar zijn, beslaat maar 0,8% van het totale oppervlak als je naar een canvas of scherm kijkt met een beeldhoek van 60 graden! Wie naar de VR-Meetup in Keulen geweest is op 7 augustus, heeft Daniël Pohl, onderzoeker bij Intel, hierover kunnen horen. Hij liet weten dat hiermee de frame-rate bij het real-time renderen nu in praktijk al met 30-40% verbeterd wordt en er nog aanzienlijke verbeteringen verwacht kunnen worden.
Het derde grote voordeel wordt vaak over het hoofd gezien, maar zal in praktijk uiteindelijk nog wel eens meer kunnen betekenen. Omdat mensen nu eenmaal sneller met hun ogen dan met hun hele hoofd kunnen bewegen, draaien onze ogen eerst die richting op als we ons blikveld verplaatsen en daarna volgt het hoofd. Dus je weet nu ook een fractie van een seconde eerder dan het headtrackingsysteem welke beeld je zou moeten gaan laten zien. In plaats een compleet nieuw beeld te berekenen, kun je proberen alleen de veranderingen ten opzichte van het laatste beeld te berekenen en alleen dit te verversen in het 3-dimensionale beeld. Deze techniek, time-warping, kan erg veel opleveren op het gebied van het aantal beelden per seconde. Veel “Rifters” (=Oculus aanbidders) denken dat John Carmack dit persoonlijk bedacht heeft. Hij zal het vast eigenhandig in de software hebben geprogrammeerd, voordat het in 2014 in versie 0.3.1 van de SDK verscheen. Maar het is een techniek die al 20 jaar geleden bekend was, tijdens de vorige VR-hype. In 1997 is hij onder de naam “Post-Rendering 3D Warping” gepubliceerd:
Daarnaast denkt men bij Fove zelf dat er met het eyetracking-systeem nog veel meer toepassingen te bedenken zijn, naast gamen. Vooral op trainings- en medisch gebied. Bij een oogafwijking als Astigmatisme kan het beeld nu bijvoorbeeld eenvoudig gecorrigeerd worden.
Ook nog heel wat te overwinnen problemen
De timing tussen CPU (die de onder andere de verwerking van sensoren afhandelt) en GPU (die de meeste rekenkracht voor rendering levert) is sowieso nog een groot probleem bij virtual reality met hoge grafische kwaliteit en snelle bewegingen, waar door verschillende hard- en software-fabrikanten intensief aan gewerkt wordt. Om echt gebruik te kunnen maken van de “voorspellende waarde” van eye-tracking, en er niet juist door in de problemen te komen, moet nog heel veel worden onderzocht en geëxperimenteerd. Ook zijn flinke verschillen en afstemmingsproblemen te verwachten tussen NVidia, AMD en Intel bij de optimalisatie hiervoor.
Daarnaast is er nog een natuurlijk verschijnsel waarbij we als mensen de omgeving continue visueel scannen, door heel snel onze ogen te bewegen. Tijdens het autorijden de spiegels in de gaten houden, bijvoorbeeld. Daar hoef je, als het goed is, niet bij na te denken. En alleen als er iets verandert dat niet past in het beeld zoals onze hersens dat voorspellen, volgt eventueel een beweging van het hele hoofd. Deze super snelle oogbewegingen kunnen het hele oogvolgsysteem in de war brengen en variëren sterk, zowel per individu als in verschillende omstandigheden.
Deze variatie geldt ook voor de vraag welke veranderingen in het beeld, eventueel in combinatie met positioneel geluid, een hoofdbeweging zal gaan veroorzaken. Kortom: die “getweakte” demo’s waarin alles perfect lijkt te gaan bij de Fove, zeggen nog maar heel weinig over het tijdstip waarop je deze HMD op een willekeurige PC of console kunt aansluiten en de eye-tracking altijd goed werkt. De enorme belofte die deze HMD levert op een veel betere VR-ervaring staat daar tegenover!
Overige gegevens
De Fove was een succesvol project op Kickstarter, dat openlijk gesteund werd door meerdere marktpartijen, zoals Microsoft. Op 25 juni werd bekend dat ook Samsung Ventures in het bedrijf gaat investeren, waarmee tevens directe ondersteuning voor zowel het Lighthouse trackingsysteem van Valve, als compatibiliteit met OSVR voor de eerste versie al gegarandeerd kon worden. Naast de ondersteuning van de meeste game-platformen die Fove heeft aangekondigd. De headset heeft uiteraard naast eye-tracking ook “head position” tracking en gaat uiteindelijk slechts 400 gram wegen, zo is de bedoeling. Hij heeft een FOV (blikveld) van ruim 100 graden en moet een verversingssnelheid van 90 frames per seconde gaan halen, bij een resolutie van 2560 x 1440 pixels. Het apparaat kostte op Kickstarter $379, nu kun je alleen op de wachtlijst, zie de website getfove.com. Maar je hebt ook nog een flinke PC nodig, voorzien van grafische kaart met displayport die genoemde resolutie met minimaal 100 FPS kan genereren, zo wordt aanbevolen. De eerste modellen uit de productiefase worden momenteel getest en de eerste consumenten headsets worden naar verwachting begin 2016 verstuurd. [tweet]Benieuwd of #FOVEVR echt al next-gen is, voordat Oculus met de consumentenversie van de Rift uitkomt![/tweet]
Commentaar op dit bericht is uitgeschakeld