Viisi kysymystä Microsoftin "HoloLens-projektista"

Mainos

Keskiviikkoaamuna Microsoft esitteli projektin, jonka parissa he ovat työskennelleet seitsemän vuoden ajan, nimeltään laajennetun todellisuuden kuulokemikrofoni HoloLens-projekti.

Visio on kunnianhimoinen: he haluavat muuttaa perusteellisesti tapaa, jolla ihmiset ovat vuorovaikutuksessa tietokoneiden kanssa rakentaa pari laseja, jotka voivat sekoittaa sujuvasti virtuaalista ja todellista sisältöä yhdessä käyttäjä. Tämä on kuin virtuaalitodellisuusteknologia Miksi virtuaalitodellisuustekniikka puhaltaa mieltäsi 5 vuodessaVirtuaalitodellisuuden tulevaisuus sisältää pään, silmän ja ilmaisun seurannan, simuloidun kosketuksen ja paljon muuta. Nämä uskomattomat tekniikat ovat saatavilla sinulle enintään viidessä vuodessa. Lue lisää , mutta pohjimmiltaan tehokkaampi. Lisäksi he haluavat suorittaa kaiken käsittelyn lasilla paikallisesti - ei tietokonetta, puhelinta, kaapeleita. He jopa julkaisevat erityisen Windows-version vain uutta laitteistoa varten. Tämä on teknisen evoluution seuraava vaihe kaikille

AR-pelit Lisätyn todellisuuden sovellukset: hyödyllisiä vai vain hypeitä? MakeUseOf-testitVuonna 2011 analyytikot ennustivat lisätyn todellisuuden mobiilisovellusten nousua. Syntyvä tekniikka mullisti tavan, jolla olemme vuorovaikutuksessa mobiililaitteidemme kanssa. Kaksi vuotta eteenpäin ja kymmeniä AR-sovelluksia asuttavat kaikki ... Lue lisää olet asentanut puhelimeesi kerran, etkä ole koskettanut sen jälkeen.

Heidän aikataulunsa on vielä kunnianhimoisempi kuin heidän tavoitteensa: he haluavat lähettää kehittäjäpaketteja tänä keväänä, ja kulutustavaroita “Windows 10 -jakson aikana”. Tässä on sävelkorkeus.

Kaikki tämä kuulostaa hienolta, mutta myönnän melko korkean skeptisyyden.

Microsoftin käyttämillä tekniikoilla on vakavia, perustavanlaatuisia haasteita, ja toistaiseksi Microsoftille on annettu tiukka käsitys siitä, kuinka (tai jos) ne on ratkaistu. Jos he eivät ole ratkaisseet niitä, heidän tavoitteensa vuoden kuluessa on erittäin huolestuttava. Viimeinen asia, jota VR ja AR tarvitsevat, on iso yritys, joka toimittaa toisen puolivalmistetun tuotteen, kuten Kinect. Muista Projekti Natal-demo vuodesta 2009?

Ilman lisäohjeita, tässä on viisi tärkeintä asiaa, jotka haluaisin tietää HoloLens-kamerasta.

Onko tämä valokentän näyttö?

Tämän ymmärtämiseksi meidän on tutkittava hiukan syvemmälle 3D: hen ja sen toimintaan. Saadaksesi sensaation todellisesta, konkreettisesta 3D-maailmasta, aivomme integroivat paljon erilaisia ​​tietoja. Saamme syvyysarvoja maailmalta kolmella pääasiallisella tavalla:

• Stereosyvyys - ero siitä, mitä molemmat silmämme näkevät. 3D-elokuvien toiminnassa tämä on
• Liike parallaksi - hienovaraiset pään ja vartalon liikkeet antavat meille lisää syvyysviivoja kauempana oleville esineille
• Optinen tarkennus - Kun keskitymme johonkin, silmämme linssit deformoituvat fyysisesti, kunnes ne keskittyvät; lähikenttäobjektit vaativat enemmän linssin vääristymiä, mikä tarjoaa syvyystietoja siitä, mitä katsomme

Optista tarkennusta on helppo tarkistaa itse: sulje toinen silmä ja pidä peukaloa ylös huoneen poikki olevan seinän edessä. Siirrä sitten tarkennus pikkukuvasta sen takana olevaan pintaan. Kun katsot peukalon ohi, peukalo siirtyy tarkennuksesta, koska silmäsi linssi on nyt vähemmän muodonmuutos ja et pysty keräämään siitä tulevaa valoa oikein.

VR-kuulokkeet, kuten Oculus Rift, tarjoavat kaksi ensimmäistä osoitusta erittäin tarkasti, mutta eivät viimeistä, mikä toimii yllättäen hyvin: silmämme olettaa rentouttavan täysin, koska optiikka kohdistaa kuvat valon läpi tulevan äärettömän kaukaa pois. Optisen tarkennusmerkinnän puute on epärealistista, mutta se ei yleensä häiritse. Voit silti saada erittäin hienoja pelikokemuksia 5 Oculus Rift -pelikokemusta, joka räjäyttää sinutNyt kun toisen sukupolven Oculus Rift -kehityspaketti on loppunut ja on kehittäjien käsissä ympäri maailmaa, tarkastellaan eräitä Riftin tähän mennessä parhaimpia tavaroita. Lue lisää ilman sitä.

Lisätyssä todellisuudessa ongelma on erilainen, koska sinun on sekoitettava valoa todellisista ja virtuaalisista esineistä. Oikeasta maailmasta tuleva valo kohdistuu luonnollisesti moniin syvyyksiin. Virtuaali sisältö kuitenkin kuitenkin keskitetään kiinteään, keinotekoiseen etäisyyteen, jonka optiikka määrää - todennäköisesti äärettömyyteen. Virtuaaliset esineet eivät näytä siltä, ​​että ne olisivat todella osa kohtausta. He ovat keskittymättömiä, kun katsot todellisia asioita samalla syvyydellä ja päinvastoin. Silmääsi ei voi siirtää sujuvasti kohtauksen yli pitäen sitä tarkennettuna, kuten yleensä. Ristiriidassa olevat syvyysviivat ovat parhaimmillaan hämmentäviä ja pahimmassa.

Tämän korjaamiseksi tarvitset jotain, jota kutsutaan kevyen kentän näytöksi. Valaistuskentät ovat näytöitä, joissa käytetään joukko pieniä linssejä valon näyttämiseen tarkennettuna monille syvyille samanaikaisesti. Tämän avulla käyttäjä voi keskittyä luonnollisesti näytölle ja (lisätyn todellisuuden vuoksi) ratkaisee yllä kuvatun ongelman.

On kuitenkin ongelma: valokenttä näyttää pääasiassa yhden 2D-näytön kartoittamisen kolmiulotteiseen valokenttään, mikä tarkoittaa, että jokainen ”syvyys” pikseli ”, jonka käyttäjä havaitsee (ja se on tietyllä kohtauksen syvyydellä kohtauksessa), koostuu tosiasiallisesti alkuperäisen monien pikselien valosta näyttö. Mitä hienompaa syvyyttä haluat kuvata, sitä enemmän resoluutiota sinun on luopua.

Yleensä vaaleissa kentissä on noin kahdeksan kertaa tarkkuus pienenee, jotta saadaan riittävä syvyystarkkuus. Parhaimpien käytettävissä olevien mikronäyttöjen resoluutio on noin 1080p. Jos oletetaan, että yksi huippuluokan mikronäyttö johtaa jokaista silmää, se tekisi Microsoftin kuulokkeiden todellisen resoluution vain noin 500 x 500 pikseliä per silmä, vähemmän kuin Oculus Rift DK1. Jos näytöllä on korkea näkökenttä, virtuaaliobjektit ovat käsittämättömiä pikselien pisteitä. Jos näin ei ole, upotus kärsii suhteellisesti. Emme koskaan saa nähdä objektiivin läpi (vain tietokoneen uudelleenluomista siitä, mitä käyttäjä näkee), joten meillä ei ole aavistustakaan siitä, millainen käyttökokemus on.

On mahdollista, että Microsoft on keksinyt jonkin uuden ratkaisun tähän ongelmaan salliaksesi vaalean kentän näytön käytön ilman tarkkuuden vaihtoa. Microsoftin suhtautuminen heidän näyttötekniikkaansa on kuitenkin ollut erittäin hämmästyttävää, mikä saa minut epäilemään, että heillä ei ole sitä. Tässä on paras selitys, jonka olemme tähän mennessä saaneet (aiheesta LANGALLINEN esittely).

Project HoloLens -kuvien luomiseksi valon hiukkaset kimpoavat miljoonia kertoja laitteen ns. Kevyessä moottorissa. Sitten fotonit menevät suojalasien kahteen linssiin, missä ne rikoosivat sinisen, vihreän ja punaisen lasikerroksen välillä ennen kuin ne saavuttavat silmäsi takaosan.

Tällainen tekniikan kuvaus voi tarkoittaa käytännössä mitä tahansa (vaikka oikeudenmukaisesti Microsoftin kanssa laitteisto vaikutti WIRED-johtoon, vaikka artikkelissa oli yksityiskohtia vähän).

Emme tiedä enemmän varmasti ennen kuin Microsoft alkaa julkaista teknisiä tietoja, luultavasti kuukausien kuluttua. Edelleen onko nitrauksen poiminta huomautettava, että projekti on hukutettava tähän markkinointipuheenvuoroon? Omistettua prosessoria, jota he käyttävät päänseurantaan, kutsutaan ”holografiseksi prosessoriksi” ja kuvia kutsutaan “hologrammiksi” ilman erityistä syytä. Tuote on pohjimmiltaan tarpeeksi viileä, joten sitä ei todellakaan ole tarpeen kultaa tällä tavalla.

Onko seuranta riittävä?

Project HoloLens -kuulokemikrofoniin on asennettu korkea FOV-syvyyskamera (kuten Kinect), jolla se selvittää missä HF on avaruudessa (yrittämällä linjata näkemänsä syvyyskuva maailmanmalliinsa yhdisteltynä aikaisemmasta syvyydestä) kuvia). Tässä on heidän kuulokkeiden suora demo toiminnassa.

Seuranta on vaikuttava ottaen huomioon, että siinä ei käytetä merkkejä tai muita huijauksia, mutta jopa siinä videossa (alla voimakkaasti hallittuissa olosuhteissa), voit nähdä tietyn määrän heilahtelua: seuranta ei ole täysin vakaa. Se on odotettavissa: tällainen sisäpuolella tapahtuva seuranta on erittäin vaikeaa.

Kuitenkin iso oppitunti erilaisia ​​Oculus Rift -prototyyppejä Katso meitä kokeilemaan Oculus Rift Crescent Bay CES 2015 -tapahtumassaOculus Rift Crescent Bay on upouusi prototyyppi, joka näyttää jännittäviä parannuksia virtuaalitodellisuusteknologiaan. Kokeilemme sitä CES 2015 -tapahtumassa. Lue lisää onko seurannan tarkkuus tärkeä asia. Jittery-seuranta on vain ärsyttävää, kun kyseessä on muutama kohde suurelta osin vakaassa todellisessa maailmassa, mutta kohtauksissa, kuten Mars-demo, joita ne esittivät konseptissaan video, jossa melkein kaikki näkemäsi on virtuaalista, epätarkka seuranta voi johtaa ”läsnäolon” ​​puuttumiseen virtuaalisessa kohtauksessa tai jopa simulaattorissa sairaus. Voiko Microsoft saada seurannan Oculuksen asettamaan standardiin (alle millimetrin seurantatarkkuus ja alle 20 ms: n kokonaisviive) niiden toimituspäivään tämän vuoden lopussa?

Tässä on Michael Abrash, VR-tutkija, joka on työskennellyt sekä Valven että Oculuksen palveluksessa, puhumme ongelmasta

[Koska virtuaalikuvien tuottaminen on aina viivästynyt, […] on erittäin vaikea saada virtuaalisia ja oikeita kuvia rekisteröimään tarpeeksi tiiviisti, jotta silmä ei huomaa. Oletetaan esimerkiksi, että sinulla on oikea koksiöljy, josta haluat muuttaa AR Pepsi-tölkin, piirtämällä Pepsi-logon koksi-logon päälle. Jos Pepsi-logon piirtäminen vie kymmeniä millisekuntia, joka kerta, kun käännät päätäsi, vaikutus on seuraava Pepsi-logo näyttää siirtyvän muutama aste tölkkiin nähden, ja osa koksin logosta tulee näkyväksi; sitten Pepsi-logo napsahtaa takaisin oikeaan paikkaan, kun lopetat liikkumisen. Tämä ei selvästikään ole tarpeeksi hyvä kovalle AR: lle

Voiko näyttö piirtää mustaa?

Toinen asia fokuksen syvyyden ja seurannan lisäksi liittyy tummien värien piirtämiseen. Lisää valoa kohtaukseen on suhteellisen yksinkertaista, käyttämällä säteenjakajia. Valon ottaminen on paljon vaikeampaa. Kuinka tummennat valikoivasti todellisen maailman osia? Valinnaisesti läpinäkyvän LCD-näytön asettaminen ei leikkauta sitä, koska se ei voi aina olla oikeassa tarkennuksessa estääksesi katselemasi. Optisia työkaluja tämän ongelman ratkaisemiseksi, ellei Microsoft ole keksinyt niitä salaa, yksinkertaisesti ei ole olemassa.

Tällä on merkitystä, koska monille sovelluksille, joita Microsoft näyttää (esimerkiksi Netflixin katseleminen seinälläsi), kuulokkeet todella tarvitsevat kyky poistaa seinältä tuleva valo, tai muuten elokuvassasi on aina näkyvä stukkokuvio, joka on päällekkäin: se tulee olemaan Kuvien avulla on mahdotonta estää todellisia esineitä näkymästä, jolloin HF-laitteen käyttö riippuu voimakkaasti ympäristön valaistuksesta olosuhteissa. Takaisin Michael Abrash:

[S] Mikään tällainen ei ole ilmennyt AR-teollisuudessa tai kirjallisuudessa, ja ellei ja kunnes se tapahtuu, vaikea AR, SF-merkityksessä, jota me kaikki tiedämme ja rakastamme, ei voi tapahtua, paitsi pimeässä.

Tämä ei tarkoita, että AR olisi pöydältä, vain että se on jonkin aikaa pehmeä AR, joka perustuu lisäaineen sekoittamiseen […] Ajattele jälleen kerran läpikuultavaa kuten “Ghostbusters”. Suorituskykyiset virtuaalikuvat, joissa ei ole tummia alueita, myös toimivat, etenkin alueellisen tai globaalin tummennuksen avulla - ne eivät vain näytä osana todellista maailman.

Entä sulkeutuminen?

”Sulkeutuminen” on termi sille, joka tapahtuu, kun yksi esine kulkee toisen edessä ja estää sinua näkemästä, mikä sen takana on. Jotta virtuaalimaisemat voisivat tuntua konkreettiselta maailmalta, on tärkeää, että oikeat esineet sulkeutuvat virtuaalisesti esineet: jos pidät kättäsi virtuaalikuvien edessä, sinun ei pitäisi nähdä sitä käsi. Koska kuulokkeessa käytetään syvyyskameraa, tämä on todella mahdollista. Katso kuitenkin live-esitys uudelleen:

Yleisesti ottaen he hallitsevat kamerakulmia huolellisesti, jotta oikeat esineet eivät kulkeisi virtuaalisten edessä. Kun mielenosoittaja toimii kuitenkin Windows-valikon kanssa, voit nähdä, että hänen kätensä ei estä sitä ollenkaan. Jos tämä on heidän tekniikansa ulottumattomissa, se on erittäin huono merkki heidän kulutustavaroidensa elinkelpoisuudelle.

Ja puhumalla siitä käyttöliittymästä ...

Onko tämä todella lopullinen käyttöliittymä?

Microsoftin esittelyvideoissa osoittama käyttöliittymä näyttää toimivan käyttämällä jotakin katseen ja käden yhdistelmää seuranta kohdistimen hallitsemiseksi virtuaalisessa kohtauksessa samalla kun ääniohjaimia valitaan erilaisten välillä vaihtoehtoja. Tällä on kaksi suurta haittaa: se saa sinut näyttämään Shiningin pieneltä lapselta, joka puhuu sormellaan, mutta mikä vielä tärkeämpää, se edustaa myös perustavanlaatuisesti puutteellista suunnitteluparadigmaa.

Historiallisesti parhaat käyttöliittymät ovat olleet sellaiset, jotka tuovat fyysisiä intuitioita maailmalta virtuaalimaailmaan. Hiiri toi napsauttamisen, vetämisen ja ikkunat. Kosketusliittymä toi pyyhkäisemällä selataksesi ja hyppäämällä zoomataksesi. Nämä molemmat olivat kriittisiä tietokoneiden tekemisessä entistä helpommaksi ja hyödyllisemmiksi väestölle - koska ne olivat pohjimmiltaan intuitiivisempia kuin ennen.

VR ja AR antavat sinulle suunnittelijana paljon enemmän vapautta: Voit sijoittaa käyttöliittymäelementtejä mihin tahansa 3D-tilan päälle ja saada käyttäjät vuorovaikutukseen niiden kanssa luonnollisesti, ikään kuin ne olisivat fyysisiä esineitä. Valtava määrä ilmeisiä metafooria viittaa itseensä. Valitse se koskettamalla virtuaalista käyttöliittymäelementtiä. Ota se kiinni ja siirrä sitä. Liu'uta se pois tieltä, jotta voit tallentaa sen väliaikaisesti. Murskaa se poistaaksesi sen. Voit kuvitella rakentavan käyttöliittymän, joka on niin intuitiivinen, että se ei edellytä selitystä. Jotain mitä isoäitisi voi heti noutaa, koska se on rakennettu fyysisten perusintuitioiden perustalle, jonka kaikki rakentavat elinaikanaan vuorovaikutuksessa maailman kanssa. Ota hetki ja kuuntele tätä älykästä ihmistä kuvaamaan, mitkä kiehtovat rajapinnat voisivat olla.

Toisin sanoen (minulle) vaikuttaa itsestään selvältä, että syventävän käyttöliittymän pitäisi olla vähintään yhtä intuitiivinen kuin iPhonen edelläkävijä kosketusrajapinnat 2D-monitoiminäytöille. Rajapinnan rakentaminen VR: n "hiiren" manipuloinnin ympärille on askel taaksepäin ja paljastaa jommankumman syvän teknologisen puutteita heidän kädenseurantatekniikassaan tai perustavanlaatuista väärinkäsitystä siitä, mikä on mielenkiintoista tässä uudessa välineellä. Joka tapauksessa se on erittäin huono merkki, että tämä tuote on enemmän kuin kolossaalinen, Kinect-mittainen floppi.

Toivottavasti Microsoftilla on aikaa saada palautetta tästä ja tehdä parempi työ. Esimerkiksi tässä on yhden harrastajan suunnittelema käyttöliittymä Oculus Rift DK2: lle ja Leap Motionille. Suuren yrityksen suunnitteleman ympäröivän käyttöliittymän tulisi olla ainakin tämä hyvä.

Merkki tulevista asioista

Kaiken kaikkiaan olen erittäin skeptinen koko HoloLens-projektin suhteen. Olen erittäin iloinen, että yritys, jolla on Microsoftin resursseja, tutkii tätä asiaa, mutta olen huolissani siitä yrittää ajaa tuote ulos ratkaisematta joitain kriittisiä taustalla olevia teknisiä kysymyksiä tai naulata hyvää käyttöliittymää paradigma. HoloLens on merkki tulevista asioista, mutta se ei tarkoita, että itse tuote tarjoaa hyviä kokemuksia kuluttajille.

Kuvaluotto: Microsoftin kohteliaisuus