Apple Prillid

Kuuldavasti on Apple'il sadadest töötajatest koosnev salajane meeskond, kes töötab virtuaal- ja liitreaalsuse projektidega.

• Jah
• Ei

Apple'i salajane liit- ja virtuaalreaalsusprojekt

Sisu

1. Apple'i salajane liit- ja virtuaalreaalsusprojekt
• Segareaalsusega peakomplekt
• AR Smart Prillid
• iOS 14 AR lekked
• AR Xcode'is
• Valve partnerlus?
• Muud kuulujutud
2. Liitreaalsus vs virtuaalreaalsus
3. Apple'i VR/AR meeskond
• Palgab
• Soetused
4. AR / VR patendid
5. Käivitamise kuupäev
6. Tulevased AR/VR plaanid
7. Apple'i prillide ajaskaala

Apple on patenditaotlustel põhinevaid virtuaalreaalsuse ja liitreaalsuse tehnoloogiaid uurinud enam kui 10 aastat, kuid virtuaalse ja liitreaalsuse populaarsuse tõttu ARKiti turuletulekuga on Apple'i nügimine aina tõsisem ja eeldatavasti toob kaasa AR/ VR toode 2022. aastal.

Kuuldavasti on Apple'il salajane uurimisüksus, kus on sadu töötajaid, kes töötavad AR-i ja VR-i kallal ning uurivad võimalusi, kuidas uusi tehnoloogiaid tulevastes Apple'i toodetes kasutada. VR/AR-i palkamine on viimastel aastatel hoogustunud ja Apple on oma tööd AR/VR-ruumis edendades omandanud mitu AR/VR-ettevõtet.

Kuuldavasti töötab Apple vähemalt selle kallal kaks AR-projektid, mis hõlmavad liitreaalsuse peakomplekti, mis tuleb välja 2022. aasta paiku, millele järgneb stiilsemad liitreaalsuse prillid, mis tulevad hiljem. Paljud kuulujutud on aga keskendunud ainult prillidele, mis põhjustab Apple'i plaanide osas segadust, kuid näib, et AR/VRheadset on esimene toode, mis turule tuuakse.

Apple'i analüütik Ming-Chi Kuo usub Apple'i segareaalsusega peakomplekti tuleb välja 2022. aasta lõpus või 2023. aasta alguses, Apple Glasses järgneb 2025. aastal, kuigi teised allikad on öelnud, et prillid tulevad 2023. aastal. Peakomplekt on AR/VR ehk segareaalsus, samas kui Apple'i prillid on liitreaalsus.

Segareaalsusega peakomplekt

Teave ja Bloomberg Mõlemad on öelnud, et Apple töötab nutikate prillide JA AR/VR-peakomplekti (teise nimega segareaalsus) kallal, kusjuures esmalt tuleb välja peakomplekt ja seejärel prillid. Kuuldavasti sarnaneb peakomplekt Facebooki virtuaalreaalsuse peakomplektiga Oculus Quest, kuid selle stiilsema disainiga, mis kasutab peakomplekti mugavuse tagamiseks kangast ja kergeid materjale.

Öeldakse, et seda iseloomustab kaks kõrge eraldusvõimega 8K ekraani ja silmade tuvastamise kaamerad, mis võimaldavad kasutajatel 'lugeda väikest kirja' ja 'näha teisi inimesi, kes seisavad virtuaalsete objektide ees ja taga'. Peakomplekt suudab kaardistada ruumide pindu, servi ja mõõtmeid 'suurema täpsusega kui turul olemasolevad seadmed'. Sellel on täiustatud ekraan ja kiip, mis on isegi kiirem kui 2020. aasta Macide M1-protsessor.

Teave veebruaris ütles, et see on varustatud enam kui tosina kaameraga käte liigutuste jälgimiseks lisaks kaameratele välismaailma nägemiseks ning disain blokeerib perifeerse nägemise, et vältida valguse lekkimist kandja vaatevälja. Ekraanile võib olla sisse ehitatud ka väljapoole suunatud visiir, mis võimaldab kasutajal graafikat teistele näidata.

The Elec väidab, et VR-peakomplektil on kõrge eraldusvõimega mikro-OLED-ekraan, mille eraldusvõime on kuni 3000 pikslit tolli kohta. Varem kuulutati nutikate prillide jaoks mikro-OLED-ekraani, kuid mitte VR-peakomplekti.

Apple'i analüütik Ming-Chi Kuo on öelnud, et Apple'i tulevane segareaalsusega peakomplekt sisaldab 15 optilist kaameramoodulit kokku. 15 kaameramoodulist kaheksat kasutatakse läbipaistvate liitreaalsuse kogemuste jaoks, kuut moodulit kasutatakse uuendusliku biomeetria jaoks ja üht kaameramoodulit keskkonna tuvastamiseks.

Kuo usub ka Apple'i peakomplekt varustatakse täiustatud silmade jälgimise süsteemiga, mida kasutatakse intuitiivse visuaalse kogemuse pakkumiseks, mis suhtleb sujuvalt väliskeskkonnaga, ning intuitiivsemat juhtimist, mida saab juhtida silmade liigutustega ja väiksema arvutuskoormusega. eraldusvõime, kus kasutaja ei vaata.

Disaini mõttes on peakomplekti kirjeldatud kui 'siledast, kumerat visiirt, mis on näo külge kinnitatud võrkmaterjali ja vahetatavate peapaeltega'. Väidetavalt sisaldab üks peavõru ruumilist helitehnoloogiat, nagu AirPods Pro, et tagada ruumilise heliga sarnane kogemus, samas kui teine ​​pakub liikvel olles täiendavat aku kasutusaega. Apple töötab mitme juhtimismeetodi kallal, sealhulgas 'sõrmkübaralaadse seadmega, mida saab kanda inimese sõrmes'. Peakomplekt oleks võimeline reageerima ka kandja silmade liigutustele ja käeliigutustele, samal ajal kui peakomplekti ühel prototüübil oli ka visiiri küljel füüsiline ketas. Apple on testinud ka Siri sisendit.

Apple tahab luua App Store peakomplekti jaoks, keskendudes mängimisele, videosisu voogesitamisele ja videokonverentsidele. Seda on kirjeldanud Bloomberg 'kõikehõlmava 3-D digitaalse keskkonnana', mis on loodud mängimiseks, videote vaatamiseks ja suhtlemiseks.

Praegused peakomplekti prototüübid öeldakse kaaluda umbes 200–300 grammi, kuid Apple on võtnud eesmärgiks vähendada tehniliste probleemide lahendamise korral lõppmassi 100–200 grammi, mis muudaks peakomplekti olemasolevatest VR-seadmetest kergemaks. Peakomplekt on kaasaskantav sõltumatu toite ja salvestusruumiga, kuid see ei ole 'mobiilne' nagu iPhone. See pakub nn kaasahaaravat kogemust, mis ületab praegu saadaolevaid VR-tooteid ning seda saab integreerida Apple TV+ ja Apple Arcade'iga.

Peakomplekti liitreaalsuse funktsionaalsus on 'piiratum' ja kuigi väljalase on kavandatud 2022. aastaks, on Apple väidetavalt tabanud mitmeid arendustõkkeid ja tal on seadme müügihinnangud 'konservatiivsed'. Apple loodab müüa umbes 180 000 ühikut, mis on võrdne selliste kallimate seadmetega nagu Mac Pro. Peakomplekt on eeldatavasti palju kallim kui teiste ettevõtete peakomplektid ja Teave ütleb, et Apple on arutanud peakomplekti hinda umbes 3000 dollarit.

Esialgne disain sisaldas ventilaatorit ja võimsaid protsessoreid, mille tulemuseks oli liiga raske seade. Väidetavalt otsustas Apple viia peakomplekti suuruse vähendamiseks näole lähemale. Kasutajad ei saa peakomplekti kasutamise ajal prille kanda, seetõttu on Apple loonud süsteemi, kus saab VR-ekraanide kohale sisestada kohandatud retseptiläätsed.

Kuo usub, et peakomplekt kasutab Fresneli hübriidobjektiivi disaini , mis hõlmab kolme üksteise peale asetatud kergest plastikust läätse silma kohta. Disaini eesmärk on võimaldada ülilühikesi fookuskaugusi ja paremat optilist jõudlust ning laia vaatevälja ning hoida peakomplekti kaal alla 150 grammi.

Võimsuse osas on eelseisval AR/VR-peakomplektil a tipptasemel põhiprotsessor see sarnaneb M1-kiibiga, mille Apple eelmisel aastal oma Apple'i räni-Maci jaoks debüteeris, koos madalama kvaliteediga protsessoriga seadme anduritega seotud aspektide haldamiseks.

Apple'i analüütik Ming-Chi Kuo väidab, et see suudab töötada iseseisvalt ilma Macile või iPhone'ile tuginemata, mis on kõrvalekalle varasemast kuulujutust, mis ütles, et nõuavad lõastamist iPhone'ile. Peakomplekti suure võimsusega kiip juhib paari Sony 4K Micro OLED-ekraani ja kuut kuni kaheksat optilist moodulit, et pakkuda AR-põhist funktsiooni. Apple'il on lõpetatud tööd AR/VR-peakomplekti SoC-l ja optimeerib traadita andmeedastuseks, video tihendamiseks ja lahtipakkimiseks ning energiatõhususe tagamiseks maksimaalse aku tööea tagamiseks ning sellel ei ole närvimootorit nagu mõnel Apple'i kiibil.

Apple'i peagi ilmuvad segareaalsusega peakomplektid pakkuda WiFi 6E tugi, mis on uusim WiFi spetsifikatsioon. Väidetavalt kavatseb Apple juurutada WiFi 6E, et pakkuda kvaliteetset ja kaasahaaravat kogemust koos kindla traadita ühendusega. WiFi 6E-l on kõik WiFi 6 eelised, kuid lisaks 2,4 GHz ja 5 GHz sagedusaladele lisab see 6 GHz spektri, et suurendada ribalaiust ja vähendada seadmetevahelisi häireid.

Segareaalsusega peakomplekti renderdab

Disainer Antonio De Rosa on välja töötatud 3D-renderdus poolt jagatud üksikasjade põhjal Teave , mis annab meile pilgu sellele, milline Apple'i segareaalsusega peakomplekt praeguste kuulujuttude põhjal välja näeb.

Teave on kirjeldanud peakomplekti kui 'siledat, kumerat visiirit, mis on näo külge kinnitatud võrkmaterjali ja vahetatavate peapaeltega', mida pakutakse mitmes värvitoonis.

Varasemad peakomplekti prototüübid

Varasemad kuulujutud pärit CNET 2018. aastal soovitas Apple töötada võimsa AR/VR-peakomplekti kallal, mille mõlema silma jaoks on 8K ekraan, mis oleks lahti ühendatud kas arvutist või nutitelefonist ja mis töötaks nii virtuaalse kui ka liitreaalsuse rakendustega.

Selle asemel, et loota ühendusele nutitelefoni või arvutiga, peakomplekt CNET kirjeldatud ühenduks 'spetsiaalse kastiga', kasutades kiiret lühitoimelist juhtmevaba tehnoloogiat, mida nimetatakse 60 GHz WiGigiks. Kasti toiteallikaks oleks kohandatud 5-nanomeetrine Apple'i protsessor, mis on võimsam kui miski praegu saadaval. Kast meenutab ilmselt PC-torni, kuid see 'ei ole tegelik Maci arvuti'. Sellest kastitaolisest disainist levisid varajased kuulujutud ja see võib olla prototüüp, millest on sellest ajast peale loobutud elegantsema versiooni jaoks, mida kuulujutud nüüd kirjeldavad.

Väidetavalt on sisemised lahkarvamused aja jooksul kujundanud ja muutnud Apple'i AR-peakomplekti eesmärke. Apple oli esialgu sihtides ülivõimsa süsteemi jaoks, mis oli varustatud jaoturiga protsessori majutamiseks, nagu eespool kirjeldatud, kuid Jony Ive, kes on vahepeal ettevõttest lahkunud, ei soovinud müüa seadet, mille täielikuks funktsioneerimiseks oleks vaja eraldi statsionaarset seadet.

Ma soovisin selle asemel vähem võimsa tehnoloogiaga peakomplekti, mida saaks otse seadmesse manustada, kuid AR/VR meeskonna juht Mike Rockwell soovis võimsamat seadet. See oli vaidlus, mis kestis kuid ja Tim Cook asus lõpuks Ive poolele. Väidetavalt eelistab Ive AR-nutiprille, mis on samuti töös.

AR Smart Prillid

Apple töötab liitreaalsuse prillide komplekti kallal, mille lekitaja Jon Prosser on soovitanud Apple hakkab nimetama Apple Glassiks. See nimi oleks ebatavaline valik, arvestades sarnasust Google Glassi nimega, tootega, mis eksisteeris ammu enne Apple'i AR-prillide kallal töötamist, seega ei pruugi see olla täpne.

Väidetavalt näevad prillid välja sarnased tavaliste prillidega, kusjuures mõlemal objektiivil on ekraan, mida saab liigutustega suhelda. Saadaval on võimalus osta prillid ilma retseptiläätsedeta võimaliku alghinnaga 499 dollarit, retseptiläätsed on saadaval lisatasu eest.

Vastavalt Bloomberg , prillid on sees varajases arengujärgus , isegi varem kui AR/VR-peakomplekt, mille kallal Apple töötab. Prille on kirjeldatud kui 'mitu aastat eemal', kuigi Apple plaanis need algselt välja anda juba 2023. aastal. Praegune prototüüp meenutab kõrgekvaliteedilisi päikeseprille, millel on paksud raamid, milles on aku ja kiibid.

Väidetavalt on Apple plaanib kasutada Tipptasemel OLED-mikrokuvarid, mille Sony tarnib oma kuulujutud liitreaalsuse prillide jaoks. Sony OLED-mikrokuvaritel on ülikiire reageerimissagedus, ülikõrge kontrastsus, lai värvigamma, kõrge heledus, madal peegeldusvõime ning integreeritud draiverid õhukese ja kerge disaini jaoks. Väidetavalt on prillidel 0,5-tolline ekraan eraldusvõimega 1280x960.

Kuo loodab, et AR-prille turustatakse iPhone'i lisatarvikuna ja neil on eeskätt kuvar, laadides prillidega iPhone'ile arvuti, võrguühenduse ja positsioneerimise. pakkudes esmalt mobiilne optiline läbipaistev AR-kogemus. AR-prillide pakkumine iPhone'i lisaseadmena võimaldab Apple'il hoida need õhukesed ja kerged. Prosser ütleb, et prillid näevad välja sarnased Ray-Ban Wayfarersi või Tim Cooki kantavate prillidega.

Bloomberg on öelnud, et Apple'i prillidel töötab 'rOS' ehk reality operatsioonisüsteem. Väidetavalt põhineb rOS iOS-il, iPhone'is töötaval operatsioonisüsteemil. AR-peakomplekti jaoks töötab Apple välja paketipõhise kiibi, mis sarnaneb Apple Watchis olevale, kuigi see tugineb iPhone'ile, nagu eespool mainitud.

AR-peakomplekti väljatöötamise käigus on Apple käsitlenud sisestusmeetoditena puutepaneele, häälaktiveerimist ja pealiigutusi ning prototüüpide loomisel on mitmesuguseid rakendusi alates kaardistamisest kuni tekstisõnumite saatmiseni. Virtuaalsed koosolekuruumid ja 360-kraadine video taasesitus on samuti kontseptsioonid, mida uuritakse.

Arvas, et olid esialgsed kuulujutud 2020. aasta käivitamisest , Bloomberg usub AR-prille võiks tulla ilmumiseni on jäänud aastaid, VR-peakomplekt tuleb välja 2022. aastal. Aruanne alates DigiTimes soovitas, et Apple'i AR-prillid lastakse turule 2021. aastal ja Apple'i analüütik Ming-Chi Kuo ootab turuletulekut 2022. aastal kõige varem .

Lekitaja Jon Prosser usub, et Apple avalikustab oma AR-prillid 2021. aasta märtsis või juunis, kuid see näib olevat ebatäpne, võttes arvesse alates aastast pärit hinnanguid. Bloomberg ja Kuo.

Prosser ütleb ka, et Apple töötab nutikate prillide piiratud väljalaskega Steve Jobs Heritage versiooni kallal, mis näeb välja nagu ümmargused raamita prillid, mida Steve Jobs varem kandis, kuid Bloomberg Mark Gurman on nimetanud seda kuulujuttu 'täielikuks väljamõeldiseks'.

Apple on TSMC-ga töötamine töötada välja ülitäiustatud mikro-OLED-ekraanid, mida hakatakse kasutama Apple'i tulevastes liitreaalsuse seadmetes, nagu nutikrillid. Näidikud on väidetavalt alla ühe tolli suurused.

Mikro-OLED-ekraanid on ehitatud otse kiipvahvlitele, mitte klaassubstraadile, mille tulemuseks on õhemad, väiksemad ja energiasäästlikumad kuvarid. Väidetavalt on mikro-OLED-ekraanide väljatöötamine proovitootmise etapis ja kulub mitu aastat, enne kui Apple ja TSMC on masstootmiseks valmis, mis muudaks need ekraanid sobivaks Apple'i prillide jaoks, mis kuulujuttude kohaselt turule tulevad millalgi 2023. aasta paiku.

2021. aasta alguse seisuga Apple väidetavalt on siseneb liitreaalsuse prillide prototüübi 'teise arenduse faasi'. Prillid peavad mõne kuu pärast läbima kolmanda arendusetapi ja seejärel, kui prototüübi kujundus on valmis, läbivad kantavad kuue- kuni üheksakuulise insenerikontrolli perioodi.

iOS 14 AR lekked

Kood ja pildid leitud iOS 14-st kinnitage Apple'i tööd AR- või VR-peakomplekti kallal avastatud fotoga, mis kujutab peakomplekti üldise välimusega kontrollerit, mis on disainilt sarnane peakomplektiga HTC Vive Focus. Apple on sisetestimiseks kasutanud HTC Vive riistvara.

Apple katsetab oma AR-seadmeid iOS 14 rakendusega Gobi koos QR-koodidega, et testida liitreaalsuse kogemusi. Üks sellistest liitreaalsuse kogemustest on ülekäiguraja keeglimäng, mis käivitub Californias Sunnyvale'i kindlal ülekäigurajal.

AR Xcode'is

Kood Xcode 11-s kinnitab Apple'i töö mingis AR-peakomplektis. Seal on viited koodnimega testseadmetele pluss raamistikele ja nende seadmetega seotud süsteemikestale. Viited viitavad sellele, et Apple arendab tuge näole paigaldatavale AR-kogemusele, mis sarnaneb Google'i Daydreamiga.

Valve partnerlus?

Taiwani saidi järgi DigiTimes , Apple teeb koostööd mängu arendaja Valve selle kuulujutud AR-peakomplekti eest. Valve andis oma esimese VR-peakomplekti Valve Index välja 2019. aasta aprillis.

Valve töötas varem Apple'iga, et tuua macOS High Sierrale VR-peakomplekti loomulik tugi, kasutades eGPU tuge SteamVR-i tarkvara Maci versiooniga.

Muud kuulujutud

2017. aasta novembris ostis Apple ettevõtte Vrvana, mis töötas välja segareaalsusega peakomplekti nimega Totem. Vrvana tehnoloogiat saab potentsiaalselt kasutada tulevastes Apple'i peakomplektides. Apple pärast Vrvana ostu omandas Akonia Holographicsi, ettevõtte, mis toodab AR-nutiprillide objektiive.

Kuulujutud on ka vihjanud, et Apple võiks liitreaalsuse uuringud kaasata käimasolevasse autoprojekti osana autos olevast tarkvarasüsteemist, mis võiks sisaldada heads-up-ekraani või muid funktsioone.

Märge: Kas näete selles kokkuvõttes viga või soovite anda tagasisidet? .

Liitreaalsus vs virtuaalreaalsus

Liitreaalsus (AR) ja virtuaalne reaalsus (VR) on sarnased tehnoloogiad, kuid nende vahel on suur erinevus ja nende potentsiaalsed rakendused on väga erinevad. Virtuaalreaalsus viitab täielikule kaasahaaravale kogemusele virtuaalses maailmas, samas kui liitreaalsus viitab reaalse maailma muudetud vaatele.

Erinevuse saab ehk kõige paremini kokku võtta kahe toote, ühe AR ja ühe VR võrdlusega. Google prillid , Google'i nüüdseks kasutusest kadunud nutiprillide komplekt, on liitreaalsuse näide. Silmade kulunud Google Glass võimaldas kasutajatel vaadata maailma sellisena, nagu see on, kuid see pakkus hoiatuskuva, mis kattis tegeliku maailmavaate kohta asjakohase arvutiga edastatud teabe, nagu kohalik ilm, kaardid ja teatised.

See sarnaneb sellega, mille kallal Apple väidetavalt oma kuulujutud 'nutikate prillidega' töötab.

Võrdluseks Facebooki oma Oculus Rift on virtuaalreaalsuse peakomplekt, mis pakub kaasahaaravat visuaalset kogemust, mis ei täienda reaalset maailma täiendava sensoorse teabega – see asendab reaalse maailma täielikult simuleeritud maailmaga.

Liitreaalsus pakub arvutiga loodud konteksti ja teavet meid ümbritseva maailma kohta, võimaldades samal ajal suhelda ümbritsevaga, samas kui virtuaalreaalsus on loodud meid ümbritsevast isoleerima, et saaksime suhelda fiktiivsete maailmadega.

kumb on parem spotify või apple muusika

Nende kahe potentsiaalsed rakendused on väga erinevad. Virtuaalreaalsus keskendub eranditult kõikehõlmavale sisutarbimisele, sest see tekitab kasutajas visuaalse, puutetundliku ja helilise tagasiside kaudu tunde, nagu kogeks ta tegelikult simuleeritud maailmas toimuvat. Virtuaalreaalsus on praegu suuresti seotud mängimisega, kuid sellel on ka potentsiaali taasluua reaalse maailma kogemusi õppe- või koolituseesmärkidel.

Liitreaalsus ei sõltu kõikehõlmavast sisust ja kuigi see on vähem põnev, kuna see suurendab reaalsust selle asemel, et seda asendada, on sellel laiem valik potentsiaalseid rakendusi. Tegelikult on liitreaalsuse rakendused ja mängud hõlpsasti saadaval iOS 11-s tänud ARKitile.

ARKiti abil suudab iOS-i seade tuvastada pinna nagu tabel ja seejärel saab sellele lisada virtuaalseid objekte. IPhone'i ja iPadi arvutusvõimsuse tõttu on ARKiti liitreaalsuse võimalused muljetavaldavad. ARKiti kasutatakse juba tohutu hulga rakenduste ja mängude loomiseks, ühendades digitaalsed objektid reaalse maailmaga.

mängida

Apple võib seada eesmärgiks toote, mis töötab nii liit- kui ka virtuaalreaalsusega, nagu viitavad hiljutised kuulujutud, mis viitavad tööle AR/VR-peakomplektiga. Sellist toodet saaks kasutada nii tõsiste virtuaalreaalsuse rakenduste kui ka liitreaalsuse kogemuste jaoks ning see oleks sarnane Microsoft HoloLensiga.

Apple'i VR/AR meeskond

Apple'i töö virtuaalse ja liitreaalsuse kallal ulatub mitu aastat tagasi, kuid kuulujutud levisid alates 2015. aasta märtsist, kui jõudis uudis, et Apple'il töötab liitreaalsusega väike meeskond. 2015. aastal ja 2016. aasta alguses kasvas Apple'i meeskond, kuna ettevõte palkas töötajaid, kellel on AR/VR-tehnoloogia alased teadmised, ja sooritas mitmeid sellega seotud omandamisi.

Apple'i AR/VR-meeskonda kuulub mitusada inseneri kõikjalt Apple'ist, kellel kõigil on kogemusi virtuaalse ja liitreaalsuse vallas. Meeskond töötab kontoriparkides nii Cupertinos kui Sunnyvale'is ning Apple uurib mitmeid riist- ja tarkvaraprojekte koodnime 'T288' all.

Apple'i liitreaalsuse meeskond ühendab 'oma riist- ja tarkvaraveteranide tugevad küljed' ning seda juhib Dolbyst pärit Mike Rockwell. Selliste ettevõtete nagu Oculus, HoloLens, Amazon (VR-meeskonnast), 3D-animatsioonifirma Weta Digital ja Lucasfilm endised töötajad töötavad Apple'is AR-ga.

2021. aasta jaanuaris läks üle endine Apple'i riistvarainseneri juht Dan Riccio uude rolli kus ta on Apple'i töö järelevalvet AR/VR-peakomplektis. Projekt on seisnud silmitsi arendusprobleemidega ja Apple'i juhid usuvad, et Riccio keskendumine võib aidata.

Palgab

Üks Apple'i silmapaistvamaid AR/VR-i töötajaid oli arvutiteaduse professor Doug Bowman, kes varem juhtis Virginia Techi inimese ja arvuti interaktsiooni keskust. Ta on spetsialiseerunud kolmemõõtmelise kasutajaliidese disainile ja on kirjutanud sellel teemal raamatu, mis hõlmab 3D-liideseid ja ümbritsevate virtuaalkeskkondade eeliseid. Tal on teadmisi nii virtuaalse kui ka liitreaalsuse vallas.

Apple on palganud ka töötajaid, kes on töötanud Microsofti ja Lytro virtuaalse või liitreaalsuse toodetega. Väidetavalt on mõned hiljuti palgatud töötajad Microsofti HoloLensi meeskonnast, teised aga töötasid Lytros – ettevõttes, mis töötab kaameraga, mis suudab reaalajas tegevust ja arvutigraafikat ühendada reaalajas VR-kogemuse saamiseks. HoloLensi meeskonnast pärit töötajatel oleks kogemusi täiustatud liitreaalsuse peakomplekti loomisel.

Lytro Immerge 360-kraadine kaamera

Zeyu Li, kes töötas peamise arvutinägemisinsenerina ettevõttes Magic Leap (idufirma, mis arendab pea külge kinnitatavat AR/VR-kuvarit), töötab nüüd Apple'is arvutinägemise algoritmi vaneminsenerina.

Juri Petrov, Facebooki omanduses oleva Oculuse endine teadlane, töötab nüüd Apple'is 'teadlasena'. LinkedIni profiili järgi uuris Petrov virtuaalreaalsuse kogemusi, prototüüpi optikat ja arendas arvutisimulatsiooni tarkvara.

Liitreaalsuse ekspert Jeff Norris liitus Apple'iga 2017. aasta aprillis vanemjuhina, kes töötab ettevõtte liitreaalsuse meeskonnas. Norris asutas NASA-s Mission Operations Innovation Office ja JPL Ops Lab. Ta juhtis mitmeid projekte, mis keskendusid inimese ja süsteemi interaktsioonile, rõhuasetusega virtuaalsele ja liitreaalsusele.

Apple palkas 2018. aasta mais 2018 Sterling Crispini, kes töötas välja mobiilsete VR-peakomplektide jaoks maalimisrakenduse. „Cyber ​​Paint” võimaldab VR-peakomplekti kandjatel luua Oculus Go, Daydreami, GearVR ja Vive Focuse 260-kraadiseid 2D-pilte. Crispini LinkedIn lehel öeldakse, et ta töötab 'prototüüpide uurijana', mis viitab sellele, et ta on liitunud meeskonnaga, kes kuulduste järgi töötab VR/AR-peakomplekti tehnoloogiaga.

2018. aasta detsembris palkas Apple endise kõrgetasemelise Tesla ja Microsoft HoloLensi disaineri Andrew Kimi ning tema ajalugu arvestades võib ta töötada Apple'i kuulujutud AR-prillide projekti või selle tulevase Apple'i auto kallal, mis väidetavalt on väljatöötamisel.

Jaunt VR asutaja Arthur van Hoff liitus Apple'iga vanemarhitektina 2019. aasta aprillis. Enne Apple'is töötamist oli tema ettevõte loodud VR riistvara , sealhulgas 100 000 dollari väärtuses 3D VR-kaamera nimega Jaunt One. Enne van Hoffi ettevõttest lahkumist kukkus Jaunt läbi ja pöördus AR-kogemuste poole.

Kuna Apple'i meeskond hõlmab sadu töötajaid, on palju teisi virtuaalreaalsuse eksperte, mis on jäänud radari alla. LinkedInis on Apple'i palgal mitu virtuaalreaalsuse kogemusega tarkvarainseneri, kuid pole selge, kas nad töötavad salajases AR/VR-meeskonnas.

Apple viis 2019. aasta juulis ühe oma tarkvarajuhi Kim Vorrathi üle liitreaalsuse peakomplekt divisjon, et meeskonda 'mõnegi kord tuua'. Vorrath on tarkvaraarenduse meeskonnas programmihaldust jälginud 15 aastat ja teda on kirjeldatud kui 'võimsat jõudu', mis tagab, et töötajad peavad tähtaegadest kinni, samal ajal avastades vigu.

Soetused

Paljud Apple'i AR/VR-meeskonna liikmed võisid ettevõttega liituda omandamiste käigus. Alates 2015. aastast on Apple ostnud mitmeid AR/VR-ga seotud tooteid loonud ettevõtteid ning mõned tema AR/VR-i omandamised pärinevad isegi mitu aastat tagasi.

Apple ostis 2018. aasta augustis idufirma Akonia Holographics, mis toodab liitreaalsusega prillide läätsi. Akonia Holographics reklaamib 'maailma esimest kaubanduslikult saadaolevat mahuga holograafilist peegeldavat ja lainejuhist optikat nutikate prillide läbipaistvate kuvaelementide jaoks'.

Väidetavalt kasutavad selle toodetavad kuvarid ettevõtte HoloMirror tehnoloogiat, et tagada üliselge ja täisvärviline jõudlus, et võimaldada 'maailma õhemaid ja kergemaid peas kantavaid ekraane'.

2017. aasta novembris ostis Apple ettevõtte Vrvana, mis töötas välja segareaalsusega peakomplekti nimega Totem. Totem, mida kunagi avalikkusele ei avaldatud, loodi nii liitreaalsuse kui ka virtuaalreaalsuse tehnoloogiate ühendamiseks ühes peakomplektis, ühendades täielikud VR-võimalused läbipääsukaameratega, et võimaldada ekraanipõhiseid liitreaalsuse funktsioone.

Totem kasutas sisuliselt kaamerakomplekti, et projitseerida reaalse maailma pilte oma sisseehitatud 1440p OLED-ekraanile, mis on mõnevõrra ainulaadne lähenemisviis, mis eristab seda konkureerivatest toodetest, nagu Microsofti HoloLens, mis kasutab virtuaalse ja liitreaalsuse ühendamiseks läbipaistvat ekraani. Apple võib plaanida mõnda Totemi tehnoloogiat tulevases tootes kasutada.

Apple ostis 2013. aastal Iisraelis asuva 3D-kehasensorite ettevõtte PrimeSense, mis tekitas spekulatsioone, et Apple TV-sse rakendatakse liikumispõhiseid võimeid. Microsofti esialgsel Kinecti platvormil kasutati PrimeSense'i 3D sügavustehnoloogiat ja liikumisanduri võimalusi.

PrimeSense kasutas peaaegu IR-valgust, et projitseerida ruumi või stseeni nähtamatut valgust, mida seejärel loeb CMOS-pildiandur, et luua objektist või inimesest virtuaalne pilt. See võimaldab tarkvaraliideste jaoks liikumispõhiseid juhtelemente, kuid suudab ka näiteks mõõta virtuaalseid objekte ja pakkuda suhtelisi kaugusi või suurusi, mis on kasulikud liitreaalsuse rakenduste jaoks, nagu interaktiivne mängimine, siseruumide kaardistamine ja palju muud. PrimeSense'i tehnoloogia võib luua ka inimeste ja objektide ülitäpsed 360-kraadised skaneeringud, mis võivad olla kasulikud virtuaalreaalsuse rakenduste jaoks.

Apple omandas liitreaalsuse idufirma Metaio 2015. aasta mais. Metaio ehitas toote nimega Metaio Creator, mida saab kasutada liitreaalsuse stsenaariumide loomiseks vaid mõne minutiga. Enne Apple'i ostmist kasutasid Metaio tarkvara sellised ettevõtted nagu Ferrari, kes lõi liitreaalsuse müügisalongi.

Metaio tehnoloogiat kasutati ka Berliinis, et võimaldada Berliini müüri külastavatel inimestel kasutada nutitelefoni või tahvelarvutit, et näha, kuidas see piirkond välja nägi, kui Berliini müür veel püsti oli. Metaio tehnoloogiat saab potentsiaalselt kasutada liitreaalsuse võimaluste rakendamiseks Apple'i rakendustes, nagu Maps.

Apple omandas Faceshifti 2015. aasta augustis, mis tähistas oma teist liitreaalsuse ostu 2015. aastal. Enne Apple'i omandamist töötas Faceshift koos mängu- ja animatsioonistuudiotega tehnoloogia kallal, mis on loodud 3D-andurite abil näoilmete kiireks ja täpseks jäädvustamiseks, muutes need animeeritud nägudeks reaalajas. Faceshift töötas ka tarbijatele suunatud toote kallal, mis võimaldaks inimestel Skype'is reaalajas muuta oma nägu koomiksi- või koletisnägudeks.

Faceshifti tehnoloogial on lai valik võimalikke kasutusjuhtumeid ja näib, et Apple kasutab seda funktsiooni Animoji toiteks iPhone X-is.

Apple omandas 2016. aasta jaanuaris näoilme analüüsimiseks tööriistu loonud ettevõtte Emotienti. Emotienti tehnoloogia kasutab tehisintellekti ja masinõpet, et lugeda inimese emotsioone – funktsioone, mida reklaamijad on reaalses maailmas kasutanud, et määrata kindlaks emotsionaalseid reaktsioone. kuulutused.

Apple saab Emotiendiga teha kümneid asju, alates paremast näotuvastusest rakenduses Photos kuni klientide tunnete analüüsimiseni Apple'i jaekauplustes kuni iOS-i seadmete avamiseni, kuid sellel on ka potentsiaalsed AR/VR kasutusvõimalused. Sarnaselt Faceshiftiga saab Emotiendi tehnoloogiat kasutada näoilmete analüüsimiseks ja muutmiseks virtuaalsete avatarite loomiseks, mis on kasulikud sotsiaalmeedia eesmärkidel ja mängude jaoks. Tõenäoliselt kasutati Animoji jaoks emotsioonitehnoloogiat.

2016. aasta alguses ostetud Flyby Media on teine ​​ettevõte, mis töötas liitreaalsusega. Flyby lõi rakenduse mis töötas Google'i 3D-sensoriga varustatud Project Tango nutitelefoniga, võimaldades sõnumeid lisada pärismaailma objektidele ja vaadata neid mõne Google'i seadmega.

Näiteks võib inimene 'skannida' maamärgi, nagu San Francisco Golden Gate'i sild, ja kirjutada sellele lisatud sõnumi. Hiljem silda külastav inimene saab sõnumi nägemiseks silda Flyby rakendusega skannida. Tõenäoliselt tõmbas rakendus Flyby Apple'i tähelepanu, kuna see suutis tuvastada ja mõista erinevaid skaneeritud objekte – tehnoloogiat, mida Apple sai kasutada mitmel viisil sellistes rakendustes nagu Photos ja Maps.

2017. aasta veebruaris ostis Apple küberturvalisuse ja masinõppega tegeleva ettevõtte RealFace, mis on spetsialiseerunud näotuvastustehnoloogiale, mida saaks potentsiaalselt kasutada tulevaste liitreaalsuse funktsioonide jaoks.

RealFace töötas välja näotuvastustehnoloogia, mis integreerib tehisintellekti hõõrdumatuks näotuvastuseks. Tõenäoliselt kasutati Realface tehnoloogiat iPhone X-is , Apple'i esimene nutitelefon, millel on näotuvastusfunktsioon Face ID näol.

Apple 2020. aasta mais omandas NextVR , Californias asuv ettevõte, mis ühendas virtuaalreaalsuse spordi, muusika ja meelelahutusega, pakkudes VR-kogemusi otsesündmuste vaatamiseks PlayStationi, HTC, Oculuse, Google'i, Microsofti ja teiste tootjate VR-peakomplektides.

Apple augustis 2020 ostis VR startup Spacesi , ettevõte, mis kavandas virtuaalreaalsuse kogemusi, mida inimesed saaksid kogeda kaubanduskeskustes ja muudes kohtades, näiteks 'Terminaatori päästmine: võitlus tuleviku eest'. Spaces lõi virtuaalse reaalsuse kogemusi ka videosuhtlusrakenduste jaoks, nagu Zoom, mida Apple võiks potentsiaalselt integreerida tulevasesse AR/VR tootesse.

AR / VR patendid

Apple on esitanud mitu patenti, mis on otseselt seotud virtuaalse reaalsusega peakomplektiga, mis kõik pärinevad mitu aastat tagasi. Kuigi tehnoloogia on tõenäoliselt neist mõnevõrra kaugemale arenenud, annavad need huvitava ülevaate Apple'i minevikus uuritud ideedest.

2008. aasta patenditaotlus hõlmas üsna lihtsat 'isikliku kuvasüsteemi', mille eesmärk oli jäljendada video vaatamise ajal kinos viibimise kogemust.

Teises patendis kirjeldati 'pea külge kinnitatud kuvasüsteemi', millel on 'lasermootor', mis projitseerib kujutised silmade kohal kantavale läbipaistvale klaasile sarnaselt prillidega. Selles konfiguratsioonis ühendatakse peakomplekt töötlusvõimsuse tagamiseks pihuarvutiga videopleieriga, näiteks iPodiga.

Kolmas patent, mis algselt taotleti 2008. aastal, oli disainilt sarnane, hõlmates prillitaolisi videopeakomplekte, mis on loodud võimaldama kasutajatel filme ja muud sisu vaadata. See tõi välja kaks reguleeritavat optilist moodulit, mis on kasutaja silmaga joondatud, mis võivad pakkuda nägemise korrigeerimist ja võimaldada 3D-sisu vaatamist. Apple kirjeldas seda isikliku meedia vaatamise kogemuse pakkumisena.

TO neljas patent aastast 2008 kattis Google Glassi sarnase videopeakomplekti raami, mis võimaldaks kasutajal video edastamiseks oma iPhone'i või iPodi peakomplekti libistada. Peakomplekti kirjeldati kui liitreaalsuse toodet, mis võimaldab kasutajatel teha näiteks videot või kontrollida e-kirju, hoides samal ajal oma ümbrust silma peal.

Lisaks peakomplektiga seotud patentidele on Apple taotlenud ka patente, mis kirjeldavad muid viise, kuidas virtuaalse ja liitreaalsuse funktsioone saaks oma seadmetesse rakendada. Näiteks 2009. aasta patenditaotlus hõlmas kaameraga varustatud 3D-kuvareid, mis nihutavad perspektiivi kasutaja suhtelise asukoha alusel.

Selline ekraan tuvastaks pea liikumise, võimaldades kasutajal oma pead liigutada, et vaadata 3D-pilti erinevate nurkade alt, kaasates samas ka kasutaja keskkonna elemente.

2010. ja 2012. aasta patendid kirjeldasid liikumisandurite kasutamist iOS-i seadmetele liitreaalsuse tehnikaid kasutades 3D-liidese loomiseks. Apple kirjeldas liidest kui 'virtuaalset ruumi', kus navigeeritakse seadme orientatsiooni manipuleerimise teel sisseehitatud andurite või žestide abil.

2011. aastal esitas Apple patendi rakenduse Maps liitreaalsuse funktsioonile, mis on seotud märkimisväärsete vaatamisväärsuste kauguse kaardistamisega. Kaameraga saab kasutaja vaadata ümbritsevat ala ja saada reaalajas hinnanguid kahe punkti vahelise kauguse kohta koos asjakohase teabe ülekatetega.

2014. aastal registreeritud ja 2017. aastal välja antud patent hõlmab mobiilset liitreaalsuse süsteemi, mis suudab kaamerate, ekraani ja kasutajaliidese abil tuvastada keskkonnas objekte ja katta need virtuaalse teabega. Apple kirjeldab süsteemi ideaalsena pea külge kinnitatava ekraani jaoks, kuid näitab ka selle kasutamist nutitelefonides.

Apple on töötanud virtuaalreaalsuse tehnoloogia kallal, mis võiks olla kasutatakse autonoomsetes sõidukites . Mitmed Apple'i patendid kirjeldavad süsteemi, mis sisaldab autosisene virtuaalreaalsuse süsteemi koos VR-peakomplektiga, mida kasutatakse meelelahutuse pakkumiseks ja autohaiguse leevendamiseks, mis on tingitud sellistest ülesannetest nagu lugemine ja sõiduki liikumise ajal töötamine.

TO Juuli 2020 patenditaotlus hõlmab Apple’i prillide võimalikke sisestusmeetodeid, kirjeldades süsteemi, kus prillid kasutavad infrapuna-soojusandurit, et tuvastada, kui keegi puudutab pärismaailma objekti, võimaldades prillidel seejärel juhtnuppe reaalsele pinnale projitseerida.

Selle meetodi abil saavad Apple’i prillid AR-juhtimisliideses projitseerida mis tahes tegelikule objektile reaalses maailmas, et saada segareaalsuse ülekattega efekti.

Apple 2021. aasta veebruaris esitas mitmeid patente seotud selle tööga kuulujuttude järgi segatud reaalsusega peakomplekti kallal, mille patendid hõlmavad disainielemente, objektiivi reguleerimist, silmade jälgimise tehnoloogiat ja tarkvara.

Apple on välja töötanud mitu meetodit peakomplekti kandmise mugavamaks muutmiseks, hoides samal ajal seda turvalisena ja varjades valgust. Lisaks on olemas detailne läätsede reguleerimise süsteem, mis kasutab vedelikku läätsede sujuvaks nihutamiseks, et kohandada sobivust iga kasutaja jaoks.

Apple kirjeldab üksikasjalikult ka silmade jälgimissüsteemi, mis kasutab asukoha tuvastamiseks infrapunavalgust, ning lisaks on olemas patent selle kohta, kuidas dokumente saab peakomplekti ja žestituvastuse abil virtuaalses 3D-ruumis redigeerida.

Apple'il on patenteeritud süsteemid peakomplektist video salvestamiseks, kus sisseehitatud pilku jälgivad andurid võivad anda märku, kuhu inimene parasjagu vaatab, mis võib suunata sisseehitatud kaamera salvestama stseeni, kus kasutaja silmad asuvad, selle asemel, et lihtsalt salvestada. mis on kasutaja ees.

Veel üks patenditaotlus 2021. aasta veebruaris esitatud andmed näitasid, et Apple uurib sõrmele kinnitatavat seadet, millel on hulgaliselt andureid ja haptiline tagasiside, mida saaks kasutada segareaalsusega peakomplekti juhtseadmena.

Juhtseadmel on kuju, mis võimaldab kasutajatel tunnetada ümbritsevaid objekte loomulikult ja saab täpselt kindlaks teha, kuidas kasutaja oma sõrme liigutab ja pindadega suhtleb. Väidetavalt on süsteem nii täpne, et suudab tuvastada, kui tugevalt kasutaja pinnale vajutab ja selle jõu täpse suuna, andes vastuseks haptilise tagasiside.

Koos AR- või VR-peakomplektiga võib Apple öelda, et see sõrmega kinnitatav seade võib „pakkuda kasutajale füüsilise klaviatuuriga suhtlemise tunde, kui kasutaja sõrmega laua pinnale koputab” või „võimaldada kasutajal kasutada juhtkangi. -tüüpi sisend' mängimiseks, kasutades ainult kasutaja sõrmeotste liikumist.

Käivitamise kuupäev

Apple'i analüütik Ming-Chi Kuo ütles 2021. aasta oktoobris, et eelseisval segareaalsusega peakomplektil on viibinud kõige varem 2022. aasta lõpuni, tootmine algab 2022. aasta neljandas kvartalis.

Bloomberg usub ka, et AR/VR-peakomplekt, mille kallal Apple töötab, tuleb välja 2022. aastal, samas kui väljatöötamisel olevad AR-prillid ilmuvad hiljem. Teave on soovitanud, et 2022. aastal lastakse välja AR/VR-peakomplekt, millele 2023. aastal järgnevad nutikad prillid, kuid see on varasem ajakava, kui teised allikad on prillide toote kohta näidanud.

Väidetavalt on Apple töös olevate nutikate prillide testimisega maha jäänud, mis võib põhjustada viivitusi. Apple pidi prillide arenduse teise faasi astuma 2021. aasta alguses, kuid teise faasi testimine pole veel alanud, seega on 2022. aasta esimese kvartali mahttootmine lõppenud. pole oodatud .

Morgan Stanley analüütikud ütlesid hiljuti, et AR-peakomplekt läheneb tõusule. patentide arv Apple on avaldanud. Analüütikud usuvad, et Apple'i AR/VR-peakomplekti patendiportfell on sarnane patendiportfelliga, mille ta koostas enne Apple Watchi turuletoomist.

Tulevased AR/VR plaanid

Apple'i analüütik Ming-Chi Kuo usub, et Apple võib kavandada liitreaalsuse kontaktläätsi, mis võiks käivitada millalgi 2030ndatel.

Kuo sõnul toovad objektiivid elektroonika 'nähtava andmetöötluse' ajastust 'nähtamatule andmetöötlusele'. Praegu pole kontaktläätsede jaoks nähtavust ja see ei ole garanteeritud toode, mida Apple arendab.