Apple okuliare

Hovorí sa, že Apple má tajný tím stoviek zamestnancov pracujúcich na projektoch virtuálnej a rozšírenej reality.

• Áno
• nie

Tajný projekt rozšírenej a virtuálnej reality spoločnosti Apple

Obsah

1. Tajný projekt rozšírenej a virtuálnej reality spoločnosti Apple
• Headset pre zmiešanú realitu
• Inteligentné okuliare AR
• Úniky AR iOS 14
• AR v Xcode
• Partnerstvo ventilov?
• Iné povesti
2. Rozšírená realita vs. virtuálna realita
3. tím VR/AR spoločnosti Apple
• Najíma
• Akvizície
4. Patenty AR / VR
5. Dátum spustenia
6. Budúce plány AR/VR
7. Časová os okuliarov Apple

Spoločnosť Apple skúma technológie virtuálnej reality a rozšírenej reality už viac ako 10 rokov na základe patentových prihlášok, no s rastúcou popularitou virtuálnej a rozšírenej reality so spustením ARKitu je fušovanie Apple čoraz vážnejšie a očakáva sa, že povedie k AR/ Produkt VR v roku 2022.

Hovorí sa, že Apple má tajnú výskumnú jednotku so stovkami zamestnancov pracujúcich na AR a VR a skúmajúcich spôsoby, ako by sa nové technológie mohli použiť v budúcich produktoch Apple. Nájom VR/AR sa za posledných niekoľko rokov zintenzívnil a Apple získal viacero AR/VR spoločností, pretože podporuje svoju prácu v priestore AR/VR.

O Apple sa povráva, že na tom minimálne pracuje dva Projekty AR, ktoré zahŕňajú náhlavnú súpravu s rozšírenou realitou, ktorá bude uvedená na trh okolo roku 2022, po ktorej budú neskôr nasledovať elegantnejšie okuliare s rozšírenou realitou. Mnohé povesti sa zamerali výlučne na okuliare, čo však viedlo k určitému zmätku v plánoch spoločnosti Apple, ale zdá sa, že AR/VR headset bude prvým produktom na trh.

Analytik spoločnosti Apple Ming-Chi Kuo verí, že náhlavná súprava spoločnosti Apple so „zmiešanou realitou“. vyjde koncom roka 2022 alebo začiatkom roku 2023, pričom okuliare Apple budú nasledovať v roku 2025, hoci iné zdroje uviedli, že okuliare prídu v roku 2023. Headset je AR/VR, čiže zmiešaná realita, zatiaľ čo okuliare od Apple sú rozšírenou realitou.

Headset pre zmiešanú realitu

Informácie a Bloomberg obaja povedali, že Apple pracuje na inteligentných okuliaroch A náhlavnej súprave AR/VR (aka zmiešanej realite), pričom náhlavná súprava vyjde ako prvá, po ktorej budú nasledovať okuliare. Hovorí sa, že headset je podobný headsetu pre virtuálnu realitu Oculus Quest od Facebooku, ale s uhladenejším dizajnom, ktorý využíva tkaniny a ľahké materiály, aby zabezpečil, že headset je pohodlný.

Hovorí sa, že obsahuje dva displeje s vysokým rozlíšením 8K a kamery na detekciu očí, ktoré používateľom umožnia „čítať malým písmom“ a „vidieť iných ľudí stojacich pred a za virtuálnymi objektmi“. Headset bude schopný mapovať povrchy, okraje a rozmery miestností s „vyššou presnosťou ako existujúce zariadenia na trhu“. Bude mať pokročilejší displej a čip, ktorý je ešte rýchlejší ako procesor M1 v počítačoch Mac 2020.

Informácie vo februári povedal, že bude vybavený viac ako tuctom kamier na sledovanie pohybov rúk okrem kamier na videnie vonkajšieho sveta a dizajn blokuje periférne videnie, aby sa zabránilo prenikaniu svetla do zorného poľa nositeľa. Do displeja môže byť zabudovaný aj vonkajší priezor, ktorý používateľovi umožní ukázať grafiku ostatným.

The Elec tvrdí, že VR headset bude obsahovať micro OLED displej s vysokým rozlíšením až 3 000 pixelov na palec. Predtým sa hovorilo o micro OLED displeji pre inteligentné okuliare, ale nie pre VR headset.

Analytik spoločnosti Apple Ming-Chi Kuo uviedol, že nadchádzajúca náhlavná súprava spoločnosti Apple so zmiešanou realitou bude obsahovať 15 modulov optických kamier spolu. Osem z 15 kamerových modulov sa použije na priehľadné zážitky s rozšírenou realitou, šesť modulov sa použije na „inovatívnu biometriu“ a jeden kamerový modul sa použije na detekciu prostredia.

Kuo tiež verí že náhlavná súprava Apple bude vybavená pokročilým systémom sledovania očí, ktorý sa používa na poskytovanie intuitívneho vizuálneho zážitku, ktorý bez problémov interaguje s vonkajším prostredím, spolu s intuitívnejším ovládaním, ktoré možno ovládať pohybmi očí a zníženou výpočtovou záťažou v podobe zníženej rozlíšenie, kam sa používateľ nepozerá.

Z hľadiska dizajnu bola náhlavná súprava opísaná ako „úhľadný, zakrivený priezor pripevnený k tvári pomocou sieťovaného materiálu a vymeniteľné čelenky“. Jedna čelenka údajne obsahuje technológiu priestorového zvuku, ako napríklad AirPods Pro, pre zážitok z priestorového zvuku, zatiaľ čo druhá poskytuje dodatočnú výdrž batérie na cestách. Apple pracuje na viacerých metódach ovládania, vrátane „náprstku podobného zariadenia, ktoré sa nosí na prste človeka“. Náhlavná súprava by tiež bola schopná reagovať na pohyby očí a gestá rúk nositeľa, pričom jeden prototyp náhlavnej súpravy mal aj fyzický číselník na strane priezoru. Apple tiež testoval vstup Siri.

Apple chce vytvoriť App Store pre náhlavnú súpravu so zameraním na hry, streamovanie video obsahu a videokonferencie. To bolo opísané v Bloomberg ako „všezahŕňajúce 3-D digitálne prostredie“ určené na hranie hier, sledovanie videa a komunikáciu.

Aktuálne prototypy slúchadiel sa hovorí vážiť okolo 200 až 300 gramov, ale cieľom spoločnosti Apple je znížiť konečnú hmotnosť na 100 až 200 gramov, ak sa podarí vyriešiť technické problémy, vďaka čomu by bol headset ľahší ako existujúce zariadenia VR. Headset bude prenosný s nezávislým napájaním a úložiskom, no nebude „mobilný“ ako iPhone. Poskytne „pohlcujúci zážitok“, ktorý prekoná aktuálne dostupné produkty VR, a mohol by byť integrovaný s Apple TV+ a Apple Arcade.

Funkcionalita rozšírenej reality pre náhlavnú súpravu je „obmedzenejšia“ a zatiaľ čo vydanie je plánované na rok 2022, Apple údajne narazil na niekoľko prekážok vo vývoji a má „konzervatívne“ odhady predaja tohto zariadenia. Apple očakáva, že predá približne 180 000 kusov, čo je na rovnakej úrovni ako pri drahších zariadeniach, ako je Mac Pro. Očakáva sa, že náhlavná súprava bude oveľa drahšia ako náhlavné súpravy od iných spoločností a Informácie hovorí, že Apple diskutoval o cene headsetu na približne 3 000 dolárov.

Pôvodný návrh zahŕňal ventilátor a výkonné procesory, výsledkom čoho bolo zariadenie, ktoré bolo príliš ťažké. Apple sa údajne rozhodol headset priblížiť k tvári, aby zmenšil veľkosť. Používatelia nebudú môcť počas používania slúchadiel nosiť okuliare, takže Apple vytvoril systém, kde je možné na obrazovky VR vložiť vlastné šošovky na predpis.

Kuo verí, že headset bude používať hybridný dizajn Fresnelových šošoviek , zahŕňajúce tri na sebe naskladané šošovky na oko vyrobené z ľahkého plastu. Účelom návrhu je umožniť ultrakrátke ohniskové vzdialenosti a vylepšený optický výkon, ako aj široké zorné pole a udržať hmotnosť headsetu pod 150 gramov.

Pokiaľ ide o výkon, nadchádzajúci headset AR/VR bude obsahovať a špičkový hlavný procesor to je podobné čipu M1, ktorý Apple minulý rok debutoval pre svoje kremíkové Macy Apple, spolu s procesorom nižšej triedy na správu aspektov zariadenia súvisiacich so senzormi.

Apple analytik Ming-Chi Kuo tvrdí, že bude schopný fungovať nezávisle bez spoliehania sa na Mac alebo iPhone, čo je odchýlka od predchádzajúcich fám, ktoré hovorili, že vyžadujú pripútanie na iPhone. Výkonný čip v náhlavnej súprave bude poháňať dvojicu 4K Micro OLED displejov od Sony a šesť až osem optických modulov, ktoré budú poskytovať funkcie založené na AR. Apple má dokončené dielo na SoC pre náhlavnú súpravu AR/VR a bude sa optimalizovať pre bezdrôtový prenos dát, kompresiu a dekompresiu videa a energetickú účinnosť pre maximálnu výdrž batérie a nemá neurónový modul ako niektoré iné čipy Apple.

Nadchádzajúca náhlavná súprava so zmiešanou realitou od spoločnosti Apple bude ponuka WiFi 6E podpora, čo je najnovšia špecifikácia WiFi. Hovorí sa, že Apple plánuje implementovať WiFi 6E, aby poskytol špičkový, pohlcujúci zážitok so solídnym bezdrôtovým pripojením. WiFi 6E má všetky výhody WiFi 6, ale okrem pásiem 2,4 GHz a 5 GHz pridáva aj 6 GHz spektrum pre väčšiu šírku pásma a menšie rušenie medzi zariadeniami.

Rendery slúchadiel so zmiešanou realitou

Dizajnér Antonio De Rosa má vyvinuté 3D rendery na základe podrobností zdieľaných používateľom Informácie , ktorá nám dáva pohľad na to, ako by mohla vyzerať náhlavná súprava Apple pre zmiešanú realitu na základe aktuálnych klebiet.

Informácie opísala náhlavnú súpravu ako „úhľadný, zakrivený priezor pripevnený k tvári sieťovým materiálom a vymeniteľnými čelenkami“ ponúkaný vo viacerých farbách.

Prvé prototypy slúchadiel

Predchádzajúce povesti z CNET v roku 2018 naznačil, že Apple pracuje na výkonnej AR/VR náhlavnej súprave s 8K displejom pre každé oko, ktorá by bola odpojená od počítača alebo smartfónu a fungovala by s aplikáciami virtuálnej aj rozšírenej reality.

Namiesto toho, aby ste sa spoliehali na pripojenie k smartfónu alebo počítaču, headset CNET popísané by sa pripájalo k „vyhradenej skrinke“ pomocou vysokorýchlostnej bezdrôtovej technológie krátkeho dosahu nazývanej 60 GHz WiGig. Krabicu by poháňal vlastný 5-nanometrový procesor Apple, ktorý je „výkonnejší než čokoľvek, čo je v súčasnosti dostupné“. Škatuľa očividne pripomína PC tower, ale „nebude to skutočný počítač Mac“. Tento krabicový dizajn bol predmetom skorých klebiet a môže byť prototypom, ktorý bol odvtedy opustený pre uhladenejšiu verziu, ktorú teraz povesti popisujú.

Vnútorné nezhody vraj časom formovali a menili ciele Applu pre jeho AR headset. Apple bol spočiatku mieriace pre ultravýkonný systém, ktorý bol dodaný s rozbočovačom pre procesor, ako je opísané vyššie, ale Jony Ive, ktorý medzitým odišiel zo spoločnosti, nechcel predávať zariadenie, ktoré by si vyžadovalo samostatné stacionárne zariadenie pre plnú funkčnosť.

Ive namiesto toho chcel náhlavnú súpravu s menej výkonnou technológiou, ktorú by bolo možné vložiť priamo do zariadenia, ale vedúci tímu AR/VR Mike Rockwell chcel výkonnejšie zariadenie. Bola to patová situácia, ktorá trvala mesiace a Tim Cook sa nakoniec postavil na stranu Ivea. Ive vraj uprednostňuje inteligentné okuliare AR, na ktorých sa tiež pracuje.

Inteligentné okuliare AR

Apple pracuje na sade okuliarov pre rozšírenú realitu, ktoré Leaker Jon Prosser navrhol Apple bude volať „Apple Glass“. Tento názov by bol nezvyčajnou voľbou vzhľadom na podobnosť s názvom Google Glass, produkt, ktorý existoval dlho predtým, ako sa objavila práca spoločnosti Apple na okuliaroch AR, takže nemusí byť presné.

Hovorí sa, že okuliare vyzerajú podobne ako bežné okuliare, pričom obe šošovky majú displeje, s ktorými je možné interagovať pomocou gest. K dispozícii bude možnosť získať okuliare bez šošoviek na predpis za možnú počiatočnú cenu 499 USD, pričom šošovky na predpis sú k dispozícii za príplatok.

Podľa Bloomberg , okuliare sú v rané štádium vývoja , ešte skôr ako AR/VR headset, na ktorom Apple pracuje. Okuliare boli opísané ako „o niekoľko rokov vzdialené“, hoci Apple ich pôvodne plánoval vydať už v roku 2023. Súčasný prototyp pripomína špičkové slnečné okuliare s hrubými rámami, v ktorých je umiestnená batéria a čipy.

Apple údajne je plánuje použiť „špičkové“ mikrodispleje OLED dodávané spoločnosťou Sony pre svoje okuliare s rozšírenou realitou, o ktorých sa hovorí. Mikrodispleje Sony OLED sa vyznačujú ultrarýchlou odozvou, ultra vysokým kontrastom, širokým farebným rozsahom, vysokou svietivosťou, nízkou odrazivosťou a integrovanými ovládačmi pre tenký a ľahký dizajn. Okuliare údajne disponujú 0,5-palcovým displejom s rozlíšením 1280 x 960.

Kuo očakáva, že okuliare AR budú uvádzané na trh ako príslušenstvo pre iPhone a prevezmú s okuliarmi predovšetkým úlohu displeja, ktorý prenesie výpočtovú techniku, sieť a umiestnenie na iPhone. poskytovanie „optický priehľadný AR zážitok“ na prvom mieste v mobile. Ponuka okuliarov AR ako príslušenstva pre iPhone umožní spoločnosti Apple udržať ich tenké a ľahké. Prosser hovorí, že okuliare budú vyzerať podobne ako Ray-Ban Wayfarers alebo okuliare, ktoré nosí Tim Cook.

Bloomberg povedal, že na okuliaroch Apple bude operačný systém „rOS“ alebo reality. rOS je údajne založený na iOS, operačnom systéme, ktorý beží na iPhone. Pre AR headset Apple vyvíja čip „system-on-a-package“ podobný tomu, ktorý je v Apple Watch, aj keď sa bude spoliehať na iPhone, ako je uvedené vyššie.

V priebehu vývoja AR náhlavnej súpravy Apple zvažoval dotykové panely, hlasovú aktiváciu a gestá hlavy ako vstupné metódy a prototypuje sa celý rad aplikácií od mapovania po textové správy. Virtuálne zasadacie miestnosti a 360-stupňové prehrávanie videa sú tiež koncepty, ktoré sa skúmajú.

Myslel som si, že existujú počiatočné klebety spustenia v roku 2020 , Bloomberg verí AR okuliare mohol prísť sú roky od vydania, pričom VR headset má vyjsť v roku 2022. Správa z DigiTimes navrhol uvedenie AR okuliarov spoločnosti Apple na trh v roku 2021 a analytik spoločnosti Apple Ming-Chi Kuo očakáva uvedenie na trh v roku 2022 najskôr .

Leaker Jon Prosser verí, že Apple predstaví svoje AR okuliare v marci alebo júni 2021, ale zdá sa to nepresné vzhľadom na odhady z Bloomberg a Kuo.

Prosser tiež hovorí, že Apple pracuje na limitovanej edícii verzie „Steve Jobs Heritage“ inteligentných okuliarov, ktoré sú navrhnuté tak, aby vyzerali ako okrúhle, bezrámové okuliare, ktoré nosil Steve Jobs, ale Bloomberg Mark Gurman nazval túto fámu „úplnou fikciou“.

Apple je v spolupráci s TSMC vyvinúť „ultra-pokročilé“ mikro OLED displeje, ktoré sa budú používať v nadchádzajúcich zariadeniach Apple s rozšírenou realitou, ako sú inteligentné okuliare. Displeje sú vraj menšie ako jeden palec.

Micro OLED displeje sú postavené priamo na doštičkách čipu a nie na sklenenom substráte, čo vedie k displejom, ktoré sú tenšie, menšie a energeticky efektívnejšie. Vývoj na micro OLED displejoch je údajne v štádiu skúšobnej výroby a bude trvať niekoľko rokov, kým budú Apple a TSMC pripravené na masovú výrobu, vďaka čomu budú tieto displeje vhodné pre Apple Glasses, o ktorých sa hovorí, že budú niekedy okolo roku 2023.

Začiatkom roku 2021 Apple vraj je vstupuje do „druhej fázy vývoja“ prototypu okuliarov s rozšírenou realitou. Okuliare majú prejsť treťou fázou vývoja v priebehu niekoľkých mesiacov a po dokončení návrhu prototypu prejde nositeľné zariadenie šesť až deväť mesiacov technickým overením.

Úniky AR iOS 14

Kód a obrázky nájdené v iOS 14 potvrdiť prácu spoločnosti Apple na náhlavnej súprave AR alebo VR objavenou fotografiou, ktorá zobrazuje genericky vyzerajúci ovládač pre náhlavnú súpravu, ktorá je svojím dizajnom podobná náhlavnej súprave HTC Vive Focus. Apple používa hardvér HTC Vive na účely interného testovania.

Apple testuje svoje AR zariadenie pomocou aplikácie pre iOS 14 s názvom Gobi spolu s QR kódmi na testovanie zážitkov z rozšírenej reality. Jedným z týchto zážitkov s rozšírenou realitou je bowlingová hra na prechode pre chodcov spustená na špecifickom prechode pre chodcov v Sunnyvale v Kalifornii.

AR v Xcode

Kód v Xcode 11 potvrdzuje Práca Apple na nejakom druhu headsetu AR. Existujú odkazy na testovacie zariadenia s kódovým označením plus rámce a systémový shell súvisiaci s týmito zariadeniami. Referencie naznačujú, že spoločnosť Apple vyvíja podporu pre zážitok z AR namontovaný na tvári, ktorý je podobný Daydream od Google.

Partnerstvo ventilov?

Podľa taiwanskej stránky DigiTimes , s ktorým spoločnosť Apple spolupracuje herný vývojár Valve pre jeho povestný AR headset. Spoločnosť Valve vydala svoj prvý headset pre VR, Valve Index, v apríli 2019.

Spoločnosť Valve predtým spolupracovala s Apple, aby priniesla natívnu podporu náhlavnej súpravy VR pre macOS High Sierra, pričom využila podporu eGPU s verziou softvéru SteamVR pre Mac.

Iné povesti

V novembri 2017 Apple kúpil Vrvana, spoločnosť, ktorá vyvinula náhlavnú súpravu pre zmiešanú realitu s názvom Totem. Technológia Vrvana by mohla byť potenciálne použitá v budúcich slúchadlách Apple. Apple nasledoval po kúpe Vrvany akvizíciou Akonia Holographics, spoločnosti, ktorá vyrába šošovky pre inteligentné okuliare AR.

Povesti tiež naznačujú, že Apple by mohol začleniť svoj výskum rozšírenej reality do svojho prebiehajúceho automobilového projektu ako súčasť softvérového systému v aute, ktorý by mohol obsahovať head-up displej alebo iné funkcie.

Poznámka: Vidíte v tomto súhrne chybu alebo chcete poskytnúť spätnú väzbu? .

Rozšírená realita vs. virtuálna realita

Rozšírená realita (AR) a virtuálna realita (VR) sú podobné technológie, no je medzi nimi veľký rozdiel a ich potenciálne aplikácie sa značne líšia. Virtuálna realita sa týka úplne pohlcujúceho zážitku vo virtuálnom svete, zatiaľ čo rozšírená realita sa týka upraveného pohľadu na skutočný svet.

Rozdiel možno najlepšie zhrnúť porovnaním dvoch produktov, jedného AR a jedného VR. Google okuliare , už neexistujúca súprava inteligentných okuliarov od Google, je príkladom rozšírenej reality. Okuliare Google Glass umožňujú používateľom vidieť svet taký, aký je, no ponúkli head-up displej, ktorý prekrýval relevantné informácie poskytnuté počítačom cez skutočný pohľad na svet, ako napríklad miestne počasie, mapy a upozornenia.

Je to podobné tomu, na čom vraj Apple pracuje so svojimi údajne „inteligentnými okuliarmi“.

V porovnaní s Facebookom Oculus Rift je náhlavná súprava pre virtuálnu realitu, ktorá ponúka pohlcujúci vizuálny zážitok, ktorý nerozširuje skutočný svet o ďalšie zmyslové informácie – plne nahrádza skutočný svet svetom simulovaným.

Rozšírená realita poskytuje počítačom generovaný kontext a informácie o svete okolo nás a zároveň nám umožňuje interakciu s okolím, zatiaľ čo virtuálna realita je navrhnutá tak, aby nás izolovala od okolia, aby sme mohli interagovať s fiktívnymi svetmi.

ako vynútim spustenie môjho mac?

Potenciálne aplikácie pre tieto dva sú výrazne odlišné. Virtuálna realita je výnimočne zameraná na pohlcujúcu konzumáciu obsahu, pretože vďaka nej má používateľ pocit, akoby skutočne prežíval to, čo sa deje v simulovanom svete prostredníctvom vizuálnej, hmatovej a zvukovej spätnej väzby. Virtuálna realita je v súčasnosti do značnej miery prepojená s hraním hier, ale má tiež potenciál na opätovné vytvorenie skúseností zo skutočného sveta na vzdelávacie alebo školiace účely.

Rozšírená realita nezávisí od pohlcujúceho obsahu a hoci je menej vzrušujúca, pretože realitu rozširuje namiesto toho, aby ju nahrádzala, má širší rozsah potenciálnych aplikácií. V skutočnosti sú aplikácie a hry s rozšírenou realitou ľahko dostupné v systéme iOS 11 vďaka ARKit.

S ARKit je zariadenie so systémom iOS schopné identifikovať povrch ako stôl a potom naň možno pridať virtuálne objekty. Vďaka výpočtovému výkonu iPhonu a iPadu sú možnosti rozšírenej reality ARKit pôsobivé. ARKit sa už používa na vytváranie obrovskej škály aplikácií a hier, ktoré spájajú digitálne objekty so skutočným svetom.

hrať

Apple sa môže zamerať na produkt, ktorý funguje s rozšírenou aj virtuálnou realitou, ako naznačujú nedávne povesti naznačujúce prácu na náhlavnej súprave AR/VR. Takýto produkt by sa dal použiť na seriózne aplikácie virtuálnej reality, ako aj zážitky s rozšírenou realitou a bol by podobný ako Microsoft HoloLens.

tím VR/AR spoločnosti Apple

Práca spoločnosti Apple na virtuálnej a rozšírenej realite sa datuje už niekoľko rokov, ale klebety sa začali šíriť v marci 2015, keď sa objavila správa, že Apple má malý tím ľudí pracujúcich na rozšírenej realite. V roku 2015 a začiatkom roku 2016 sa tím spoločnosti Apple rozrástol, pretože spoločnosť najala zamestnancov s odbornými znalosťami v oblasti technológie AR/VR a uskutočnila viaceré súvisiace akvizície.

Tím spoločnosti Apple pre AR/VR zahŕňa niekoľko stoviek inžinierov z celej spoločnosti Apple, z ktorých všetci majú skúsenosti s virtuálnou a rozšírenou realitou. Tím pracuje v kancelárskych parkoch v Cupertine a Sunnyvale a Apple skúma niekoľko hardvérových a softvérových projektov pod kódovým označením „T288“.

Tím Apple pre rozšírenú realitu spája „silné stránky svojich hardvérových a softvérových veteránov“ a vedie ho Mike Rockwell, ktorý prišiel zo spoločnosti Dolby. Bývalí zamestnanci spoločností ako Oculus, HoloLens, Amazon (z tímu VR), 3D animačná spoločnosť Weta Digital a Lucasfilm pracujú na AR v Apple.

Bývalý šéf hardvérového inžinierstva spoločnosti Apple Dan Riccio v januári 2021 prešiel do novej role kde je dohliada na prácu Apple na náhlavnej súprave AR/VR. Projekt čelil vývojovým výzvam a riaditelia Apple veria, že Ricciovo zameranie môže pomôcť.

Najíma

Jedným z najvýznamnejších zamestnancov spoločnosti Apple pre AR/VR bol profesor počítačovej vedy Doug Bowman, ktorý predtým viedol Centrum pre interakciu medzi človekom a počítačom vo Virginia Tech. Špecializuje sa na dizajn trojrozmerného používateľského rozhrania a napísal knihu na túto tému, ktorá sa zaoberá 3D rozhraniami a výhodami pohlcujúcich virtuálnych prostredí. Má skúsenosti s virtuálnou aj rozšírenou realitou.

Spoločnosť Apple tiež najala zamestnancov, ktorí pracovali na produktoch virtuálnej alebo rozšírenej reality v spoločnostiach Microsoft a Lytro. Niektorí nedávni zamestnanci sú údajne z tímu HoloLens spoločnosti Microsoft, zatiaľ čo iní pracovali v spoločnosti Lytro, ktorá pracuje na kamere schopnej kombinovať živú akciu a počítačovú grafiku pre zážitok z VR naživo. Zamestnanci z tímu HoloLens by mali skúsenosti s vytváraním pokročilých slúchadiel s rozšírenou realitou.

360-stupňová kamera Lytro Immerge

Zeyu Li , ktorý slúžil ako hlavný inžinier počítačového videnia v Magic Leap (začínajúci vývoj AR/VR displeja namontovaného na hlave), teraz pracuje v Apple ako „Senior Computer Vision Algorithm Engineer“.

Yury Petrov, bývalý výskumný pracovník spoločnosti Oculus vlastnenej Facebookom, teraz slúži ako „výskumný vedec“ v spoločnosti Apple. Podľa svojho profilu na LinkedIn Petrov študoval skúsenosti s virtuálnou realitou, prototypoval optiku a vyvíjal softvér na počítačovú simuláciu.

Expert na rozšírenú realitu Jeff Norris nastúpil do Apple v apríli 2017 ako senior manažér pracujúci v tíme spoločnosti pre rozšírenú realitu. Norris založil Mission Operations Innovation Office a JPL Ops Lab v NASA. Viedol viacero projektov zameraných na interakciu človek-systém s dôrazom na virtuálnu a rozšírenú realitu.

Spoločnosť Apple v máji 2018 najala Sterlinga Crispina, ktorý vyvinul aplikáciu na maľovanie pre mobilné VR headsety. „Cyber ​​Paint“ umožňuje používateľom slúchadiel VR vytvárať 2D 260-stupňové obrázky na zariadeniach Oculus Go, Daydream, GearVR a Vive Focus. Crispinova stránka LinkedIn hovorí, že pracuje ako „výskumník prototypov“, čo naznačuje, že sa pripojil k tímu, o ktorom sa hovorí, že pracuje na technológii slúchadiel VR/AR.

Apple v decembri 2018 najal bývalého senior dizajnéra Tesly a Microsoft HoloLens Andrewa Kima a vzhľadom na jeho históriu by mohol pracovať na povestnom projekte AR okuliarov spoločnosti Apple alebo na jej nadchádzajúcom aute Apple, o ktorom sa hovorí, že je vo vývoji.

Zakladateľ Jaunt VR Arthur van Hoff nastúpil do Apple ako senior architekt v apríli 2019. Pred prácou v Apple sa jeho spoločnosť vytvorený hardvér VR , vrátane 3D VR kamery v hodnote 100 000 dolárov s názvom Jaunt One. Predtým, ako van Hoff opustil spoločnosť, Jaunt zlyhal a prešiel na skúsenosti s AR.

S tímom spoločnosti Apple, ktorý zahŕňa stovky zamestnancov, je pod radarom mnoho ďalších odborníkov na virtuálnu realitu. Na LinkedIn je viacero softvérových inžinierov so skúsenosťami s virtuálnou realitou, ktorých zamestnáva Apple, no nie je jasné, či pracujú v tajnom tíme AR/VR.

Apple v júli 2019 presťahoval Kim Vorrath, jedného zo svojich softvérových manažérov, do slúchadlá s rozšírenou realitou divízie, aby 'priniesol určitý poriadok' do tímu. Vorrath už 15 rokov dohliada na riadenie programov v tíme vývoja softvéru a bol opísaný ako „silná sila“, ktorá zabezpečuje, aby zamestnanci dodržiavali termíny a zároveň odstraňovali chyby.

Akvizície

Mnoho členov tímu AR/VR spoločnosti Apple sa mohlo pripojiť k spoločnosti prostredníctvom akvizícií. Od roku 2015 Apple kúpil niekoľko spoločností, ktoré vytvorili produkty súvisiace s AR/VR a niektoré z jeho akvizícií AR/VR sa datujú dokonca niekoľko rokov dozadu.

Apple v auguste 2018 kúpil Akonia Holographics, startup, ktorý vyrába šošovky pre okuliare s rozšírenou realitou. Akonia Holographics inzeruje „prvú komerčne dostupnú objemovú holografickú reflexnú a vlnovodnú optiku pre priehľadné zobrazovacie prvky v inteligentných okuliaroch“.

Displeje, ktoré vyrába, údajne využívajú technológiu HoloMirror spoločnosti pre „ultračistý, plnofarebný výkon“, ktorý umožňuje „najtenšie a najľahšie displeje na svete, ktoré sa nosia na hlave“.

V novembri 2017 Apple kúpil Vrvana, spoločnosť, ktorá vyvinula náhlavnú súpravu pre zmiešanú realitu s názvom Totem. Totem, ktorý nebol nikdy zverejnený, bol navrhnutý tak, aby spájal technológie rozšírenej aj virtuálnej reality v jednej náhlavnej súprave a spájal plné možnosti VR s priechodnými kamerami, aby umožnil funkcie rozšírenej reality na obrazovke.

Totem v podstate použil súpravu kamier na premietanie obrazov skutočného sveta do svojho vstavaného 1440p OLED displeja, čo je trochu jedinečný prístup, ktorý ho odlišuje od konkurenčných produktov, ako je HoloLens od Microsoftu, ktorý využíva priehľadný displej na kombináciu virtuálnej a rozšírenej reality. Apple by mohol plánovať použitie niektorých technológií Totemu v budúcom produkte.

Apple v roku 2013 kúpil izraelskú firmu na snímanie 3D tela PrimeSense, čo vyvolalo špekulácie, že funkcie založené na pohybe budú implementované do Apple TV. Technológia 3D hĺbky PrimeSense a schopnosti snímania pohybu boli použité v počiatočnej platforme Kinect spoločnosti Microsoft.

PrimeSense použil blízke infračervené svetlo na premietanie neviditeľného svetla do miestnosti alebo scény, ktoré potom načíta obrazový snímač CMOS a vytvorí virtuálny obraz objektu alebo osoby. To umožňuje ovládanie softvérových rozhraní založené na pohybe, ale je tiež schopné robiť veci, ako je meranie virtuálnych objektov a poskytovanie relatívnej vzdialenosti alebo veľkosti, čo je užitočné pre aplikácie rozšírenej reality, ako sú interaktívne hry, vnútorné mapovanie a ďalšie. Technológia PrimeSense môže tiež vytvárať vysoko presné 360-stupňové skenovanie ľudí a predmetov, čo je potenciálne užitočné pre aplikácie virtuálnej reality.

Apple získal startup Metaio v máji 2015. Spoločnosť Metaio vytvorila produkt s názvom Metaio Creator, ktorý by sa dal použiť na vytváranie scenárov rozšírenej reality v priebehu niekoľkých minút. Pred zakúpením spoločnosťou Apple používali softvér Metaio spoločnosti ako Ferrari, ktoré vytvorili showroom s rozšírenou realitou.

Technológia Metaio bola použitá aj v Berlíne, aby umožnila ľuďom navštevujúcim miesto Berlínskeho múru pomocou smartfónu alebo tabletu vidieť, ako táto oblasť vyzerala, keď Berlínsky múr ešte stál. Technológia Metaio je taká, ktorá by sa mohla potenciálne použiť na implementáciu možností rozšírenej reality do aplikácií Apple, ako sú Mapy.

Apple získal Faceshift v auguste 2015, čo znamená svoju druhú kúpu rozšírenej reality v roku 2015. Pred akvizíciou spoločnosťou Apple Faceshift spolupracoval s hernými a animačnými štúdiami na technológii navrhnutej na rýchle a presné zachytenie výrazov tváre pomocou 3D senzorov a ich premenu na animované tváre v reálny čas. Faceshift tiež pracoval na produkte orientovanom na spotrebiteľov, ktorý by ľuďom umožnil premeniť ich tváre na kreslené alebo monštrá v reálnom čase cez Skype.

Technológia Faceshift má širokú škálu možných prípadov použitia a zdá sa, že Apple túto funkciu používa na napájanie Animoji v iPhone X.

Spoločnosť Emotient, spoločnosť, ktorá vytvorila nástroje na analýzu výrazu tváre, bola získaná spoločnosťou Apple v januári 2016. Technológia spoločnosti Emotient využíva umelú inteligenciu a strojové učenie na čítanie ľudských emócií, čo sú funkcie, ktoré v reálnom svete používajú inzerenti na určenie emocionálnych reakcií na reklamy.

Existujú desiatky vecí, ktoré by Apple mohol urobiť s Emotientom, od lepšej detekcie tváre v aplikácii Fotky cez analýzu pocitov zákazníkov v maloobchodných predajniach Apple až po odomykanie zariadení iOS, ale má aj potenciálne využitie AR/VR. Rovnako ako Faceshift, aj technológia Emotient by sa dala použiť na analýzu a transformáciu výrazov tváre na vytvorenie virtuálnych avatarov, užitočných pre účely sociálnych médií a hry. Pre Animoji bola pravdepodobne použitá emocionálna technológia.

Flyby Media, zakúpená začiatkom roka 2016, je ďalšou spoločnosťou, ktorá pracovala na rozšírenej realite. Preletieť vytvoril aplikáciu ktorý spolupracoval so smartfónom „Project Tango“ vybaveným 3D senzormi od spoločnosti Google, ktorý umožňuje pripojiť správy k objektom skutočného sveta a prezerať si ich pomocou jedného zo zariadení Google.

Osoba môže napríklad „naskenovať“ orientačný bod, ako je Golden Gate Bridge v San Franciscu, a napísať k nemu priloženú správu. Osoba, ktorá most navštívi neskôr, bude môcť naskenovať most pomocou aplikácie Flyby a zobraziť správu. Aplikácia Flyby pravdepodobne pritiahla pozornosť spoločnosti Apple, pretože bola schopná rozpoznať a pochopiť rôzne objekty, ktoré boli naskenované, čo je technológia, ktorú by spoločnosť Apple mohla použiť mnohými spôsobmi v aplikáciách, ako sú fotografie a mapy.

Vo februári 2017 Apple kúpil RealFace, spoločnosť zaoberajúcu sa kybernetickou bezpečnosťou a strojovým učením, ktorá sa špecializuje na technológiu rozpoznávania tváre, ktorá by mohla byť potenciálne použitá pre budúce funkcie rozšírenej reality.

Spoločnosť RealFace vyvinula technológiu rozpoznávania tváre, ktorá integruje umelú inteligenciu na rozpoznávanie tváre bez trenia. Pravdepodobne bola použitá technológia Realface v iPhone X , prvý smartfón spoločnosti Apple s funkciami rozpoznávania tváre vo forme Face ID.

Apple v máji 2020 získala NextVR , kalifornská spoločnosť, ktorá kombinovala virtuálnu realitu so športom, hudbou a zábavou a ponúka VR zážitky na sledovanie živých udalostí na VR headsetoch od PlayStation, HTC, Oculus, Google, Microsoft a ďalších výrobcov.

Apple v auguste 2020 kúpil VR startup Spaces , spoločnosť, ktorá navrhla zážitky z virtuálnej reality, ktoré môžu ľudia zažiť v nákupných centrách a na iných miestach, ako napríklad „Terminator Salvation: Boj o budúcnosť“. Spaces tiež vytvoril skúsenosti s virtuálnou realitou pre aplikácie na videokomunikáciu, ako je Zoom, čo je niečo, čo by spoločnosť Apple mohla potenciálne začleniť do budúceho produktu AR/VR.

Patenty AR / VR

Spoločnosť Apple podala niekoľko patentov, ktoré sa priamo týkajú náhlavnej súpravy pre virtuálnu realitu, pričom všetky sú staré niekoľko rokov. Aj keď technológia pravdepodobne pokročila o niečo ďalej, poskytujú zaujímavý pohľad na nápady, ktoré Apple v minulosti preskúmal.

Patentová prihláška z roku 2008 sa týkala pomerne základného „systému osobného zobrazovania“ navrhnutého tak, aby napodobňoval zážitok z návštevy kina pri sledovaní videa.

Druhý patent opísal „head Mounted Display System“ s „laserovým motorom“, ktorý premietal obrazy na číry sklenený displej nasadený na oči, podobne ako okuliare. V tejto konfigurácii je náhlavná súprava pripojená k vreckovému prehrávaču videa, ako je napríklad iPod, aby sa zabezpečil výkon spracovania.

Tretí patent, ktorý bol pôvodne podaný v roku 2008, mal podobný dizajn a týkal sa video headsetu podobného okuliarom, ktorý umožňuje používateľom sledovať filmy a iný obsah. Načrtla dva nastaviteľné optické moduly zoradené s okom používateľa, ktoré by mohli poskytnúť korekciu zraku a umožniť sledovanie 3D obsahu. Apple to opísal ako ponuku osobného zážitku zo sledovania médií.

TO štvrtý patent z roku 2008 zakrýval rám video náhlavnej súpravy podobný okuliarom Google Glass, ktorý umožňoval používateľovi zasunúť svoj iPhone alebo iPod do náhlavnej súpravy a poskytnúť video. Náhlavná súprava bola opísaná ako produkt rozšírenej reality, ktorý používateľom umožňuje sledovať video alebo kontrolovať e-maily a zároveň sledovať svoje okolie.

Okrem patentov súvisiacich s náhlavnými súpravami spoločnosť Apple požiadala aj o patenty, ktoré popisujú ďalšie spôsoby implementácie funkcií virtuálnej a rozšírenej reality do svojich zariadení. Patentová prihláška z roku 2009 sa napríklad týkala 3D displejov vybavených fotoaparátom, ktoré sa posúvali v perspektíve na základe relatívnej polohy používateľa.

Takýto displej by detegoval pohyb hlavy, čo by užívateľovi umožnilo pohybovať hlavou, aby sa mohol pozerať na 3D obraz z rôznych uhlov a zároveň by zahŕňal prvky užívateľského prostredia.

Patenty z roku 2010 a 2012 popisovali použitie pohybových senzorov na vytvorenie 3D rozhrania pre iOS zariadenia pomocou techník rozšírenej reality. Apple opísal rozhranie ako „virtuálnu miestnosť“, v ktorej sa ovláda orientácia zariadenia pomocou vstavaných senzorov alebo gest.

V roku 2011 spoločnosť Apple podala patent na funkciu rozšírenej reality v aplikácii Mapy, ktorá súvisí s mapovaním vzdialenosti k významným orientačným bodom. Pomocou fotoaparátu sa používateľ môže pozrieť na oblasť okolo seba a získať odhady vzdialenosti medzi dvoma bodmi v reálnom čase spolu s prekrytím relevantných informácií.

Patent podaný v roku 2014 a udelený v roku 2017 sa týka mobilného systému rozšírenej reality, ktorý je schopný detekovať objekty v prostredí a prekrývať ich virtuálnymi informáciami pomocou kamier, obrazovky a používateľského rozhrania. Apple popisuje systém ako ideálny pre displej namontovaný na hlave, ale ukazuje, že sa používa aj v smartfónoch.

Apple pracuje na technológii virtuálnej reality, ktorá by mohla byť používané v autonómnych vozidlách . Niekoľko patentov spoločnosti Apple popisuje systém, ktorý zahŕňa systém virtuálnej reality v aute s náhlavnou súpravou VR, ktorá sa nosí na poskytovanie zábavy a na zmiernenie nevoľnosti z auta z úloh, ako je čítanie a práca, keď je vozidlo v pohybe.

TO patentová prihláška z júla 2020 pokrýva možné vstupné metódy s okuliarmi Apple, pričom popisuje systém, v ktorom okuliare využívajú infračervené snímanie tepla na zistenie, keď sa niekto dotkne objektu v reálnom svete, čo umožňuje okuliarom premietať ovládacie prvky na povrch skutočného sveta.

Vďaka tejto metóde môžu okuliare Apple premietať v ovládacom rozhraní AR na akýkoľvek skutočný objekt v reálnom svete, čím sa dosiahne druh efektu prekrytia zmiešanej reality.

Apple vo februári 2021 prihlásil niekoľko patentov súvisiaci s jeho prácou na náhlavnej súprave so zmiešanou realitou, o ktorej sa hovorí, že patenty zahŕňajú dizajnové prvky, úpravu šošovky, technológiu sledovania očí a softvér.

Spoločnosť Apple vyvinula niekoľko metód na to, aby sa náhlavná súprava pohodlnejšie nosila a zároveň bola zabezpečená a blokovala svetlo, a navyše je tu podrobný systém nastavenia šošoviek, ktorý využíva kvapalinu na plynulé posúvanie šošoviek, aby sa prispôsobili každému používateľovi.

Apple tiež podrobne popisuje systém sledovania očí, ktorý využíva infračervené svetlo na zisťovanie polohy, a existuje aj patent na to, ako by bolo možné upravovať dokumenty vo virtuálnom 3D priestore pomocou náhlavnej súpravy a detekcie gest.

Apple má patentované systémy na nahrávanie videa z náhlavnej súpravy, kde by vstavané senzory sledovania pohľadu mohli poskytnúť informáciu o tom, kam sa osoba práve pozerá, čo by mohlo nasmerovať vstavanú kameru na zaznamenanie scény, v ktorej sú umiestnené oči používateľa, namiesto jednoduchého nahrávania čo je pred používateľom.

Ďalšia patentová prihláška podané vo februári 2021 ukázali, že Apple skúma zariadenie na pripevnenie na prst s radom senzorov a haptickou spätnou väzbou, ktoré sa má použiť ako ovládacie zariadenie pre náhlavnú súpravu so zmiešanou realitou.

Ovládacie zariadenie má tvar, ktorý umožňuje používateľom prirodzene cítiť predmety vo svojom okolí a dokáže presne určiť spôsob, akým používateľ pohybuje prstom a interaguje s povrchmi. Systém je údajne taký presný, že dokáže zistiť, ako silno používateľ tlačí na povrch a presný smer tejto sily, pričom odozvou poskytuje haptickú spätnú väzbu.

V spojení s náhlavnou súpravou AR alebo VR Apple hovorí, že toto zariadenie namontované na prste by mohlo „poskytnúť používateľovi pocit interakcie na fyzickej klávesnici, keď používateľ klepe prstami na povrch stola“ alebo „umožniť používateľovi použiť joystick“. -type input' pre hranie iba pomocou pohybu končekov prstov používateľa.

Dátum spustenia

Analytik spoločnosti Apple Ming-Chi Kuo v októbri 2021 uviedol, že nadchádzajúci headset so zmiešanou realitou má meškal najskôr do konca roka 2022, pričom výroba sa má začať v štvrtom štvrťroku 2022.

Bloomberg Tiež verí, že AR/VR headset, na ktorom Apple pracuje, vyjde v roku 2022, zatiaľ čo AR okuliare, ktoré sú vo vývoji, vyjdú neskôr. Informácie navrhol, že náhlavná súprava AR/VR bude uvedená na trh v roku 2022, po ktorej budú nasledovať inteligentné okuliare v roku 2023, ale toto je skoršia časová os, ako iné zdroje uviedli pre produkt okuliarov.

Apple údajne zaostáva v testovaní inteligentných okuliarov, na ktorých sa pracuje, čo by mohlo viesť k oneskoreniam. Apple mal vstúpiť do druhej fázy vývoja okuliarov začiatkom roka 2021, no druhá fáza testovania ešte nezačala, takže sériová výroba v prvom štvrťroku 2022 je neočakávané .

Analytici Morgan Stanley nedávno uviedli, že náhlavná súprava AR sa „blíži k zdvíhaniu“ na základe počet patentov Apple zverejnil. Analytici sa domnievajú, že patentové portfólio spoločnosti Apple pre náhlavnú súpravu AR/VR je podobné patentovému portfóliu, ktoré vytvorilo pred uvedením Apple Watch.

Budúce plány AR/VR

Apple analytik Ming-Chi Kuo verí, že Apple by mohol plánovať „kontaktné šošovky“ s rozšírenou realitou. mohol spustiť niekedy v 30. rokoch 20. storočia.

Podľa Kua šošovky prinesú elektroniku z éry „viditeľných výpočtov“ do „neviditeľných výpočtov“. V súčasnosti nie sú kontaktné šošovky „žiadne viditeľné“ a nie je to zaručený produkt, ktorý spoločnosť Apple vyvinie.