Nella giornata di ieri, durante il WWDC, Apple ha finalmente svelato Vision Pro, il suo headset AR/VR da $3500 in arrivo nel 2024. Ecco una panoramica delle sue caratteristiche e specifiche complete.
Vision Pro è un headset ultra high-end che offre la più alta risoluzione e il maggior numero di sensori mai visti in un prodotto AR/VR. Introduce nuove funzioni mai distribuite prima e il suo visionOS ridefinisce il confine tra 2D, AR e VR.
Design leggero con batteria esterna
Vision Pro ha una struttura personalizzata in lega di alluminio leggera che supporta una lastra frontale curva in vetro laminato “formato tridimensionalmente” per ottenere un design estremamente sottile.
Ciò che mantiene leggero Vision Pro è la separazione della batteria dall’headset. Alcuni altri headset, come Meta Quest Pro e Pico 4, hanno la batteria nella parte posteriore della fascia, ma il design di Apple la rimuove completamente dalla testa e la sposta in un pack esterno collegato a un connettore magnetico sul lato sinistro della fascia per la testa.
Apple afferma che la batteria esterna ha una durata di 2 ore nelle seguenti condizioni di test:
Riproduzione video, navigazione su Internet, registrazione video spaziale e FaceTime. La riproduzione video è stata testata utilizzando contenuti video 2D acquistati dall’app Apple TV. La navigazione su Internet è stata testata utilizzando 20 siti web popolari. FaceTime è stato testato tra due unità Apple Vision Pro con Personas (il vostro modello digitale di cui parleremo più avanti) abilitate. Testato con Wi-Fi associato a una rete.
In alternativa, Vision Pro può essere utilizzato senza limiti di tempo e senza la batteria collegandolo a una fonte di alimentazione. Apple non ha ancora fornito dettagli sulle fonti supportate o se l’adattatore per la presa elettrica verrà incluso.
Una moltitudine di telecamere e sensori
Vision Pro è dotato di un totale di dodici telecamere, quattro sensori di profondità, un sensore LiDAR e sei microfoni.
AR in modalità Passthrough
Sei delle dodici telecamere si trovano sotto la lastra frontale in vetro. Due di queste sei telecamere catturano immagini ad alta risoluzione a colori per fornire la visuale passthrough dell’headset sul mondo reale, trasmettendo “oltre un miliardo di pixel a colori al secondo”.
Le altre quattro telecamere frontali svolgono il tracciamento posizionale dell’headset e altre attività di computer vision in generale.
Tracciamento delle mani
Uno degli scopi dei quattro sensori di profondità è il tracciamento delle mani. Apple descrive la qualità del tracciamento delle mani come “così precisa, da liberare completamente le mani dalla necessità di utilizzare ingombranti controller hardware”.
Vision Pro, infatti, non dispone di alcun tipo di controller tracciati, sebbene supporti la riproduzione di giochi 2D su uno schermo virtuale con un gamepad. Nel video di presentazione, è stato mostrato anche un controller DualSense Edge.
Ricostruzione dell’ambiente
Il sensore LiDAR viene utilizzato per eseguire il “mapping 3D in tempo reale” del vostro ambiente in combinazione con le altre telecamere frontali.
Apple sostiene che Vision Pro abbia una “comprensione dettagliata” dei pavimenti, muri, superfici e mobili, che le app possono sfruttare. Un esempio fornito da Apple riguardava oggetti virtuali che proiettano ombre sui tavoli reali, ma questo è solo l’inizio di ciò che dovrebbe essere possibile.
Tracciamento del volto e degli occhi per FaceTime e altro
Due telecamere rivolte verso il basso tracciano il tuo volto, mentre quattro telecamere IR interne accanto a loro tracciano i tuoi occhi, aiutate da un anello di illuminatori LED intorno alle lenti.
Il tracciamento degli occhi di Vision Pro serve a tre scopi: autenticazione, rendering foveale e controllo del tuo avatar FaceTime.
Apple chiama la sua nuova autenticazione tramite scansione dell’iride OpticID, seguendo lo schema di denominazione di TouchID e FaceID. Quando indossi l’headset, OpticID ti autentica automaticamente e sblocca il tuo dispositivo.
Il rendering foveale, che abbiamo già visto e apprezzato in PS VR2 è una tecnica che permette di ridurre la potenza di elaborazione necessaria per i contenuti VR, mostrando solo l’area della scena in cui i tuoi occhi sono direttamente puntati in piena risoluzione e riducendo la risoluzione periferica. Questo è possibile grazie alla velocità di tracciamento degli occhi di Vision Pro, che Apple afferma essere “ultra rapida”.
Infine, il tracciamento del volto e degli occhi consente di controllare il tuo avatar in FaceTime e altre app sociali. Apple chiama questa funzione “Personas” e afferma che ti permette di esprimere emozioni e movimenti del viso “con incredibile realismo”. Le Personas, verranno realizzate durante la fase di configurazione del dispositivo. Basterà ruotare il visore e puntare le telecamere verso il viso, perchè questi ricostruisca uun modello digitale estremamente realistico del vostro volto per proiettarlo su EyeSight
EyeSight, il design già iconico di Apple Vision Pro
La parte di design più iconica di Apple Vision Pro è sicuramente EyeSight, la soluzione di Apple all’isolamento da VR.
Quando siamo assorti in una esperienza VR con il nostro visore, siamo completamente separati dal resto del mondo che ci circonda: nessuno sa cosa stiamo provando, nè siamo in grado di accorgerci degli altri che sono intorno a noi.
Con EyeSight Apple ha pensato ad un enorme schermo oled frontale, che è in grado di visualizzare un’immagine realistica dei nostri occhi, chiamato “Persona”, animata sulla base delle informazioni fornite dai sensori e dalle telecamere presenti sul visore, da un modello IA.
Se vogliamo parlare con una persona, quindi, non sarà necessario rimuovere l’headset, perchè questa potrà “guardarci negli occhi” e allo stesso modo noi potremo vedere lei grazie all’estrema qualità delle telecamere Passtrough. Se siamo immersi in una esperienza totalmente VR, potremo scegliere di visualizzare su EyeSight una sorta di segnale (una aurora) oppure uno schermo nero. Se stiamo navigando in una esperienza AR, potremo scegliere di visualizzare un altro tipo di segnale sul display.
Apple Vision Pro, non solo AR
Sebbene Apple non abbia mai parlato di VR o AR, in molti si sono chiesti se Apple Vision Pro sia un visore solo AR. La risposta è no, e lo ha mostrato proprio Apple. Il Vision Pro è dotato di una ghiera, una digital crown del tutto simile a quella presente sui suoi Apple Watch, che permette di selezionare il grado di immersività che si intende utilizzare, passando da un full AR, ovvero con una percezione totale del mondo che ci circonda a cui si sovrappone, in realtà aumentata, l’app che intendiamo utilizzare, oppure Full VR, quindi senza visualizzare il mondo esterno, ma solo il contenuto o l’esperienza VR.
Processore Desktop per prestazioni impressionanti
Apple Vision Pro disporrà di due processori Apple Silicon, l’M2 già presente nei notebook Macbook Air e un processore R1 per il controllo della sensoristica e delle telecamere.
Il processore M2 di Vision Pro, sebbene non si conoscano ancora le specifiche nel dettaglio (il suo clock speed principalmente) basandoci su quanto visto con i prodotti che già lo utilizzano, dovrebbe garantire prestazioni della CPU in single-threading superiori del 25% e in multi-threading del 75% oltre ad una potenza della GPU superiore del 15%, circa, rispetto al nuovo processore Snapdragon di Qualcomm che verrà utilizzato su Quest 3.
Questo unito all’avanzato sistema di EyeTracking molto più avanzato e veloce rispetto a quelli visti fino ad ora, grazie al nuovo coprocessore R1 che riduce il ritardo tra elaborazione dati di Eyetracking e adattamento rendering a meno di 12 millisecondi dovrebbe garantire prestazioni “desktop like” su tantissime applicazioni e giochi.
Il nuovo chip R1 è fondamentale anche per il passtrough, infatti, secondo quanto riferito da Apple “Virtualmente elimina il lag nello streaming delle immagini al visore” permettendovi una visione naturale a visore indossato. Per un confronto basti pensare che Meta Quest Pro dovrebbe avere una latenza di passthrough tra i 35-60 millisecondi.
VisionOS, hand tracking e eyetracking
visionOS è il “sistema operativo spaziale” personalizzato di Apple per Vision Pro e presumibilmente anche per tutti i prossimi headset della linea Vision.
Apple descrive visionOS come “familiare, ma innovativo”. Presenta app fluttuanti in 2D che si scorrono con un semplice movimento delle dita. Le voci di menu si selezionano con gli occhi, semplicemente guardandole, e si usano le dita per fare clic, in maniera non dissimile da quanto fatto da Meta con il suo hand tracking. Tuttavia, stante il numero di telecamere presenti sul visore, non ci saranno come su Meta Quest 2, angoli morti, e sarà possibile utilizzare gesture manuali con assoluta naturalezza senza doverle tenere di fronte al visore.
Molte delle applicazioni e dei servizi di Apple sono disponibili in visionOS, tra cui Note, Messaggi, Safari, Keynote, Foto, FaceTime e Apple Music e siamo sicuri che in puro stile Apple, la gran parte delle App MacOS e iOS e iPadOS verranno convertite in VisionOS.
Apple ha infatti annunciato che le App visionOS invece di esistere solo all’interno della loro cornice 2D, “diventano spaziali”, occupando lo spazio intorno a voi. Nelle chiamate di gruppo FaceTime, ad esempio, la vista della webcam di ogni persona diventa un proprio rettangolo fluttuante, con l’audio spaziale proveniente da ogni persona che vi permetterà di distinguere chiaramente chi sta parlando proprio come se fosse difronte a voi. In un altro esempio, Apple ha mostrato la possibilità di estrarre modelli 3D dai messaggi nello spazio reale, cioè ricreare un modello 3D da una immagine 2D inviata tramite messaggio. Tutte queste funzionalità saranno incluse in tutti i rootkit per app, in modo da consentire agli sviluppatori di utilizzare queste feature nelle loro app.
Vision Pro consente inoltre di espandere il display del Mac in un enorme schermo virtuale in modalità wireless, semplicemente guardandolo.
Uno dei principali obiettivi di visionOS è la visione di film e spettacoli televisivi su un enorme schermo virtuale, compreso il supporto per la visione di film in 3D dalla libreria di Apple
Audio spaziale a tracciamento radiale personalizzato
Vision Pro è dotato di “Audio Pods” sui lati dell’headstrap, ciascuno con due driver. Apple lo descrive come il “sistema audio spaziale più avanzato di sempre”.
Se si possiede un iPhone con sensore TrueDepth FaceID, è possibile eseguire una scansione del viso per attivare l’Audio spaziale personalizzato, in cui il sistema adatta il suono alla testa e alla geometria dell’orecchio per un audio spaziale il più preciso possibile.
Vision Pro utilizza anche una tecnica chiamata Audio Ray Tracing, che analizza le caratteristiche e i materiali dell’ambiente per “adattare con precisione il suono alla stanza”. Questa tecnica è utilizzata anche negli altoparlanti HomePod di Apple.
Apple sostiene che gli acquirenti di Vision Pro saranno “totalmente convinti che i suoni provengano dall’ambiente circostante”.
Specifiche tecniche
Ecco le specifiche tecniche complete di Vision Pro:
- Display: 2 pannelli microOLED con risoluzione combinata di 6000 x 3000 pixel ( 3400×3400 se il rapporto sarà quadrato o circa 3200×3600 per il rapporto 9:10 – Apple non ha rivelato ancora ufficialmente la risoluzione e il rapporto d’aspetto, ma soltanto il numero di pixel totali, 23 milioni), frequenza di aggiornamento di 120 Hz, 10 bit di profondità di colore
- Processore: Apple Silicon M2 con coprocessore R1 per la gestione delle telecamere e dei sensori;
- FOV (campo visivo) non ancora confermato, ma dovrebbe attestarsi sui 110 gradi diagonalmente
- Audio: Altoparlanti integrati “Spatial Audio” con cancellazione del rumore attiva e supporto per Dolby Atmos
- Connessione: Wi-Fi 6E, Bluetooth 5.2, USB-C
Prezzo e disponibilità
Apple Vision Pro sarà disponibile nel 2024 al prezzo di $3500. La disponibilità iniziale sarà limitata agli Stati Uniti ma la disponibilità per ulteriori paesi e regioni geografiche arriverà nel corso dell’anno.
In conclusione, Apple Vision Pro è un dispositivo AR/VR di fascia alta con una serie impressionante di funzionalità e specifiche. Il prezzo elevato lo colloca sicuramente in una nicchia di mercato, ma per coloro che sono pronti a investire, offre un’esperienza AR/VR senza precedenti.
