Dietro le quinte del WWDC 2026, Apple ha svelato molto più di quanto apparso in superficie per il suo visore di punta. Se la presentazione principale ha appena accennato all’ecosistema Vision Pro, la documentazione tecnica e i colloqui per sviluppatori rivelano che visionOS 27 si configura come uno degli aggiornamenti più sostanziali mai realizzati per la piattaforma spaziale.
Si tratta della quarta major release del sistema operativo per i visori Apple Vision Pro, disponibile sia per il modello M2 che per il nuovo M5. L’arrivo è previsto per “questo autunno”, mentre la prima beta, già rilasciata, non include ancora tutte le funzionalità che debutteranno con la versione stabile.
Il pacchetto comprende innovazioni profonde: tracciamento di oggetti tenuti in mano (con modalità preconfigurata), un framework per accessori tracciati a LED infrarossi, registrazione dello schermo senza foveazione e una serie di altri miglioramenti che cambiano radicalmente le possibilità d’uso del dispositivo.
Siri AI e intelligenza visiva: L’assistente si trasforma
Anche se non immediatamente disponibile con il lancio iniziale di visionOS 27, Apple ha confermato che “entro la fine dell’anno” Siri AI arriverà su tutti i principali sistemi operativi, incluso visionOS. Si tratta di una revisione completa dell’assistente digitale basata su modelli linguistici di grandi dimensioni (LLM).
La nuova Siri è alimentata dai modelli Apple Foundation di prossima generazione, sviluppati in collaborazione con Google e basati sui modelli Gemini (n accordo da un miliardo di dollari annui). Come già avveniva per Apple Intelligence, alcune operazioni vengono eseguite direttamente sul dispositivo tramite un modello ridotto, mentre i compiti più complessi sono gestiti dal sistema Private Cloud Compute di Apple.
Apple descrive Siri AI come “un assistente conversazionale profondamente più capace” rispetto alla Siri tradizionale, con “comprensione del contesto personale, ampia conoscenza del mondo e molto altro”.
Su visionOS, Siri AI si materializza come un globo persistente che puoi ancorare a un punto fisico nella stanza. Basta guardarlo e parlare per attivare la conversazione, senza bisogno del comando vocale “Siri” (anche se resta disponibile per chi lo preferisce).
Siri AI su visionOS supporterà anche la funzione Visual Intelligence di Apple, permettendo di “cercare, fare domande e agire” in relazione all’ambiente fisico e virtuale circostante. In termini di capacità, si colloca a metà strada tra Meta AI su Horizon OS di Quest 3 e Gemini su Android XR di Samsung Galaxy XR.
VisionOS 27 include inoltre un’app dedicata a Siri, che permette di accedere alle conversazioni precedenti e offre un’alternativa preinstallata alle app di chatbot AI di terze parti come ChatGPT, Gemini, Claude, Grok e Meta AI.
I modelli Apple Foundation di nuova generazione porteranno anche:
- Generazione di immagini significativamente più realistica in Image Playground.
- Organizzazione automatica delle schede in Safari.
- Possibilità di potenziare con un solo tocco la robustezza delle password salvate.
- Risposte intelligenti personalizzate in Messaggi.
Ambienti panorama spaziali
VisionOS 2 aveva introdotto la possibilità di aggiungere stereoscopia sintetica alle immagini 2D; visionOS 26 aveva fatto un ulteriore passo avanti trasformando le immagini 2D in scene spaziali volumetriche, con un profondo senso di prospettiva ottenuto tramite Gaussian Splatting.
Con visionOS 27, questo concetto di scene spaziali viene esteso ai panorami catturati con l’iPhone. Puoi impostare questi Panorama Spaziali come ambiente home di visionOS, facendoli diventare lo sfondo per le finestre e i volumi nello Spazio Condiviso.
Tracciamento oggetti ad alta frequenza
Già in visionOS 2, Apple aveva introdotto la capacità per Vision Pro di tracciare specifici oggetti 3D del mondo reale, predefiniti dagli sviluppatori. Il processo prevedeva che lo sviluppatore fornisse un modello 3D dell’oggetto allo strumento Create ML sul Mac prima della compilazione dell’app, che in diverse ore addestrava una rete neurale per riconoscere quell’oggetto e la integrava nell’applicazione.
Sebbene utile per applicazioni enterprise, il sistema di tracciamento di visionOS 2 era progettato solo per oggetti statici, principalmente per ancorare contenuti virtuali, e si aggiornava a circa 5 Hz (nella pratica spesso più lentamente).
VisionOS 27 introduce una modalità di tracciamento oggetti ad alta frequenza di fotogrammi, adatta per oggetti in movimento e tenuti in mano. Apple non specifica il tasso di aggiornamento esatto, ma le prime segnalazioni dagli sviluppatori suggeriscono circa 30 Hz.
Per il tracciamento di oggetti tenuti in mano, Apple raccomanda vivamente l’uso della nuova modalità di addestramento esteso, che migliora notevolmente le prestazioni di tracciamento ma aumenta “significativamente” il tempo di addestramento del modello di machine learning. L’appassionato di XR Brad Lynch ha documentato che per addestrare un giocattolo a forma di pesce sono state necessarie circa 18 ore.
Sebbene il tracciamento oggetti ad alta frequenza sia enormemente superiore a quanto disponibile in precedenza, è importante notare che ha ancora un tasso di aggiornamento significativamente inferiore, e quindi una latenza maggiore, rispetto al tracciamento delle mani o degli accessori tracciati.
Accessori tracciati a LED infrarossi
Per visionOS 26, Apple aveva lavorato a stretto contatto con Sony e Logitech per aggiungere il supporto hardcoded ai controller PlayStation VR2 Sense e allo stilo digitale Muse, entrambi dotati di una costellazione di LED infrarossi sotto la superficie plastica.
Con visionOS 27, Apple ha aperto questo processo a qualsiasi azienda interessata, aggiungendo le API necessarie per realizzare accessori tracciati a LED IR per Vision Pro, in modo simile a quanto qualsiasi azienda può fare con il sistema di tracciamento SteamVR “Lighthouse” su PC.
Il tracciamento ottico funziona a 90 Hz e viene fuso con i dati dell’accelerometro e del giroscopio IMU dell’oggetto, garantendo la stessa qualità di tracciamento che ci si aspetterebbe dai controller PlayStation VR2 Sense.
Sono disponibili due percorsi di supporto software:
- App Compagna: Il produttore dell’hardware può rilasciare un’app compagna visionOS per il dispositivo, essenzialmente un installer, che registra la forma dell’oggetto e la configurazione dei suoi LED IR con visionOS, permettendo ad altre app di utilizzarli. Questo percorso è ideale per dispositivi consumer.
- Integrato nell’App: In alternativa, uno sviluppatore può incorporare i dettagli dell’oggetto direttamente in un’app che utilizza l’accessorio, eliminando la necessità di un’app compagna separata. Questo percorso è ideale per contesti enterprise.
DFRobot e MikroE stanno producendo hardware di riferimento e kit per sviluppatori, che saranno rilasciati entro la fine dell’anno. Le aziende potranno utilizzarli direttamente o come base per i propri accessori, abbassando la barriera d’ingresso rispetto alla creazione da zero.
Ambiente thórsmörk
VisionOS 27 introdurrà una nuova opzione ambientale per lo Spazio Condiviso: la valle di Thórsmörk in Islanda. Il nome si traduce come “Valle di Thor”, ed è considerata uno dei luoghi più scenografici del pianeta.
Gli ambienti di Apple dispongono tutti di modalità giorno e notte; la variante notturna di Thórsmörk presenta una spettacolare aurora boreale.
Thórsmörk sarà il decimo ambiente virtuale per visionOS, dopo l’aggiunta di Giove da Amaltea in visionOS 26.
Tutti gli ambienti visionOS
- Haleakalā – vetta del vulcano hawaiano
- Yosemite – Yosemite National Park invernale
- Joshua Tree – paesaggio desertico nel Joshua Tree National Park
- Mount Hood – Trillium Lake con vista sul Monte Hood
- White Sands – White Sands National Park
- La Luna – superficie lunare
- Lake Vrangla – ambiente lacustre in Norvegia; aggiunto con visionOS 1 a luglio 2024
- Bora Bora – spiaggia della Polinesia Francese; aggiunto con visionOS 2
- Giove – visto da Amaltea, una delle lune interne di Giove; aggiunto con visionOS 26
- Thórsmörk – altopiani islandesi, con un lago ghiacciato, montagne, neve e aurore boreali; annunciato per visionOS 27
Registrazione schermo senza foveazione
In ogni momento nello Spazio Condiviso, e in molte app a Spazio Pieno, Apple Vision Pro utilizza il rendering foveato con tracciamento oculare sempre attivo: solo la regione dell’immagine su cui stai guardando viene renderizzata a piena risoluzione.
Questo massimizza la qualità visiva e le prestazioni, ed è essenziale per sfruttare al meglio i pannelli micro-OLED 4K dei visori Apple, ma ha il compromesso di rendere la registrazione dello schermo un’immagine sfocata a bassa risoluzione ovunque tu non stia guardando.
Era possibile registrare filmati senza foveazione nel simulatore visionOS su un Mac abbastanza potente, ma non sul visore stesso.
VisionOS 27 aggiunge un’opzione di registrazione ad alta qualità, che cattura fino a 3 minuti di filmato 4K senza foveazione, completamente sul visore, senza bisogno del Mac.
Questa funzionalità renderà molto più facile per sviluppatori, giornalisti, influencer e creatori di contenuti di ogni tipo mostrare visionOS, ed era una delle funzionalità più richieste per Vision Pro.
API anteprima oggetti 3D su mac
Quando connesso al Mac tramite Mac Virtual Display, macOS 27 aggiunge un’API per generare un oggetto 3D su visionOS 27, permettendo di visualizzare oggetti nello spazio 3D.
L’app Preview di macOS supporta nativamente questa funzione, consentendo di aprire un oggetto 3D dal Finder e visualizzarlo in pochi secondi. Gli sviluppatori possono aggiungerla anche alle proprie app Mac.
Questa API permette essenzialmente agli sviluppatori di aggiungere il supporto Vision Pro alle loro app Mac di creazione 3D con poche righe di codice, senza la necessità di sviluppare un’app visionOS.
Supporta persino la modifica del modello dal lato visionOS utilizzando i controlli di sguardo e pizzicamento; le modifiche vengono poi riportate sul lato macOS. È un’API bidirezionale. È supportato anche SharePlay per la modifica spaziale collaborativa con Personas.
Apple ha annunciato che Cinema 4D e SketchUp stanno lavorando all’integrazione dell’API, e ci si aspetta che molte altre app Mac facciano lo stesso dopo il rilascio di macOS 27 e visionOS 27.
Microsoft e Meta avevano annunciato qualcosa di simile per Windows 11 e Horizon OS nel 2024, ma a quanto risulta non è ancora stato rilasciato.
Nuovo aspetto del centro di controllo
VisionOS 27 aggiorna l’aspetto del Centro di Controllo, suddividendolo in tre pannelli per ottenere uno spazio molto più ordinato e accessibile.
Insomma le novità di VisionOS27 sono tantissime e testimoniano il fatto che Apple sta ancora investendo molto in questa versione di OS per la realtà aumentata. Che sia per un futuro Vision Pro, o per le sue Smart Glasses, questo ce lo dirà solo il futuro.