Una dimostrazione che la realtà mista (MR), capace d’integrare realtà fisica e digitale, non è più solo fantascienza, ma una tecnologia sempre più concreta, con infinite applicazioni, si è avuta nel giorno d’apertura del recente evento digitale Microsoft Ignite, con la presentazione di Microsoft Mesh. Quest’ultima è una nuova piattaforma MR che Microsoft ha costruito nel cloud Azure, con l’obiettivo di aiutare gli sviluppatori a semplificare e velocizzare la realizzazione di applicazioni di realtà mista immersive, multiutente e multipiattaforma.
Attraverso Mesh, è possibile connettersi con altre persone sentendo la loro presenza tramite, ad esempio, espressioni facciali e gesti; si può condividere determinati spazi e collaborare in maniera immersiva nello stesso ambiente virtuale, pur trovandosi in luoghi fisici differenti. Usando Mesh, spiega Microsoft, è possibile permettere a team distribuiti a livello geografico di organizzare incontri più collaborativi, condurre sessioni di progettazione virtuale, assistere altre persone, imparare insieme e ospitare incontri sociali virtuali. La nuova piattaforma, scrive Jennifer Langston scrittrice di storie Microsoft, è il risultato di anni di ricerca e sviluppo della casa di Redmond in aree che vanno dal tracciamento oculare (eye-tracking) e della mano, allo sviluppo HoloLens per la creazione di ologrammi persistenti e modelli d’intelligenza artificiale (AI) in grado di realizzare avatar espressivi.
‘Holoportation’ e avatar per simulare la presenza
La demo iniziale di Mesh è condotta da Alex Kipman, Technical Fellow di Microsoft, che, immerso in uno scenario subacqueo olografico, presenta Mesh come una tecnologia in grado di connettere mondi fisici e digitali, e di permettere alle persone di trascendere i tradizionali confini di spazio e tempo. “Microsoft Mesh è alimentata da Azure e tutte le sue funzionalità di AI ed elaborazione operano in modo fluido, dall’intelligent edge all’intelligent cloud. Essa promette di portarci a nuove frontiere, consentendo agli sviluppatori di creare esperienze ricche e immersive”.
Per quanto riguarda la creazione della presenza, essa viene simulata utilizzando due tecnologie: una è la cosiddetta ‘Holoportation’, e funziona come una sorta di teletrasporto. Microsoft la descrive come una tecnologia di acquisizione 3D in grado di ricostruire, comprimere e trasmettere in tempo reale, ovunque nel mondo, modelli 3D di alta qualità di persone fisiche. Utilizzando dispositivi come HoloLens, la Holoportation rende possibile vedere, sentire gli altri partecipanti, proiettati nella sessione di realtà mista, e interagire con loro in 3D con estremo fotorealismo nello stesso spazio. L’altra modalità d’interazione è costituita dagli avatar, che permettono di personalizzare la propria presenza virtuale all’interno della sessione. A Mesh è possibile accedere tramite vari dispositivi, tra cui cuffie VR, telefoni mobili, tablet, PC usando qualsiasi app Mesh-enabled, anche se Microsoft indica i dispositivi HoloLens 2 come lo strumento più adatto e confortevole per vivere la migliore esperienza immersiva di realtà mista.
Microsoft Mesh, i tre componenti essenziali
Una panoramica più tecnica di Mesh è fornita da Simon Skaria, Director of Product di Microsoft, uno tra gli ingegneri creatori della piattaforma. Prima di addentrarsi nella descrizione dei componenti fondamentali di Mesh, Skaria ripercorre la storia evolutiva dell’IT per concludere che, oggi, la realtà mista sta entrando nella fase ‘mainsteam’, di ampia diffusione, e ricordare le classiche sfide tecniche che gli sviluppatori tipicamente incontrano nella realizzazione di app MR multiutente. In primo luogo, è arduo trasferire nella MR i modelli 3D ad alta fedeltà nei formati file che le aziende usano. Secondo, la rappresentazione realistica di persone in realtà mista richiede molto tempo e risorse. Terzo, è difficile mantenere un ologramma stabile in luoghi dove si usano diversi dispositivi, e le condizioni di luce cambiano con i layout, i momenti, le stagioni. Quarto, la sincronizzazione di azioni ed espressioni in una sessione distribuita geograficamente risulta complessa.
“La risposta a tutto ciò – dice Skaria – è Microsoft Mesh, che permette agli utenti di sentire la reale presenza, progettare e creare insieme, connettersi ovunque da qualsiasi dispositivo”. La piattaforma Mesh, in sostanza, fornisce agli sviluppatori una soluzione per progettare app MR multiutente immersive, senza doversi preoccupare di complessi problemi tecnici. E ciò attraverso tre componenti core: uno è il supporto multidispositivo che, come accennato, include vari head-mounted display (HMD), tra cui Microsoft indica HoloLens, HP Reverb G2, Oculus Quest 2, adatti a sperimentare una completa esperienza 3D; a questi poi si aggiungono i telefoni e tablet basati su iOS o Android, oltre che i PC e i Mac, in grado di accedere alla MR in modalità 2D.
Il secondo componente è la ‘Mesh developer platform’, che ha il suo cuore in Azure. Nella piattaforma sono integrati servizi come Azure Active Directory, tramite cui solo gli utenti autenticati e autorizzati possono accedere in modo sicuro alla sessione MR; mentre, attraverso il servizio Microsoft Graph, diventa possibile gestire le connessioni, senza doversi occupare, ad esempio, degli aspetti tecnici di trasmissione audio e video. Oltre alla piattaforma core, spiega Microsoft, sono poi disponibili alcune funzionalità ‘AI-powered’ (Immersive presence, Spatial maps, Holographic rendering, Multiuser sync) grazie a cui Mesh è in grado d’indirizzare alcune delle più complesse sfide tecniche nella realizzazione di scenari MMO (massive multiuser online) per realtà mista.
Il terzo componente è rappresentato dalle ‘Mesh-enabled apps’, di cui Microsoft ha già presentato a Ignite due esempi, Microsoft Mesh app for HoloLens 2 e AltspaceVR, che per la società rappresentano solo le prime di un ecosistema di app, che verrà via via popolato e sviluppato da Microsoft stessa e dai propri partner.
