3D Video Capture, AR/VR e mixed reality

Responsabile del laboratorio

Prof. Ugo Erra | Università della Basilicata

Partner coinvolti

DI COSA SI TRATTA

Negli ultimi anni abbiamo assistito ad un enorme uso di contenuti 3D in diversi settori industriali. Fino a pochi anni fa, raramente gli utenti non professionisti interagivano con contenuti 3D a meno che non fossero utenti legati a particolari categorie come quelle dei videogiochi. Grazie ai progressi tecnici dell’ultimo decennio, le limitazioni che ostacolavano la diffusione di contenuti 3D sono del tutto scomparse.

E le tecnologie sono oggi mature per una rivoluzione in cui il 3D diventa comune in molti settori industriali offrendo ai consumatori nuovi modi di interagire con i prodotti e dando alle aziende nuovi potenti strumenti da utilizzare per il proprio mercato di riferimento. L’accesso alla visualizzazione di contenuti 3D è diventato enorme.

Diverse analisi sull’industria della computer grafica indicano in maniera chiara una crescita dirompente della domanda di contenuti 3D da parte di moltissimi ambiti business legati a professioni capaci di sviluppare contenuti 3D in tempo reale come artisti, programmatori e designer. Il laboratorio pone al centro della sua esistenza le tecnologie per la fruizione di contenuti 3D real-time in accoppiata ai sistemi di visualizzazione basati su Realtà Virtuale, Realtà Aumentata e Realtà Mista (indicati con XR). Queste tecnologie hanno un potenziale straordinario sia in termini di benefici economici che sociali perché offrono opportunità di business ed esperienze rivoluzionarie alle aziende ed ai consumatori.

Numerose aziende stanno già sperimentando i benefici prodotti dal 3D e dal VR/AR, attestando miglioramenti nella produttività e nella formazione dei dipendenti in molteplici settori. Uno studio effettuato da Bloomberg stima che la XR darà vita ad un mercato mondiale da 8 miliardi di dollari per una crescita annua stimata attorno al 48.3% tra il 2020 ed il 2030. Oltretutto eventi come la pandemia di coronavirus COVID-19 hanno accelerato la necessità di lavorare in remoto in tutto il mondo e quindi di avere strumenti di condivisione da remoto basati su XR.

COSA PROPONE

Il Laboratorio di Sperimentazione 3D Video Capture, AR/VR e Mixed Reality della CTEMT si pone lo scopo di offrire un centro per la produzione di filiere di trasformazione dal reale al digitale seguendo un flusso di lavoro che include il rilievo, la ricostruzione, la narrazione ed infine alla fruizione di contenuti 3D interattivi in real-time ed off-line su tecnologie AR/VR. La declinazione principale sarà sui beni culturali, ambientali e paesaggistici ma i possibili sviluppi riguardano altri settori industriali come ad esempio il cinema, la robotica, l’intrattenimento, il turismo e la didattica.

L’obiettivo che si prefigge il laboratorio nel medio termine è l’acquisizione di conoscenze altamente specializzate ed il successivo trasferimento tecnologico per la definizione di un workflow integrato utile alla fruizione digitale del patrimonio artistico, culturale e paesaggistico. Nel lungo periodo il laboratorio intende mettere al centro della propria sperimentazione le tecnologiche necessarie alla progettazione ed alla realizzazione di applicazioni di realtà virtuale, realtà aumenta e realtà mista attraverso tecniche di base, applicative e di dispositivi interattivi di fruizione di contenuti 3D per promuovere la diffusione e l’inserimento delle tecnologie AR/VR nell’industria utilizzando i nuovi approcci multiutente e multimodale.

In particolare, il laboratorio propone lo sviluppo di una piattaforma software per la realizzazione di scene 3D AR/VR che permetterà contemporaneamente a molteplici e diversi utenti di creare e manipolare contenuti 3D in modalità immersiva utilizzando diversi dispositivi allo scopo di creare scene del mondo reale o nuovi ambienti digitali. Utilizzando strumenti semplici ed intuitivi si offriranno soluzioni end-to-end basate su una piattaforma di esperienza multimediale immersiva e interattiva completamente accessibile e generica.

Rendendo tutto multiutente, multimodale e multi-device, la soluzione supporterà più utenti che interagiscono allo stesso tempo, con diversi tipi di dispositivi, e diverse modalità di AR/VR, in una sorta di lavoro condiviso digitale o coworking virtuale. Infine, nel lungo periodo il laboratorio con le sue tecnologie digitali si pone l’obiettivo di diventare un hub di specializzazione, dedicato a giovani professionisti ed un qualificato centro di produzione per le aziende interessate, per la realizzazione di prodotti audiovisivi per il cinema e l’animazione dedicati al mercato italiano e internazionale in maniera tale da intercettare le esigenze delle produzioni cinematografiche che arrivano a Matera.

OPPORTUNITÀ

SVILUPPO DI UN AUTHORING TOOL PER LA VR/AR (XR)
In questa fase si punta allo sviluppo di un software di authoring tool immersivo, collaborativo e aperto che possa assistere gli utenti nella costruzione di una scena XR multiutente e multimodale. Lo strumento sarà caratterizzato soprattutto da un’interfaccia grafica intuitiva e facile da usare adatta agli utenti non esperti, permettendo loro di posizionare contenuti 3D nell’ambiente virtuale e contemporaneamente visualizzare e manipolare le scene di interesse. Questo approccio immersivo alla creazione di contenuti XR permetterà agli utenti di raggiungere, afferrare e manipolare gli oggetti proprio come farebbero nella vita reale. Lavorare direttamente in un ambiente virtuale fornirà agli utenti il senso di scala necessario per creare una scena realistica, mentre l’uso di strumenti appropriati permetterà loro di costruire ambienti con movimenti e interazioni naturali. L’aspetto collaborativo della multiutenza in tempo reale permetterà a più utenti di modificare la stessa scena simultaneamente permettendo loro di vedere le modifiche degli altri utenti nel momento in cui si verificano. La scena XR sarà definita in maniera tale che sarà gestito direttamente dai dispositivi di visualizzazione indipendentemente dalla loro tipologia. La multi-modalità invece permetterà la combinazione senza soluzione di continuità di diverse modalità XR e tipi di dispositivi diversi (HMD, Smart Glasses AR, smartphone o PC). Per quanto riguardo l’uso dei contenuti 3D questa versione permetterà l’integrazione di modelli 3D diversi provenienti da fotogrammetria, scansione laser o software di modellazione 3D, incorporando formati, scale e stili eterogenei nella stessa scena virtuale. L’output dell’authoring tool sarà dunque un grafo della scena che rappresenta l’ambiente virtuale nei suoi componenti: contenuti 3D, materiali, avatar digitali e script per la gestione della sceneggiatura durante l’immersione XR. Il player della scena XR sarà un tool che permetterà di mandare in esecuzione questo grafo sui diversi dispositivi rendendo di fatto agnostica la fruizione della scena indipendentemente dall’hardware, dalla capacità della connessione e dai dispositivi di input.

SVILUPPO DI SCENARI DI UTILIZZO SULLA CITTÀ DI MATERA
La città di Matera sarà utilizzata come sperimentazione nello sviluppo di uno o più scenari XR multiutente e multimodale. Il vantaggio di poter disporre di un enorme patrimonio permetterà di selezionare degli scenari di utilizzo reali e di diversa tipologia. Utilizzando la città di Matera ma anche alla sinergia con gli altri laboratori della CTEMT saranno riprodotti diversi casi di studio.

IMMERSIONE E INTERAZIONE AVANZATA
In questa ultima attività è prevista una sperimentazione ancora più avanzata attraverso l’uso della tele-immersione per permettere a più utenti di abitare lo stesso spazio virtuale migliorando la rappresentazione visiva degli utenti immersi sia in termini di rendering che in termini di cattura dei movimenti. Gli utenti immersi saranno catturati tramite una combinazione di camere di profondità e avanzati sistemi di motion-capture utilizzati nel cinema. Sia i modelli 3D, le immagini e i movimenti degli utenti saranno utilizzati per ricostruirli nello spazio virtuale mentre i movimenti potranno essere utilizzati per interagire con l’ambiente virtuale. Infine, si procederà ad includere un suono spaziale nelle scene virtuali tenendo conto della posizione e dell’orientamento delle facce degli utenti, l’elaborazione spaziale del suono permetterà all’utente una comprensione più intuitiva della posizione della fonte sonora come nella vita reale. Questa attività consentirà anche di avviare la fase di sperimentazione delle tecnologie del laboratorio per il cinema. L’idea è quella di utilizzare le tecnologie per la cattura dei movimenti, presenti in questa attività, per la creazione di animazioni digitali.

Attività e Use Case perseguiti dal laboratorio
L’enorme patrimonio culturale, archeologico ed ambientale della città di Matera sarà utilizzato nella sperimentazione e nello sviluppo di uno o più scenari XR multiutente e multimodale. Il vantaggio di poter disporre di tale patrimonio permetterà di selezionare degli scenari di utilizzo reali e variegati. Utilizzando la città di Matera ed anche grazie alla sinergia con gli altri laboratori della CTEMT saranno riprodotti i seguenti scenari di utilizzo:

USE CASE 1
Museo VR/AR
Riproduzione 3D di un museo (o di una chiesa rupestre) per consentire la sua fruizione all’interno di un ambiente XR multiutente in maniera da permettere a tutti coloro che non possono recarsi fisicamente a Matera, a causa della distanza, di disabilità o restrizioni dovute al Covid-19. La riproduzione in 3D permetterà di essere utilizzato dalle insegnanti nelle scuole come strumento immersivo e interattivo in cui tutti gli studenti sono collegati tramite un visore per la VR. L’insegnante potrà fare da guida all’interno del museo oppure si potrà utilizzare virtual avatar che si occuperà di guidare la classe all’interno del museo eventualmente impegnando gli studenti in una sorta di serious game virtuale. Da notare che il museo non dovrà necessariamente essere una riproduzione 3D fedele all’interno dell’ambiente virtuale ma in base alle esigenze della classe si potrà preventivamente allestire virtualmente un museo con caratteristiche particolari e personalizzate che vada incontro alle esigenze della formazione.

USE CASE 2
Matera in VR/AR
I Sassi di Matera sono considerati, secondo la definizione dell’Unesco, come un paesaggio culturale che attira ogni anno turisti e produzioni cinematografiche internazionali. Utilizzando questo contesto è possibile ricostruire in 3D, tramite fotogrammetria o laser scanner, parti di interesse dei rioni per permettere delle visite virtuali da remoto oppure per consentire dei sopraluoghi senza recarsi fisicamente a Matera. Anche in questo caso l’uso della realtà virtuale permette a turisti o ad aziende interessate ad investire sulla città di effettuare in maniera cooperativa una visita senza recarsi fisicamente sul posto. L’altro aspetto interessante di una riproduzione 3D sarebbe l’opportunità di realizzare un serious game ambientato tra i sassi che segua una narrazione come strategia comunicativa efficace e persuasiva. Da questo punto di vista Matera offre innumerevoli opportunità di sperimentazione che successivamente possono essere prese a modello per estenderle a livello nazionale ed internazionale

USE CASE 3
Gemello Virtuale
Il settore industriale è una delle attività più realistiche dove sperimentare queste tecnologie poiché consente ai tecnici, dotati di strumenti di realtà aumentata o virtuale, di dirigere diversi robot o macchinari interagendo con i loro “gemelli virtuali” all’interno di un ambiente immersivo. In questo contesto è possibile simulare all’interno di ambiente virtuale multiutente la formazione del personale oppure un intervento di manutenzione utilizzando la realtà aumentata oppure la realtà mista. L’idea è quella di permettere a più utenti di ritrovarsi davanti ad un robot industriale per una linea di produzione completamente automatizzata in cui diversi utenti collegati in remoto possono discutere degli aspetti di messa in servizio, di training o di manutenzione. Anche in questo caso un avatar potrebbe essere programmato nel contesto della formazione aziendale offrendo ai discenti supporto, in relazione alla fruizione dell’attività formativa. In questo contesto il laboratorio di robotica potrebbe offrire quella necessaria sinergia per implementare questo scenario di utilizzo.