L’Augmented Reality in manutenzione e Service

Introduzione

I contenuti di questa memoria derivano dalle testimonianze dei relatori e dagli interventi dei partecipanti all’evento “La realtà aumentata per il tecnico del futuro: a che punto siamo?”, orga­nizzato dall’ASAP Service Management Forum in collaborazione con la Scuola Sant’Anna di Pisa, il 6 Marzo 2019. L’evento si è dimostra­to il contesto ideale per discutere con esperti e responsabili del service di oltre 40 aziende multinazionali.

Lo scenario attuale

Secondo la famosa Hype Cycle delle tecnolo­gie emergenti pubblicata da Gartner1, la realtà aumentata (AR) dovrebbe considerarsi ancora oggi una tecnologia non completamente matura per un utilizzo industriale. Secondo gli esperti, occorrono altri 5-10 anni di progressi nella ri­cerca e nelle sperimentazioni, prima della de­finitiva consacrazione e del pieno sfruttamento commerciale di questa tecnologia.

Al contrario, dai concept video diffusi su Youtube2 sembra che queste tecnologie siano già sufficientemente pronte per essere introdotte nelle reti di assistenza tecnica, come strumenti di uso quotidiano del tecnico di campo. Vi è quindi un forte interesse dei responsabili IT e Service Manager a comprendere le opportunità di applicazione di tali tecnologie per l’attività di manutenzione e customer support di beni e sistemi complessi, sia in ambito B2B che domestico/consumer, come strumenti di supporto specialistico agli operatori della propria rete. Tali applicazioni sono oggetto di studio da parte degli accademici e dell’industria, ormai da moltissimi anni3.

Gli scenari di impiego, su cui gli sviluppatori lavorano alacremente, sono ormai acclarati; in massima sintesi, due sono i casi d’uso princi­pali: a) la modalità single-user, e b) la modalità multi-user (collaborativa, o teamwork). Nella prima, il tecnico/operatore sfrutta il dispositivo AR per recuperare da un server remoto, e quin­di visualizzare sul proprio display, tutte quelle informazioni, documenti, schemi, funzionali a illustrare l’intervento manutentivo.

Può trattarsi di procedure di montaggio/smon­taggio, sequenza dei tool da usare, checklist per la messa in sicurezza, cicli per la diagnostica. In questo scenario, il sistema viene predisposto e istruito per attivarsi autonomamente, a fronte del riconoscimento algoritmico di qualche ca­ratteristica (es. un simbolo, un codice, una im­magine) che compare nel campo visivo. Questo può richiedere anche di posizionare specifici marcatori sulla scena e sugli oggetti su cui si deve sovraimporre la grafica virtuale, per generare l’effetto “realtà aumentata”. Nella seconda modalità (teamwork), due o più operatori entrano in contatto da remoto, e grazie alla realtà aumenta­ta possono condividere informazioni e conoscenze utili a un certo scopo. In questo caso, l’applicazione al contesto manutentivo ha in primo luogo l’obiettivo di migliorare la comunicazione tra il tecnico di campo e uno o più specialisti, che da remoto possono eseguire l’attività di troubleshoo­ting e guidare il tecnico nella esecuzione dell’intervento, fornendogli tutta la conoscenza e le indicazioni necessarie.

Anche in questo caso, la realtà aumentata serve per sovraimporre nel campo visivo del tecnico, segni grafici quali lettere, numeri, simboli utili a identificare gli elementi su cui agire, a segnare le posizioni, a indicare le sequenze o gli strumenti da usare. In entrambi i casi, la grafica virtuale si sovrappone e resta “ancorata” alla visione reale. Questo consente una certa libertà di movimenti per chi utilizza il dispositivo, senza che si per­dano i riferimenti ricevuti dall’algoritmo e/o dallo specialista da remoto.

Chiaramente, la massima utilità si manifesta quando il dispositivo/display è integrato/montato sugli occhiali e/o su un elmetto, così da lasciare all’utilizzatore le mani libere. In tal caso, si parla di Near-Eye Display (NED). Una applicazione che incontra il favore delle industrie è quella in cui un NED dotato anche di videocamera viene utilizzato per permettere ad un esperto remoto di assistere un tecnico meno esperto/competente, che però ha il vantaggio di trovarsi nel posto giusto al momento giu­sto. Avendo le mani libere, il tecnico può eseguire installazioni, ripara­zioni, manutenzioni, upgrade di macchine e sistemi, ricevendo supporto e informazioni, velocizzando tempi e produttività, riducendo gli errori e garantendo una maggiore compliance su pro­cedure di sicurezza. Le medesime applicazioni possono essere impiegate anche per attività di training.

Per l’impiego in contesti heavy-industrial, gli NED vengono addirittura integrati in elmetti/ca­schi e DPI dell’operatore. In tal caso, si parla di smart-helmets (vedi Figura 1). Si trovano in commercio smart-helmets con differenti clas­si di protezione e certificazione. Ad esempio, esistono anche dispostivi certificati ATEX, per l’impiego in zone a rischio di esplosione.

Le architetture costruttive

A prescindere dallo scenario e dalla soluzione costruttiva (smart-glasses o smart-helmets), è importante sapere che esistono tecniche di visualizzazione differenti, a cui corrispondono differenti architetture costruttive. In ambito in­dustriale, si impiegano soluzioni di tipo optical see-through (OST) e video see-through (VST) (vedi Figura 2). Nell’architettura OST, si integra negli occhiali un display trasparente (singolo o doppio), che mostra e combina (sovraimponen­dole) le immagini virtuali con quelle reali, che l’occhio acquisisce direttamente per effetto del­la trasparenza del display/combinatore.

Nel campo visivo dell’utente appaiono gli og­getti generati dalla computer graphics e mo­strati dal display/combinatore, che nella realtà non esistono. Il VST non sfrutta invece alcun display/combinatore trasparente, ma mostra direttamente su un normale micro-display (sempre singolo o bioculare) l’effetto dell’integrazione tra scena reale e virtuale. La prima viene ripresa da una videocamera mon­tata in posizione Point of View (PoV) sull’elmetto/occhiale. La seconda viene creata dalla computer graphics, in base a quanto la video camera riprende.

Di fatto, nell’architettura VST l’operatore non vede direttamente la sce­na, ma vede quello che la videocamera ha ripreso, a cui si aggiungono le sovraimposizioni generate algoritmicamente (blended video graphics). OST permette invece una sovrapposizione del contenuto sintetico diret­tamente sul campo visivo dell’operatore senza alterare la risoluzione ot­tica percepita (le lenti sono trasparenti), laddove la natura mediata di VST riduce necessariamente la risoluzione di quanto visualizzato alla risolu­zione combinata di camera e display.

Le architetture optical see through rappresentano con ogni probabilità il futuro dei sistemi di Realtà Aumentata e per questo motivo buona parte dei dispositivi più noti (e.g. Google Glass, Microsoft Hololens, Epson Mo­verio), si basano su tecnologia OST.

Ciononostante, le architetture presentano ancora limiti importanti per le dimensioni dell’area virtuale, il cosiddetto Field of View (FoV), che può essere sovraimpresso al PoV reale (la cui qualità e risoluzione dipende dalla acutezza visiva dell’utente). Questi limiti derivano dalla impossibilità fisica di ridurre, oltre certe dimensioni, il cosidetto eye-relief, ovvero la distanza del display dalla pupilla dell’utente. Un ulteriore limite degli OST è dovuto alla maggiore influenza, rispetto alle architetture VST, delle con­dizioni di illuminazione.

Queste tecnologie usano display semiriflettenti o a guide d’onda, che in alcuni casi inducono attenuazioni di luce per oltre l’80%. Ciò non è spes­so tollerabile per impieghi in contesti industriali con rischi e presenza di pericoli. La tecnologia OST è in continua evoluzione, e nei prossimi anni i progressi della ricerca scientifica porteranno presumibilmente al supera­mento dei limiti di cui sopra, a seguito dello sviluppo di nuove tecnologie per i display. Allo stato dell’arte, l’adozione di architetture OST in ambito industriale è fortemente limitata, specie in contesti in cui si renda neces­saria un’ampia visuale.

L’esempio di Figura 3 è paradigmatico: il FoV di alcuni tra i migliori visori OST in commercio è limitato al punto che molti componenti dell’installa­zione industriale su cui – sempre seguendo l’esempio – si esplica l’inter­vento manutentivo, restano esterni all’area del display, per cui l’operatore dovrebbe muovere la testa per inquadrarli anche solo parzialmente.

Altri fattori limitanti

Oltre a quanto suggerito, esistono anche altri fattori che potrebbero limi­tare l’applicabilità dei dispositivi AR in contesti industriali. Ad esempio, la necessità di garantire adeguata connettività per lo scambio bidirezionale di flussi audio-video e di documenti/grafica. Ulteriori vincoli potrebbero insorgere per questioni connesse alla Privacy e alla sicurezza dei dati scambiati. Di fatto, in alcune industrie (es. Difesa, Oil & Gas) potrebbero sussistere policy tali da impedire ogni forma di ripresa audio-video degli stabilimenti di produzione.

Altri limiti al trasferimento industriale sono la durata delle batterie e anche la non sempre accettabile ergonomia di alcuni dispositivi, che in alcuni casi sono troppo ingombranti e pesanti. Comunque, queste sembrano sfi­de facilmente superabili, rispetto alle limitazioni di cui abbiamo discusso in precedenza, come è stato testimoniato da vari responsabili del service che hanno seguito e stanno seguendo l’introduzione di tali tecnologie.

Conclusione

La chiave di volta per avviare la diffusione massiva di tali tecnologie po­trebbe essere rappresentata dallo sviluppo di modelli di valutazione del ritorno sull’investimento (ROI). In particolare, la scuola Sant’Anna, l’Uni­versità di Pisa e quella di Firenze hanno colla­borato allo sviluppo di un modello che consente di stimare i differenziali dei costi dei ricavi e del capitale circolante netto che potrebbe conse­guire alla adozione massiva di tali tecnologie.

È ovvio che queste tecnologie possono aiutare il service provider a sviluppare anche il proprio raggio di azione, con un significativo effetto di marketing e promozione. In fase di speri­mentazione non ci se deve quindi focalizzare solamente sull’impatto sulle Operations, ma occorre identificare anche i benefici futuri che potrebbero manifestarsi nel medio-lungo ter­mine, in termini di maggiori ricavi per l’incre­mento dei servizi offerti e dei contratti acquisiti sul mercato.

Mario Rapaccini, Ph.D., Associate Professor, DIEF–Università di Firenze, Laboratorio IBIS
Franco Tecchia, Ph.D, Assistant Professor, TeCIP–Scuola Superiore S.Anna
Cosimo Barbieri, Ph.D. Student Smart Industry, Università di Pisa, Laboratorio IBIS

Note

1. www.gartner.com/smarterwithgart­ner/5-trends-emerge-in-gartner-hype-cycle-for-e­merging-technologies-2018/

2. Ad esempio, questo della Schneider Electric www.youtube.com/watch?v=RpXyagutoZg, op­pure questo della Thyssenkrupp www.youtube.com/watch?v=8OWhGiyR4Ns, entrambi che fanno riferimento a una delle tecnologie di AR più promettenti, il visore Microsoft Hololens®.

3. È interessante leggere le conclusioni di questo influente articolo del 1993: Feiner, S., MacIntyre, B., Haupt, M. and Solomon, E., 1993, December. Windows on the world: 2 D windows for 3 D aug­mented reality. In ACM Symposium on User In­terface Software and Technology (pp. 145-155).