La metodologia sviluppata consente di effettuare il riconoscimento delle espressioni facciali (FER) in tempo reale. I dati vengono acquisiti mediante camere RGB-D, le quali catturano simultaneamente uno stream video a colori e uno di profondità; l’impiego di un approccio multimodale basato su Deep Learning consente di massimizzare la flessibilità e l’accuratezza del riconoscimento.

La metodologia sviluppata si compone di due fasi principali. Durante la prima avviene il processamento dei frame, che mira ad elaorare le immagini acquisite con camere RGB-D per poterle utilizzare come input della seconda fase, all'interno della quale avviene la classificazione delle espressioni facciali. La classificazione mediante algoritmi di Deep Learning è composta da una fase di training, durante la quale la rete apprende come effettuare la classificazione, e la fase di testing, durante la quale la rete può essere utilizzata per effettuare il riconoscimento. Nel nostro caso i dati utilizzati per l'addestramento sono ecologicamente validi, dunque le espressioni facciali sono più autentiche e conseguentemente adatte ad un contesto reale; inoltre, i dati utilizzati sono immagini a colori, di profondità e relativi descrittori geometrici, per massimizzare l'informazione utilizzata e migliorare il tasso di riconosimento. TRL: 4. 

• Emotional design: supporto per la definizione dei requisiti di un prodotto/servizio;
• Marketing: strumento per profilazione del consumatore;
• Robotica: miglioramento dell'interazione uomo-macchina;
• Etica: ausilio per soggetti con problemi relativi alla comprensione e manifestazione delle emozioni.

• Approccio multimodale che garantisce un tasso di riconoscimento più elevato;
• Approccio multimodale che consente il riconoscimento in un maggior numero di casi d'uso;
• Le camere RGB-D possono essere integrate all'interno di dispositivi personali;
• Le camere RGB-D hanno un costo contenuto.