Facebook e i dispositivi da polso: Hand tracking e aptica

Aggiornato il: mag 3

Lo scorso febbraio The Information ha rilasciato i piani di Facebook, in precedenza mantenuti segreti, di rilasciare uno smartwatch nel 2022, seguito da un dispositivo di seconda generazione nel 2023.

Ora il social network ha condiviso alcune delle sue ricerche sui dispositivi da polso per l’hand tracking ad alta fedeltà e il feedback aptico. Già qualche anno fa Facebook ha utilizzato l'intelligenza artificiale per eliminare tre miliardi di utenti falsi.

Hand tracking aptica

I dispositivi di hand tracking


Sean Keller, l’Head of AR/VR Interaction and Input R&D di Facebook, ha dichiarato che i dispositivi da polso possano servire come piattaforma per il calcolo, la batteria e le radio. Essendo i braccialetti e gli orologi già ampiamente utilizzati, un dispositivo da polso può agire come un hub di input e output completo, con display, superfici sensibili al tocco, aptica ricca e una vasta gamma di sensori supportabili.


Facebook ha anche realizzato degli auricolari, chiamati Oculus Quest, che oggi supportano l’hand tracking senza controller, fatto grazie alle telecamere sull’auricolare. Questo tipo di hand tracking necessita una stanza ben illuminata, con un piccolo ma consistente ritardo, e non funziona se le mani si sovrappongono.


Questo aspetto potrebbe essere migliorato da telecamere di qualità più alta, sensori di profondità e chip più veloci, ma potrebbe non essere abbastanza: ci potrebbero essere degli scenari in cui l’auricolare potrebbe non vedere il movimento di una o più dita. Un approccio diverso all’hand tracking sarebbe il leggere i segnali neutrali che passano attraverso il polso. In questo modo, il movimento delle dita può essere percepito ancora prima che avvenga.


All’inizio del 2019, Facebook ha fatto domanda di brevetto per un dispositivo simile. Sulla stessa idea aveva lavorato la startup newyorkese CRTL-Labs, che è stata acquisita da Facebook alla fine del 2019. Ora, ciò che viene presentato sembra essere una versione raffinata della stessa tecnologia. Il direttore delle interfacce neuromotorie di Facebook Thomas Reardon ha spiegato che il controllo delle mani occupa una parte del cervello più grande di qualsiasi altra parte del corpo. Le interazioni delle mani potrebbero quindi essere incredibilmente precise ed affidabili, accurate al millimetro, grazie ad una recente scoperta che permette di decodificare l’attività dei singoli neuroni per un “controllo quasi infinito sulle macchine”.


Questi dati possono anche essere considerati profondamente personali, aprendo problemi di privacy, che vengono trattati come parte del set di ricerca. Il problema che si è posto Facebook è il trattare informazioni personali in una maniera che risulti a favore degli utenti. Secondo le parole di Thomas Reardon, l’azienda è profondamente impegnata nel mostrare una trasparenza in quanto scienziati, spiegando alle persone perché certi dati vengano utilizzati, come e quali esperienze degli utenti siano da essi abilitati.

hand tracking privacy

Dal momento che lo scopo del dispositivo è quello di tracciare i segnali neurali e non le vere e proprie dita, si può anche semplicemente pensare al movimento. Il direttore delle interfacce neuromotorie di Facebook ha mostrato una breve clip di una persona nata senza una mano che controlla una mano virtuale.


I dispositivi di feedback aptico


Tra i progetti a lungo termine di Facebook, Sean Keller, capo della AR/VR Interaction and Input R&D, ha inserito un paio di guanti aptici morbidi e leggeri. Il feedback aptico potrà mostrare il suo potenziale a breve termine grazie ad un dispositivo montato sul polso. Nel campo dell’aptica, Facebook ha mostrato il proprio lavoro per la prima volta nel 2019, alla World Haptics Conference, quando ha presentato Tasbi, acronimo di Tactile And Squeeze Bracelet Interface.

Il Reasearch Science Manager di Facebook Nicholas Colonnese ha mostrato un primo filmato di Tasbi in azione: il cervello, al contrario di ciò che suggerirebbe l’intuizione, interpreta gli stimoli visivi e aptici come un unico evento simultaneo, grazie ad un effetto chiamato sostituzione sensoriale.


Tra le prove effettuate per testare l’utilizzo di Tasbi, Colonnese ha sottolineato che, grazie alla sostituzione sensoriale, con le capacità tattili di vibrazione e compressione del prodotto si può avere la sensazione di star interagendo naturalmente con gli oggetti virtuali utilizzati, da semplici pulsanti, fino a scale, arco o frecce.


Il dispositivo da polso con aptica ad alta fedeltà può anche essere utilizzato per scopi considerati più “banali” se utilizzato insieme ad occhiali AR, tra cui, ad esempio, il cambiamento nella direzione del viaggio per la navigazione a piedi.


Un secondo prototipo implementato da Facebook nel campo dell’aptica è il Bellowband, composto da otto soffietti pneumatici posizionati attorno ad ogni polso. Questi otto soffietti possono poi essere gonfiati o sgonfiati in modelli che producono sensazioni distinte.


Articolo di Chiara Pozzoli