En contornas complexas, os humanos poden comprender o significado da fala mellor que a IA, porque non só usamos os oídos senón tamén os ollos.
Por exemplo, vemos a boca de alguén moverse e podemos saber intuitivamente que o son que escoitamos debe vir desa persoa.
Meta AI está a traballar nun novo sistema de diálogo con IA, que ten como obxectivo ensinarlle á IA a recoñecer tamén correlacións sutís entre o que ve e oe nunha conversa.
VisualVoice aprende dun xeito similar a como os humanos aprenden a dominar novas habilidades, o que permite a separación da fala audiovisual mediante a aprendizaxe de pistas visuais e auditivas de vídeos sen etiquetar.
Para as máquinas, isto crea unha mellor percepción, mentres que a percepción humana mellora.
Imaxina poder participar en reunións de grupo no metaverso con compañeiros de todo o mundo, uníndote a reunións de grupos máis pequenos mentres se moven polo espazo virtual, durante as cales as reverberacións sonoras e os timbres da escena se axustan segundo o ambiente.
É dicir, pode obter información de audio, vídeo e texto ao mesmo tempo e ten un modelo de comprensión ambiental máis rico, o que permite aos usuarios ter unha experiencia sonora "moi sorprendente".
Data de publicación: 20 de xullo de 2022
