Les lunettes intelligentes de Meta peuvent tout savoir sur vous en un coup d’œil

Deux étudiants de Harvard ont récemment révélé qu’il était possible de combiner les lunettes intelligentes Meta avec une technologie de recherche d’images faciales pour « révéler les données personnelles de n’importe qui », notamment son nom, son adresse et son numéro de téléphone, « simplement en le regardant. »

Dans un document Google, AnhPhu Nguyen et Caine Ardayfio expliquent comment ils ont relié une paire de Meta Ray-Ban 2 à un moteur de recherche de visages sophistiqué du nom de PimEyes pour aider à identifier des inconnus en croisant leurs informations dans diverses bases de données de recherche de personnes. Ils ont ensuite utilisé un modèle de langage étendu (LLM) pour combiner rapidement toutes ces données, ce qui permet de répandre en un clin d’oeil des informations sur quelqu’un ou de recueillir des informations pour escroquer quelqu’un en quelques secondes – ou encore de les utiliser à d’autres fins malveillantes du style « un type pourrait trouver l’adresse d’une fille qu’il voit dans le train et la suivre jusque chez elle », a déclaré Nguyen à 404 Media.

Selon les étudiants, tout cela est possible grâce aux récents progrès réalisés dans le domaine des LLLM [Les grands modèles de langage (LLM) sont des modèles d’apprentissage automatique capables de comprendre et de générer des textes en langage humain. Ils fonctionnent en analysant des ensembles massifs de données linguistiques, NdT].

« Cette synergie entre les LLM et la recherche inversée de visages permet une extraction de données entièrement automatique et complète qui auparavant n’était pas possible avec les seules méthodes traditionnelles », indique leur document Google.

Alors qu’avant, il fallait beaucoup de temps pour faire des recherches dans les bases de données publiques afin de trouver des informations sur la base de la seule image d’une personne, leurs lunettes intelligentes dystopiques font ce travail en quelques secondes, comme le montre leur vidéo de démonstration.

Les co-créateurs ont déclaré qu’ils avaient modifié une paire de Meta Ray-Ban 2 pour créer I-XRAY afin de sensibiliser le public aux « soucis majeurs en matière de protection de la vie privée » en ligne, dans la mesure où la technologie progresse rapidement.

Meta Ray Ban : le moyen le « plus flippant » de tester la technologie

Ils expliquent qu’ils ont choisi Meta Ray-Ban 2 pour leur projet parce que les lunettes intelligentes « sont quasiment impossibles à distinguer du commun des lunettes. » Nguyen a déclaré à 404 Media que l’utilisation des lunettes intelligentes Meta était « le moyen le plus flippant » imaginable pour un acteur malveillant qui tenterait de scanner des visages sans se faire repérer.

Afin d’éviter que quiconque ne soit victime d’un « traçage », les co-créateurs ne divulguent pas le code, a déclaré Nguyen sur le site de médias sociaux X. Ils ont toutefois expliqué comment leur technologie inquiétante fonctionne et à quel point des inconnus utilisés comme sujets de test ont été choqués de découvrir comment ils sont facilement identifiables rien qu’en accédant, grâce à des lunettes intelligentes, à des informations publiées en ligne.

Nguyen et Ardayfio ont testé leur technologie dans une station de métro « sur des gens du monde réel sans qu’ils s’en doutent », indique 404 Media. Les étudiants ont même prétendu connaître certains des sujets testés, semblant utiliser les informations glanées dans les lunettes pour faire des références pertinentes et faire semblant de connaître quelqu’un, et ce afin de démontrer comment cette technologie peut être utilisée pour tromper les gens.

Des dizaines de sujets tests ont été identifiés, affirment les étudiants, bien que certains résultats aient été contestés, rapporte 404 Media. Pour que le balayage des visages reste discret, les étudiants ont dissimulé le voyant qui s’allume automatiquement lorsque les Meta Ray-Ban 2 enregistrent, a expliqué Ardayfio sur X.

« Virez PimEyes dès maintenant », avertissent les étudiants

Pour Nguyen et Ardayfio, l’objectif du projet était de convaincre les gens de se désinscrire des moteurs de recherche invasifs afin de protéger leur vie privée en ligne. Ainsi, un essai effectué à l’aide d’I-XRAY pour identifier Joseph Cox, le journaliste de 404 Media n’a pas fonctionné parce qu’il s’était désinscrit de PimEyes.

Mais alors que pour les deux étudiants la vie privée soit manifestement importante et que leur vidéo de démonstration se soit efforcée de supprimer les informations d’identification, au moins dans un cas, le sujet de test a été tout de même « facilement » identifié, a rapporté 404 Media. Cette personne n’a pas pu être jointe pour un commentaire, précise 404 Media.

Jusqu’à présent, ni Facebook ni Google n’ont choisi de diffuser les technologies similaires qu’ils ont développées pour relier les lunettes intelligentes aux moteurs de recherche faciale, a rapporté le New York Times.

Mais d’autres acteurs du monde de l’IA s’intéressent à cette technologie, note 404 Media, notamment Clearview AI, une société qui propose un moteur de recherche de visage pour les policiers et qui « a également songé à une paire de lunettes intelligentes qui utiliserait sa technologie de reconnaissance faciale. » (C’est inquiétant à plusieurs titres : l’objectif de Clearview est de mettre presque tous les humains dans sa base de données de reconnaissance faciale, la police a déjà utilisé cet outil sans autorisation pour effectuer des recherches personnelles, et Clearview a déjà été condamné à une amende de 33 millions de dollars pour violation de la vie privée).

Heureusement, pour le moment, faire face à cette menace émergente ne semble pas exiger beaucoup d’efforts. Dans leur document Google, Nguyen et Ardayfio expliquent aux gens comment ils peuvent supprimer leur visage des moteurs de recherche inversée de visages tels que PimEyes et Facecheck ID, ainsi que des moteurs de recherche de personnes tels que FastPeopleSearch, CheckThem et Instant Checkmate. Ils ont également mis à disposition un formulaire pour répondre aux questions des internautes.

Maintenant qu’il est clair que les technologies accessibles au public peuvent être utilisées pour que les lunettes intelligentes voient beaucoup plus que ce que les entreprises de la Big Tech avaient prévu. Ars Technica a utilisé le formulaire pour demander si des gens s’étaient montrés intéressés par la reproduction de leurs inquiétantes lunettes intelligentes modifiées, mais sans recevoir de réponse.

Dans leurs déclarations à 404 Media, Meta et PimEyes ont semblé minimiser les risques concernant le respect de la vie privée, le premier notant que les mêmes risques existent avec les photos de personnes et le second affirmant que PimEyes « n’identifie » pas les personnes (il ne fait que renvoyer aux liens de leurs photos, là où les utilisateurs peuvent souvent trouver des informations d’identification).

Au sein de l’Union européenne, où la collecte de données de reconnaissance faciale nécessite généralement le consentement direct d’une personne en vertu du règlement général sur la protection des données, les lunettes intelligentes comme I-XRAY ne sont peut-être pas une préoccupation majeure pour les gens qui préfèrent rester anonymes dans les espaces publics. Mais aux États-Unis, I-XRAY pourrait être la prochaine escroquerie de gens malveillants.

« Si les gens se mettent à reprendre cette idée, je pense que ce serait vraiment fâcheux » , a déclaré Ardayfio à 404 Media. « J’espère que la sensibilisation à la protection des données que nous avons diffusée l’emportera sur les effets négatifs que cela pourrait avoir. »

*