Recherche nounou parfaite avec certificat de réussite au test d’IA relatif au respect et au comportement

Source : The Washington Post, Drew Harwell, 23-11-2018

Jessie Battaglia et son fils Bennett dans leur maison à Rancho Mirage en Californie. C’est en recherchant une baby-sitter que Mme Battaglia a commencé à utiliser Predictim, un service en ligne qui affirme utiliser un système « d’intelligence artificielle avancée » pour évaluer les risques de toxicomanie, d’intimidation ou de mauvaise conduite d’une baby-sitter.

Drew Harwell

23 novembre 2018

Lorsque Jessie Battaglia a commencé à rechercher une nouvelle nounou pour son fils âgé d’un an, elle a voulu avoir plus d’informations que celles que l’on obtient par la vérification du casier judiciaire, les avis de parents et l’entretien face-à-face.

Elle a donc fait appel à Predictim, un service en ligne utilisant une « intelligence artificielle avancée » pour évaluer la personnalité des baby-sitters, et a fait examiner par les scanners de l’agence les milliers de publications Facebook, Twitter et Instagram d’une candidate.

Le système a présenté une note d’évaluation automatisée pour cette femme de 24 ans, expliquant que le risque qu’elle soit toxicomane était très faible, mais lui donnant toutefois un risque légèrement plus élevé – 2 sur 5 – quant aux possibilités d’intimidation, de harcèlement, de manque de respect et de mauvaise conduite.

Le système n’expliquait pas comment il était arrivé à cette note, mais M^me Battaglia, qui avait crû que la nounou était digne de confiance, se sentit soudain assaillie de doutes.

« Les réseaux sociaux révèlent le caractère d’une personne », affirme M^me Battaglia, âgée de 29 ans, qui vit dans la banlieue de Los Angeles. « Alors pourquoi obtient-elle un 2 et pas un 1 ? »

Predictim offre aux parents le même modèle que des douzaines d’autres entreprises informatiques vendent aux patrons d’entreprises à travers le monde : des systèmes d’intelligence artificielle qui analysent la façon de parler d’une personne, ses expressions faciales et son historique en ligne, avec la promesse de révéler les aspects cachés de sa vie privée.

Cette technologie est en train de remodeler les méthodes de recrutement, d’embauche et d’évaluation des salariés par les entreprises, en proposant à ces dernières un regard sans pareil sur les candidats à l’embauche grâce à l’arrivée de nouveaux systèmes de surveillance et d’évaluation psychologique intrusive.

La société de services informatiques Fama indique qu’elle utilise l’intelligence artificielle pour surveiller les « comportements indésirables » des employés sur les réseaux sociaux et en alerter leur hiérarchie. De même, la société de recrutement informatique HireVue, qui travaille avec de grands groupes comme Geico, Hilton et Unilever, propose un système qui analyse automatiquement les intonations de voix des candidats, leurs choix de mots et les mouvements de leur visage lors d’entretiens vidéo afin de prédire quelles seront leurs compétences et leur attitude une fois en poste (les candidats sont encouragés à sourire pour obtenir la meilleure notation possible).

Cependant, les critiques pensent que Predictim et d’autres systèmes similaires présentent elles-mêmes un danger en automatisant des décisions, parfois lourdes de conséquences dans la vie d’une personne, et pratiquement sans contrôle.

Ces systèmes reposent sur des algorithmes de type « boîte noire », qui ne donnent que peu d’information sur la manière dont ils réduisent les complexités de l’intimité d’une personne à un résultat chiffré de vertu ou de malfaisance. De plus, même si la technologie de Predictim influence le raisonnement des parents, elle n’a pas encore fait ses preuves et demeure largement inexpliquée et exposée à des préjugés implicites concernant ce que la nounou idéale devrait partager sur les réseaux sociaux, ce à quoi elle devrait ressembler et la manière dont elle devrait s’exprimer.

On observe cette « course folle pour s’emparer du potentiel de l’intelligence artificielle et prendre toutes sortes de décisions sans se soucier de savoir si cela est juste envers l’humain », constate Jeff Chester, directeur général du Centre pour la démocratie numérique, un groupe de pression pour la protection du consommateur, qui analyse et informe le grand public, les médias et les décideurs, des activités du secteur du marketing numérique. « C’est comme si les gens avait bu un Kool-Aid numérique et s’imaginaient que c’est la manière indiquée de gouverner nos vies ».

Les balayages numériques de Predictim analysent l’intégralité de l’historique d’une baby-sitter sur les réseaux sociaux, ce qui, pour beaucoup de jeunes nounous, peut couvrir presque toute leur vie. On informe les candidates qu’elles seront extrêmement désavantagées sur ces emplois à forte concurrence si elles refusent cet examen.

Sal Parsa, le responsable et cofondateur de Predictim explique que la société, lancée le mois dernier dans le cadre de SkyDeck, pépinière d’entreprises technologiques de l’Université de Californie à Bekerley, prend très au sérieux les questions éthiques sur l’usage qu’elle fait de la technologie. Il indique que les parents devraient considérer cette notation comme une aide « pouvant refléter ou pas les attributs réels d’une baby-sitter ».

Mais il ajoute aussi que le risque d’embaucher une baby-sitter à problèmes ou violente, fait de l’intelligence artificielle un outil nécessaire pour tout parent qui entend assurer la sécurité de son enfant.

« Si vous cherchez ‘baby-sitter violente’ dans Google, vous obtiendrez immédiatement des centaines de résultats », continue-t-il. « Il y a des gens qui ont de sérieux problèmes mentaux ou qui sont tout simplement nés mauvais. Notre but est de faire tout ce que nous pouvons pour les empêcher de nuire. »

Un scan Predictim est facturé à partir de 24,99 $, et requiert le nom de la baby-sitter, son adresse e-mail et son accord pour l’accès à ses comptes sur les réseaux sociaux. Elle peut refuser, mais le parent sera informé de son refus et elle recevra par e-mail une note, lui indiquant que le parent intéressé ne sera pas en mesure de l’embaucher tant qu’elle n’aura pas complété cette demande.

Les responsables de Predictim expliquent qu’ils utilisent un algorithme de traitement du langage et un logiciel de reconnaissance d’image, appelé « vision par ordinateur », pour évaluer les publications Facebook, Twitter et Instagram de la baby-sitter afin de dénicher des indices sur sa vie hors ligne. Un rapport est envoyé au parent uniquement, qui n’a pas l’obligation de révéler le résultat à la candidate.

Les parents pourraient sans doute examiner les comptes des nounous eux-mêmes. Mais les rapports générés par ordinateurs portent la promesse d’une inspection en profondeur d’années entières d’activité en ligne, ramenées à un simple chiffre : autrement dit, ils apportent une solution d’une simplicité enivrante à un problème compliqué.

La notation des risques est divisée en plusieurs catégories incluant les contenus douteux et l’usage de drogue. La jeune entreprise a également vanté la capacité de son système à évaluer les baby-sitters sur d’autres aspects de leur personnalité, tels que la politesse, l’aptitude à travailler avec d’autres et leur « positivité ».

Les responsables de l’entreprise espèrent prendre la tête du secteur multimillionnaire de la « sous-traitance parentale » et ont commencé à faire de la publicité à travers le parrainage rémunéré de blogs d’éducation des enfants et de blogs de mamans. Le marketing est fortement axé sur la capacité de la société à mettre au jour les secrets cachés et éviter « le cauchemar de tout parent », citant des affaires criminelles comme celle de cette baby-sitter du Kentucky inculpée plus tôt dans l’année, pour avoir gravement blessé une enfant de huit mois.

Ainsi, les documents marketing de la société expliquent que « si les parents de la petite fille avaient pu utiliser Predictim dans leurs démarches de recrutement, ils n’auraient jamais laissé cette femme seule avec leur précieuse enfant ».

Mais les experts en technologie disent que le système soulève des problèmes qui lui sont propres, dont, entre autres, la crainte que la peur des parents ne soit exploitée pour vendre des tests de personnalité dont l’exactitude n’est pas vérifiée.

Ils émettent également des doutes sur la manière dont ces systèmes font leur apprentissage et sur leurs difficultés éventuelles à comprendre les significations assez vagues de l’activité d’une nounou sur les réseaux sociaux. Pour toute requête, à l’exception de celles à haut risque, les parents ne reçoivent qu’une suggestion des comportements qui laissent à désirer, sans extrait de publications, sans lien URL ou tout autres détails à évaluer par eux-mêmes.

Ainsi, lorsque les résultats d’une requête sur une baby-sitter ont signalé la possibilité d’une attitude brutale, une maman, décontenancée, a expliqué qu’elle n’était pas en mesure de savoir si le logiciel était tombé sur une citation de vieux film, des paroles de chanson ou une autre expression, ou bien sur des propos réellement intimidants.

L’écran du portable de Jessie Battaglia montrant les résultats de l’application Predictim (Photo : Kyle Grillot pour le Washington Post)

Jamie L. William, avocat des libertés civiles pour la Electronic Frontier Fondation, note que la plupart des algorithmes utilisés aujourd’hui pour accéder aux sens des mots et des images publiés en ligne, sont largement connus pour manquer du bon sens et de la mise en contexte qu’apporte une lecture humaine. Même des géants technologiques, comme Facebook, ont eu du mal à construire des algorithmes qui puissent faire la différence entre un commentaire inoffensif et une incitation à la haine.

« Quant à utiliser ces systèmes sur des gamins; soyons sérieux, ce sont des gamins ! », nous dit William. « Les gamins ont des blagues d’initiés. Ils font un usage notoire du sarcasme. Ce qui pourrait ressembler à une « mauvaise attitude » pour un algorithme, ne serait pour une personne qu’un point de vue politique ou une critique fondée. »

Lorsque la machine se trompe – suggérant, par exemple, que la nounou est toxicomane – il peut être impossible pour un parent de le savoir. Le caractère tranché des notations et des attestations de confiance du système peut conduire les parents à imaginer que ce dernier est bien plus précis et digne de foi que ne le serait un humain, et peut les orienter vers des nounous qu’ils auraient normalement évitées, ou bien les détourner de personnes en qui ils avaient confiance.

« A l’heure actuelle, on ne dispose d’aucun paramètre pour vraiment comprendre la capacité de ces outils à prédire ce qu’ils prétendent prédire », explique Miranda Bogen, analyste politique confirmée chez Upturn à Washington, un groupe de réflexion qui examine la manière dont sont utilisés les algorithmes dans la prise de décision et dans les affaires pénales. « Il est fort probable que l’attrait pour ces technologies dépasse leur capacité réelle. »

La baby-sitter de Madame Battaglia, Malissa Nielsen, 24 ans, a récemment donné son accord à deux familles différentes qui lui ont demandé de remettre à Predictim ses accès aux réseaux sociaux. Elle a expliqué qu’elle a toujours été prudente sur les réseaux et s’est dit que partager un peu plus ne pouvait pas faire de mal ; elle va à l’église une fois par semaine, ne jure pas et elle termine sa formation en éducation de la petite enfance, grâce à laquelle elle espère ouvrir une garderie.

Mais en apprenant que le système lui avait attribué une mauvaise note pour harcèlement et manque de respect, elle a été stupéfaite. Elle avait cru qu’il s’agissait de permettre aux parents d’examiner ses comptes sur les réseaux sociaux, et non pas de consentir à ce qu’un algorithme dissèque sa personnalité. Elle n’avait pas été informée non plus des résultats d’un test qui pourrait mettre à mal sa seule source de revenu.

« J’aurais voulu comprendre un peu plus. Comment la machine peut penser ça de moi ? » nous a dit Malissa Nielsen. « Un ordinateur n’a pas de sentiment. Il n’est pas capable d’identifier tout ça. »

Les Américains cultivent une méfiance persistante à l’égard des algorithmes dont les décisions pourraient affecter leur vie quotidienne. Dans une étude du Pew Research Center, 57 % des personnes interrogées pensent que l’examen automatisé des CV de candidats à l’embauche est « inacceptable ».

Néanmoins, les responsables de Predictim confirment qu’ils se préparent à déployer leurs services à l’échelle nationale. Chez Sittercity, une plateforme de recrutement de baby-sitters en ligne, visitée par des millions de parents, la direction va lancer, en début d’année prochaine, un programme pilote qui intégrera les notations de Predictim aux tests et vérifications d’antécédents actuellement en place.

« La recherche d’une nounou peut s’accompagner de beaucoup d’incertitudes », explique Sandra Dainora, chef de produit chez Sittercity, qui pense que ce type d’outils pourrait devenir une norme en matière de recherche en ligne de personnel aidant. « Les parents sont toujours à la recherche des meilleures solutions, plus on peut avoir d’informations, meilleures sont les conclusions. »

Les cadres de Predictim pensent qu’il peuvent considérablement augmenter les capacités du système afin de proposer des évaluations encore plus poussées de la vie privée des baby-sitters. Joel Simonoff, directeur technologique de la société, a confirmé que son équipe s’intéresse à la possibilité d’obtenir « d’utiles données psychométriques » à partir des réseaux sociaux des candidates, en faisant passer l’historique de leurs activités au travers de tests de personnalité, comme celui de Myers Briggs, et de vendre les résultats aux parents.

Le travail d’extraction de données de Predictim sur les réseaux sociaux et son intérêt pour l’analyse psychologique de masse n’est pas sans rappeler les ambitions de Cambridge Analytica, le cabinet en conseil politique qui a travaillé sur la campagne de Trump et entraîné Facebook dans un scandale mondial relatif à la protection de la vie privée. Mais les dirigeants de l’entreprise affirment qu’ils ont mis en place des gardes-fous internes et travaillent sur la protection des données personnelles des baby-sitters. « Si nous laissions fuiter les infos d’une baby-sitter, ce ne serait vraiment pas cool », a relevé Simonoff.

Jessie Battaglia et son fils Bennett, chez eux (crédit photo : Kyle Grillot pour le Washington Post)

Les experts craignent que les notations des systèmes d’intelligence artificielle, comme celles de Predictim, annoncent un futur dans lequel l’attribution de tout emploi, pas seulement de garde d’enfants, sera décidée par une machine. De nombreuses entreprises de recrutement à l’embauche construisent déjà ou investissent dans des systèmes qui peuvent analyser les CV de candidats à très grande échelle et obtenir une évaluation automatisée de la manière dont chacun d’eux pourraient travailler une fois en poste. Des systèmes d’intelligence artificielle de même type – comme Jigsaw, une jeune entreprise d’informatique créée par Google – sont utilisés pour patrouiller sur Internet et débusquer dans les commentaires, le harcèlement, les menaces et la violence en ligne.

Mais il a été démontré régulièrement que les algorithmes de recrutement ne font pas apparaître le genre de préjugés subtils qui pourraient faire dérailler la carrière d’une personne. Ainsi, des sources ont confié à l’agence Reuters qu’Amazon avait arrêté le développement d’un algorithme de recrutement lorsqu’elle s’était aperçue que celui-ci avait injustement pénalisé les femmes – l’historique du recrutement de la société, dans un secteur informatique dominé par les hommes, avait appris au système que les caractéristiques masculines étaient préférables. La société a affirmé que l’outil n’avait jamais servi à évaluer les candidats (le fondateur et dirigeant d’Amazon est propriétaire du Washington Post).

Certains experts pensent que de tels systèmes ont le pouvoir d’exacerber les préjugés liés à l’âge et aux origines raciales, y compris en signalant les mots ou les images issus de certains groupes plus que ceux issus d’autres groupes. Ils craignent également que Predictim puisse forcer de jeunes nounous à remettre des données personnelles uniquement en vue d’obtenir un boulot.

Cependant, Diana Werner, mère de deux enfants, qui vit juste au nord de San Francisco, pense que les baby-sitters devraient être disposées à partager leurs informations personnelles pour satisfaire la tranquillité des parents.

« La vérification d’antécédents, c’est bien, mais Predictim va plus en profondeur, elle dissèque réellement la personne – son statut social et son état psychologique », a-t-elle expliqué.

Là où elle habite, « 100 % des parents voudront utiliser ce service », a-t-elle ajouté. « Nous voulons tous la parfaite baby-sitter. »

Drew Harwell est reporter national sur la technologie pour le compte du Washington Post, spécialisé en intelligence artificielle. Il a couvert par le passé les questions de commerce national et les entreprises de Trump.

Source : The Washington Post, Drew Harwell, 23-11-2018

Traduit par les lecteurs du site www.les-crises.fr. Traduction librement reproductible en intégralité, en citant la source.

Nous vous proposons cet article afin d'élargir votre champ de réflexion. Cela ne signifie pas forcément que nous approuvions la vision développée ici. Dans tous les cas, notre responsabilité s'arrête aux propos que nous reportons ici. [Lire plus]Nous ne sommes nullement engagés par les propos que l'auteur aurait pu tenir par ailleurs - et encore moins par ceux qu'il pourrait tenir dans le futur. Merci cependant de nous signaler par le formulaire de contact toute information concernant l'auteur qui pourrait nuire à sa réputation.