L'accident d'une femme identifié par erreur comme un voleur du système de reconnaissance faciale d'un supermarché en Nouvelle-Zélande, je ne suis pas surpris. Quand la chaîne Produits alimentaires Île du Nord a annoncé son intention de tester cette technologie pour lutter contre la criminalité dans les magasins, les experts en technologie et en confidentialité ont exprimé de nombreuses craintes. En particulier, le risque de discrimination à l’égard des femmes maories et des femmes de couleur a été souligné. Des craintes très justes, et une réflexion nécessaire.
Le contexte d’usage des supermarchés : au-delà des algorithmes
La reconnaissance faciale automatisée est souvent abordée en termes abstraits, comme une pure correspondance de modèles algorithmiques, avec l'accent mis sur l'exactitude et la précision : je me souviens encore de l'accent mis sur des magasins « à emporter » sans plus de caisses. Ce sont à juste titre des priorités importantes pour les systèmes qui gèrent les données biométriques et de sécurité. Mais avec une attention aussi cruciale portée aux résultats des décisions automatisées, il est facile de négliger les préoccupations concernant la manière dont ces décisions sont appliquées.
Les concepteurs utilisent le terme « contexte d'utilisation » pour décrire les conditions de travail quotidiennes, les activités et les objectifs d'un produit. Avec la technologie de reconnaissance faciale dans les supermarchés, le contexte d’utilisation va bien au-delà des préoccupations traditionnelles de conception telles que l’ergonomie ou la convivialité. Cela nécessite de réfléchir à la manière dont les notifications automatisées de violation déclenchent des réponses dans le magasin, aux protocoles de gestion de ces réponses et à ce qui se passe lorsque les choses tournent mal. Il ne s’agit pas seulement de problèmes technologiques ou de données. Ce sont des problèmes humains et sociaux.
Précision de l’équilibre et impact des erreurs
Investir dans l’amélioration de la précision des prédictions semble être une priorité évidente pour les systèmes de reconnaissance faciale. Mais cela doit être vu dans un contexte d'utilisation plus large, où les dommages causés par un petit nombre de prédictions incorrectes dépassent les améliorations marginales des performances ailleurs.
L'erreur du supermarché néo-zélandais n'est qu'une petite perle dans une série qui peut étouffer cette technologie. Et la réponse de l'entreprise de supermarchés selon laquelle il s'agissait d'un « véritable cas d'erreur humaine » ne répond pas aux problèmes plus profonds liés à une telle utilisation de l'IA et des systèmes automatisés. La recherche suggère que les décideurs humains peuvent hériter des préjugés des décisions de l’IA. Dans les situations de stress élevé et de risque de violence, combinez la reconnaissance faciale automatisée avec un jugement humain impromptu c'est potentiellement dangereux.
Plutôt que d’isoler et de blâmer les travailleurs individuels ou les composants technologiques comme des points de défaillance uniques, il faut mettre davantage l’accent sur la tolérance aux pannes dans l’ensemble du système. Les erreurs de l’IA et les erreurs humaines ne peuvent être entièrement évitées. Les protocoles de sécurité de l’IA avec « les humains au courant » nécessitent des garanties plus rigoureuses qui respectent les droits des clients et protègent contre les stéréotypes.
Supermarché, vers une culture de surveillance ?
Le cas australien est emblématique. En Nouvelle-Zélande, ils ont répondu à la criminalité dans le commerce de détail par une surveillance technologique manifeste : caméras corporelles fournies au personnel (désormais également adoptées par la chaîne Woolworths), suivi numérique des mouvements des clients dans les magasins, verrouillages automatiques des chariots et portes de sortie pour empêcher les gens de sortir sans payer. .
Les supermarchés pourraient bien être l’avant-garde d’un changement technologique dans l’expérience d’achat. Un changement terrible, qui va vers une culture de surveillance dans laquelle chaque client est surveillé comme un voleur potentiel. Cela me rappelle l’évolution de la sécurité aéroportuaire mondiale depuis le 11 septembre.
Un défi de conception centré sur l’humain
Le commissaire néo-zélandais à la protection de la vie privée commentera bientôt l'essai de reconnaissance faciale de Foodstuffs. Et cette déclaration, croyez-moi, je paraphrase Lorenz, est le battement classique d'ailes d'un papillon dans une partie du monde qui peut provoquer une tornade à l'autre bout du monde.
Le vol et la violence constituent un problème urgent auquel les supermarchés, comme les autres entreprises, doivent s’attaquer. Mais ils doivent désormais démontrer que les systèmes de surveillance numérique constituent une solution plus responsable, éthique et efficace que d’éventuelles approches alternatives. Et cela signifie reconnaître que la technologie nécessite une conception centrée sur l’humain. Pour éviter les abus, pour éviter les préjugés. Dieux saints, pour éviter les dégâts.
Si ces circonstances ne sont pas mises à profit dès maintenant pour orienter les cadres et normes réglementaires, pour éclairer le débat public sur l’utilisation acceptable de l’IA et pour soutenir le développement de systèmes automatisés plus sûrs, quand ? Le cas néo-zélandais est un signal d’alarme pour tous ceux qui conçoivent et mettent en œuvre des systèmes d’IA dans des contextes délicats comme celui du commerce de détail. Ce n’est qu’en plaçant le facteur humain au centre, avec toutes ses complexités et nuances, que nous pourrons développer des technologies qui améliorent véritablement notre société, sans créer de nouvelles formes de discrimination et de surveillance.
