Google a refusé de réintégrer un homme après avoir mal identifié les photos médicales qu’il a prises de la grand-mère de son fils comme du matériel d’abus sexuel d’enfants (CSAM), New York Times d’abord mentionné. Les experts disent que c’est un dilemme inévitable d’essayer de mettre en œuvre une solution technologique à un problème de société.
Les experts ont depuis longtemps mis en garde contre les limites des systèmes de détection d’images d’abus sexuels sur des enfants, d’autant plus que les entreprises font face à des pressions réglementaires et publiques pour aider à lutter contre la présence de matériel d’abus sexuels.
Ces entreprises ont accès à une énorme quantité de données invasives sur la vie des gens. « Et ils n’ont toujours pas vraiment le contexte de la vie des gens », a déclaré Daniel Kahn Gilmore, technicien en chef du personnel à l’ACLU. « Il y a toutes sortes de choses où la vérité sur votre vie n’est pas aussi évidente pour ces géants de l’information. » Il a ajouté que l’utilisation de ces systèmes par des entreprises technologiques qui « agissent en tant qu’agents » des forces de l’ordre expose les gens au risque d’être « submergés » par le « pouvoir de l’État ».
L’homme, identifié uniquement par le New York Times comme Mark, a pris des photos de l’aine de son fils à envoyer au médecin après avoir réalisé qu’il était enflammé. Le médecin a utilisé cette photo pour diagnostiquer le fils de Mark et lui prescrire des antibiotiques. Lorsque les images ont été automatiquement téléchargées sur le cloud, le système Google les a identifiées comme CSAM. Deux jours plus tard, Mark’s Gmail et d’autres Le Google Des comptes, y compris Google Fi, qui fournit son service téléphonique, ont été désactivés en raison d’un « contenu préjudiciable » qui était « une violation flagrante des politiques de l’entreprise et potentiellement illégal », a rapporté le Times, citant un message sur son téléphone. Il a découvert plus tard que Google avait signalé une autre vidéo qu’il avait sur son téléphone et que la police de San Francisco avait ouvert une enquête.
Mark a été innocenté de tout acte criminel, mais Google a déclaré qu’il respecterait sa décision.
« Nous suivons la loi américaine pour identifier les composants CSAM et utilisons une combinaison de technologie de correspondance de hachage et d’intelligence artificielle pour les identifier et les supprimer de nos plateformes », a déclaré Krista Muldoon, porte-parole de Google.
Muldoon a ajouté que les Googleurs qui examinent le CSAM ont été formés par des experts médicaux pour rechercher des éruptions cutanées ou d’autres problèmes. Elle a dit qu’ils n’étaient cependant pas des experts médicaux et qu’aucun expert médical n’avait été consulté lors de l’examen de chaque cas.
Ce n’est qu’une des façons dont ces systèmes peuvent causer des dommages, selon Gilmore. Pour répondre, par exemple, aux éventuelles limitations que les algorithmes peuvent imposer pour faire la distinction entre les images d’agression sexuelle préjudiciables et les images médicales, les entreprises ont souvent un humain dans la boucle. Mais ces mêmes humains sont intrinsèquement limités dans leur expérience, et obtenir le bon contexte pour chaque cas nécessite un meilleur accès aux données des utilisateurs. C’était un processus plus invasif et pourrait encore être une méthode inefficace pour détecter le CSAM, a déclaré Gilmore.
« Ces systèmes peuvent causer de vrais problèmes aux gens », a-t-il déclaré. « Et ce n’est pas seulement que je ne pense pas que ces systèmes puissent détecter tous les cas de maltraitance d’enfants, ils ont des conséquences vraiment désastreuses en termes de faux positifs pour les gens. La vie des gens peut vraiment être bouleversée par les machines et les humains dans la boucle prendre une décision. Mauvais simplement parce qu’ils n’ont aucune raison d’essayer de le réparer.
Gilmore a fait valoir que la technologie n’était pas la réponse à ce problème. En fait, a-t-il dit, cela pourrait entraîner de nombreux nouveaux problèmes, notamment la création d’un système de surveillance puissant qui pourrait nuire de manière disproportionnée à ceux qui se trouvent en marge.
« Il y a un rêve d’une sorte de solution technique, [where people say] »Oh, eh bien, vous savez, il y a une application pour moi pour trouver un déjeuner pas cher, pourquoi n’y a-t-il pas une application pour trouver une solution à un problème social épineux, comme la pédophilie? » « Eh bien, vous savez, cela pourrait ne pas être résolu avec le même type de technologie ou de compétences. »
