Rumman Chowdhury a souvent du mal à dormir, mais, pour elle, ce n'est pas un problème qu'il faut résoudre. Elle a ce qu'elle appelle le « cerveau de 2 heures du matin », un type de cerveau différent de son cerveau de tous les jours, et celui sur lequel elle s'appuie pour des problèmes particulièrement urgents ou difficiles. Les idées, même à petite échelle, demandent du soin et de l'attention, dit-elle, ainsi qu'une sorte d'intuition alchimique. "C'est comme faire de la pâtisserie", dit-elle. « Vous ne pouvez pas le forcer, vous ne pouvez pas augmenter la température, vous ne pouvez pas le faire aller plus vite. Cela prendra le temps qu'il faudra. Et quand il sera cuit, il se présentera.
C'est le cerveau de 2 heures du matin de Chowdhury qui a inventé pour la première fois l'expression «externalisation morale» pour un concept qui, en tant que l'un des principaux penseurs de l'intelligence artificielle, est devenu un point clé dans la façon dont elle considère la responsabilité et la gouvernance en ce qui concerne le potentiel.impact révolutionnairede l'IA.
L'externalisation morale, dit-elle, applique la logique de la sensibilité et du choix à l'IA, permettant aux technologues de réattribuer efficacement la responsabilité des produits qu'ils construisent sur les produits eux-mêmes - le progrès technique devient une croissance prédestinée et les préjugés deviennent insolubles.
"Vous ne diriez jamais" mon grille-pain raciste "ou" mon ordinateur portable sexiste "", a-t-elle déclaré dans un Ted Talk de 2018. "Et pourtant, nous utilisons ces modificateurs dans notre langage sur l'intelligence artificielle. Et ce faisant, nous n'assumons aucune responsabilité pour les produits que nous fabriquons. Nous exclure de l'équation produit une ambivalence systématique comparable à ce que la philosophe Hannah Arendt a appelé la « banalité du mal » - l'ignorance volontaire et coopérative qui a permis l'Holocauste. "Il ne s'agissait pas seulement d'élire quelqu'un au pouvoir qui avait l'intention de tuer tant de gens", dit-elle. "Mais c'est que des nations entières de personnes ont également pris des emplois et des positions et ont fait ces choses horribles."
Chowdhury n'a pas vraiment un titre, elle en a des dizaines, dont Responsible AI Fellow à Harvard, consultante en politique mondiale d'IA et ancienne responsable de l'équipe Meta de Twitter (Machine Learning Ethics, Transparency and Accountability). L'IA lui donne 2 heures du matin depuis un certain temps. En 2018, Forbes l'a nommée l'une des cinq personnes"Construire notre avenir en IA".
Scientifique des données de métier, elle a toujours travaillé dans un domaine légèrement indéfinissable et désordonné, traversant les domaines des sciences sociales, du droit, de la philosophie et de la technologie, alors qu'elle consulte les entreprises et les législateurs pour façonner les politiques et les meilleures pratiques. En ce qui concerne l'IA, son approche de la réglementation est unique dans son indéfectible médiocrité - à la fois favorable au progrès et ferme dans l'affirmation que des « mécanismes de responsabilité » devraient exister.
Effervescent, patient et doux, Chowdhury écoute avec une attention désarmante. Elle a toujours trouvé les gens beaucoup plus intéressants que ce qu'ils construisent ou font. Avant que le scepticisme autour de la technologie ne devienne réflexif, Chowdhury avait également des craintes - non pas de la technologie elle-même, mais des sociétés qui l'ont développée et vendue.
En tant que responsable mondiale de la société d'IA responsable Accenture, elle a dirigé l'équipe qui a conçu un outil d'évaluation de l'équité qui a anticipé et corrigé les biais algorithmiques. Elle a ensuite lancé Parity, une plateforme de conseil en IA éthique qui cherche à relier « différentes communautés d'expertise ». Chez Twitter – avant qu'il ne devienne l'une des premières équipes dissoutes sous Elon Musk – elle a organisé la toute première prime de biais algorithmique de l'entreprise, invitant des programmeurs extérieurs et des scientifiques des données à évaluer le code du site pour les biais potentiels. L'exercice a révélé un certain nombre de problèmes, notamment le fait que le logiciel de recadrage de photos du site semblait préférer massivement les visages jeunes, féminins et blancs.
Il s'agit d'une stratégie connue sous le nom d'équipe rouge, dans laquelle les programmeurs et les pirates extérieurs à une organisation sont encouragés à essayer de réduire certaines garanties pour pousser une technologie à "faire de mauvaises choses pour identifier de quelles mauvaises choses elle est capable", explique Chowdhury. Ces types de freins et contrepoids externes sont rarement mis en œuvre dans le monde de la technologie en raison de la peur des technologues que « les gens touchent leur bébé ».
Elle travaille actuellement sur un autre événement d'équipe rouge pour Def Con - une convention organisée par l'organisation de hackers AI Village. Cette fois, des centaines de hackers se rassemblent pour tester ChatGPT, avec la collaboration de son fondateur OpenAI, ainsi que Microsoft, Google et l'administration Biden. Le "hackathon" devrait durer plus de 20 heures, leur fournissant un ensemble de données "totalement sans précédent", déclare Chowdhury, qui organise l'événement avec Sven Cattell, fondateur d'AI Village et Austin Carson, président de l'IA responsable. SeedAI à but non lucratif.
De l'avis de Chowdhury, ce n'est que par ce type de collectivisme qu'une réglementation appropriée - et l'application de la réglementation - peut se produire. En plus de l'audit par des tiers, elle siège également à plusieurs conseils d'administration en Europe et aux États-Unis, contribuant à façonner la politique en matière d'IA. Elle se méfie, me dit-elle, de l'instinct de surréglementation, qui pourrait conduire les modèles à surcorriger et à ne pas résoudre les problèmes enracinés. Interrogés sur le mariage homosexuel, par exemple, ChatGPT et d'autres outils d'IA générative "se taisent totalement", essayant de compenser le nombre de personnes qui ont poussé les modèles à dire des choses négatives. Mais ce n'est pas facile, ajoute-t-elle, de définir ce qui est toxique et ce qui est détestable. "C'est un voyage qui ne finira jamais", me dit-elle en souriant. "Mais je suis d'accord avec ça."
Très tôt, lorsqu'elle a commencé à travailler dans la technologie, elle s'est rendu compte que "les technologues ne comprennent pas toujours les gens, et les gens ne comprennent pas toujours la technologie", et a cherché à combler ce fossé. Dans son interprétation la plus large, me dit-elle, son travail porte sur la compréhension de l'humain à travers les données. "Au cœur de la technologie se trouve cette idée que, par exemple, l'humanité est imparfaite et que la technologie peut nous sauver", dit-elle, notant un langage comme "body hacks" qui implique une sorte d'optimisation unique à cet âge particulier de la technologie. Il y a un aspect dans ce genre de souhaits que nous soyons "divorcés de l'humanité".
Chowdhury a toujours été attiré par les humains, leur désordre, leur nébulosité et leur imprévisibilité. En tant qu'étudiante de premier cycle au MIT, elle a étudié les sciences politiques et, plus tard, après quelques mois décevants dans des organisations à but non lucratif au cours desquelles elle "savait que nous pouvions utiliser les modèles et les données plus efficacement, mais personne ne l'était", elle est allée à Columbia pour une maîtrise. diplôme en méthodes quantitatives.
après la promotion de la newsletter
Au cours du dernier mois, elle a passé une semaine en Espagne pour participer au lancement de la loi sur les services numériques, une autre à San Francisco pour une conférence sur la cybersécurité, une autre à Boston pour sa bourse et quelques jours à New York pour un autre tour. de la presse Def Con. Après un bref séjour à Houston, où elle est basée, elle a des entretiens à venir à Vienne et à Pittsburgh sur la désinformation nucléaire de l'IA et Duolingo, respectivement.
À la base, ce qu'elle prescrit est un dicton relativement simple : écouter, communiquer, collaborer. Et pourtant, même si Sam Altman, le fondateur et PDG d'OpenAI,témoigne devant le Congrèsqu'il s'est engagé à prévenir les dommages causés par l'IA, elle voit toujours des tactiques familières en jeu. Lorsqu'une industrie fait l'objet d'une surveillance accrue, interdire une réglementation prohibitive signifie souvent prendre le contrôle d'un récit, c'est-à-dire appeler à la réglementation, tout en dépensant simultanément des millions en lobbying pour empêcher l'adoption de lois réglementaires.
Le problème, dit-elle, est un manque de responsabilité. L'analyse interne des risques est souvent faussée au sein d'une entreprise car la gestion des risques ne fait pas souvent appel à la morale. "Il y a simplement un risque, puis votre volonté de prendre ce risque", me dit-elle. Lorsque le risque d'échec ou d'atteinte à la réputation devient trop grand, il se déplace vers une arène où les règles sont pliées dans une direction particulière. En d'autres termes : « Jouons à un jeu où je peux gagner parce que j'ai tout l'argent.
Mais les gens, contrairement aux machines, ont des priorités et des motivations indéfinies. "Il y a très peu d'acteurs fondamentalement bons ou mauvais dans le monde", dit-elle. "Les gens fonctionnent simplement sur des structures d'incitation." Ce qui signifie à son tour que la seule façon de conduire le changement est d'utiliser ces structures, en les éloignant de toute source d'énergie. Certains problèmes ne peuvent être résolus qu'à grande échelle, avec la coopération et le compromis de nombreux vecteurs de pouvoir différents, et l'IA en fait partie.
Cependant, elle atteste volontiers qu'il y a des limites. Points où le compromis n'est pas une option. La montée du capitalisme de surveillance, dit-elle, la préoccupe énormément. C'est une utilisation de la technologie qui, à la base, est sans équivoque raciste et ne devrait donc pas être envisagée. "Nous ne pouvons pas mettre de rouge à lèvres sur un cochon", a-t-elle déclaré lors d'une récente conférence sur l'avenir de l'IA à la School of Social Sciences de l'Université de New York. "Je ne pense pas qu'une surveillance éthique puisse exister."
Chowdhury a récemment écrit unéditorial pour Wireddans lequel elle a détaillé sa vision d'un conseil de gouvernance mondial. Qu'il s'agisse de capitalisme de surveillance, d'interruption de travail ou de désinformation nucléaire, on ne peut faire confiance qu'à un conseil externe de personnes pour gouverner la technologie - un composé de personnes comme elle, non lié à une seule institution, et un qui est globalement représentatif. Sur Twitter, quelques utilisateurs ont qualifié son cadre d'idéaliste, le qualifiant de "pensée ciel bleu" ou "non viable". C'est drôle, me dit-elle, étant donné que ces gens "essayent littéralement de construire des machines sensibles".
Elle connaît la dissonance. "C'est logique", dit-elle. Nous sommes attirés par les récits de héros, l'hypothèse qu'une personne est et devrait être en charge à un moment donné. Même lorsqu'elle organise l'événement Def Con, me dit-elle, les gens ont du mal à comprendre qu'il y a une équipe de personnes travaillant ensemble à chaque étape du processus. «Nous attirons toute l'attention des médias», dit-elle, «et tout le monde se dit:« Qui est responsable? Tout le monde?'"