Minerva Tantoco est arrivée plus tôt cette année à l’Institut McSilver pour la politique et la recherche sur la pauvreté de l’Université de New York en tant que première responsable de l’intelligence artificielle. Auparavant, elle a été la première directrice de la technologie de la ville de New York, sous l’administration du maire Bill de Blasio de 2014 à 2016. En tant que directrice technique de la ville, elle a contribué au lancement d’initiatives telles que LinkNYC, qui a fourni aux New Yorkais une connexion Wi-Fi publique gratuite et généralisée à travers les cinq arrondissements.
En dehors de la fonction publique, elle a travaillé avec des entreprises telles que Merrill UBS et Palm. Elle siège également au conseil d’administration du New York Hall of Science et au Technology Council et au conseil technologique de l’Alliance of Innovative Regulation, entre autres conseils et comités.
Tantoco s’est entretenu avec NYN Media pour discuter de la manière dont les organisations à but non lucratif peuvent utiliser la technologie et les innovations telles que l’IA pour produire des résultats optimaux et éthiques pour tous.
Cette interview a été modifiée pour plus de longueur et de clarté.
Pourquoi pensez-vous qu’il est nécessaire de mettre l’accent sur l’éthique dans l’industrie technologique ?
On croit que la technologie est neutre ou que les lois et l’éthique existantes ne s’appliquent pas à la technologie (par exemple, les réglementations sur les services automobiles [not] appliquer[ing] à Uber, les sites de médias sociaux [not] pense[ing] ils sont responsables du contenu que leurs utilisateurs publient, mais nous constatons maintenant l’impact de la désinformation et des discours de haine sur les réseaux sociaux). De mon point de vue, les logiciels n’en sont pas exempts, les plates-formes technologiques n’en sont pas exemptes, et ce que nous constatons maintenant, c’est que l’automatisation et les algorithmes entraînent des conséquences imprévues, notamment des résultats biaisés. L’utilisation abusive de la technologie peut causer des dommages et des préjugés peuvent être intégrés à la conception. Le biais, de mon point de vue, est un bogue, c’est le logiciel qui ne fait pas ce qu’il est censé faire. Donc, quand je pense à l’éthique dans l’industrie technologique, il s’agit vraiment de la façon dont nous examinons l’impact de ce que fait la technologie sur les personnes qui l’utilisent, sur les personnes qu’elle impacte.
Dans votre expérience, avez-vous observé des différences dans les usages de l’IA entre les entreprises privées et le secteur public ?
Oui, il y a des différences. En général, [in] le secteur privé, l’IA est motivée par des besoins commerciaux, gagner de l’argent ou économiser de l’argent. Dans le secteur financier, par exemple, l’IA est utilisée pour améliorer la conformité réglementaire ou détecter les délits financiers. Le secteur public a une réelle opportunité d’appliquer des techniques d’IA pour répondre aux besoins du public. En d’autres termes, le secteur public n’est pas motivé par des besoins commerciaux, mais par le bien public. Des choses comme les résultats en matière de sécurité et de santé et la mesure de l’efficacité des politiques et des réglementations, la prise de meilleures décisions quant à l’emplacement des services, l’amélioration de l’efficacité de leurs propres opérations internes et la prestation de services publics plus efficaces. La différence est le bien commercial par rapport au bien public. Évidemment, ce n’est pas une ligne dure entre les deux, mais il y a une énorme opportunité pour le secteur public, les gouvernements, les organisations à but non lucratif et les institutions universitaires d’utiliser l’IA pour de bon.
Comment votre expérience précédente en tant que premier directeur de la technologie de New York vous a-t-elle préparé à votre prochain rôle de directeur de l’IA chez McSilver de NYU, en particulier en ce qui concerne l’équité dans la pauvreté et les liens entre la race et la santé publique ?
J’ai passé des décennies dans la technologie et la finance avant de devenir le premier CTO de New York. Ce que j’ai réalisé quand je suis devenu membre du gouvernement [was] qu’à mesure que de plus en plus de services gouvernementaux devenaient numérisés, il devenait clair que la fracture numérique aurait un impact très négatif sur les communautés mal desservies et sous-représentées. Communautés de couleur [and] les personnes touchées par la pauvreté n’auraient pas accès au monde en constante numérisation. Lorsque j’étais directeur technique de New York, nous avons lancé le premier grand service Wi-Fi public gratuit via LinkNYC. Ensuite, nous avons lancé CS for All, proposant des cours d’informatique dans toutes les écoles publiques. Je dirais qu’en 2014, nous savions qu’il y avait une fracture technologique [in New York]. Mais cela a été totalement mis à nu pendant la pandémie, où fréquenter une «école publique gratuite» nécessitait en fait [an at-home] ordinateur et accès internet. L’accès aux services (tels que les services de santé) pendant la pandémie nécessitait une technologie. [This] m’a vraiment préparé à la façon dont l’équité dans la technologie est directement liée à la pauvreté et a un impact énorme sur la santé publique.
Quel impact votre éducation et vos antécédents ont-ils eu sur votre carrière jusqu’à présent et comment comptez-vous les intégrer dans votre nouveau rôle ?
Maintenant, vous avez touché quelque chose qui me passionne tellement ! Je suis né aux Philippines et j’ai émigré à New York avec ma famille quand j’avais quatre ans. J’ai appris l’anglais à Sesame Street et je suis allé dans toutes les écoles publiques de New York. J’ai beaucoup profité de ma carrière dans la technologie et des opportunités que j’ai eues en grandissant. Et j’ai aussi été inspiré par ma famille et où les femmes et les hommes sont des médecins et des ingénieurs et des avocats et des entrepreneurs. En fait, ma mère a appris la programmation dans la quarantaine. [I come from a] une solide expérience familiale dans la médecine, la technologie et la fonction publique, donc pour moi, il y a ce potentiel pour la technologie et l’automatisation de l’intelligence artificielle pour vraiment s’attaquer à certains de nos problèmes les plus complexes. Il est prouvé que des équipes diversifiées et inclusives, avec des perspectives diverses, produisent de meilleurs logiciels et de meilleurs résultats. Nous avons besoin de plus de diversité dans la technologie et j’ai le privilège d’apporter cette perspective dans mon nouveau rôle. C’est un honneur de travailler pour un avenir meilleur pour tous au sein de NYU McSilver.
En tant que femme de couleur et femme de nombreuses premières dans votre domaine, comment voyez-vous votre rôle de leader dans votre industrie, en particulier aux yeux des jeunes technologues de couleur montantes ?
Quand on regarde les émissions et comment les technologues sont représentés à la télévision et dans les nouvelles, on peut avoir l’impression que ce n’est pas une carrière pour une jeune femme de couleur. Mais les jeunes femmes de couleur doivent savoir que la technologie, [especially] la science des données et la cybersécurité, sont des carrières tout simplement incroyables et enrichissantes. Ne laissez pas les stéréotypes vous empêcher d’explorer vos intérêts et de créer votre propre chemin. Ne vous limitez pas simplement parce que quelqu’un ne l’a pas fait auparavant. Cela signifie simplement que vous serez le premier.
Qu’espérez-vous que les lecteurs retireront de votre prochain livre “Ethical AI: A Practitioner’s Guide?”
La rédaction de ce guide a été inspirée par un discours que j’ai prononcé sur la technologie pour de bon au MIT en 2019. J’ai ensuite parlé du concept d’équité et d’algorithmes et l’un des participants au Hackathon m’a demandé : « Qu’est-ce que l’équité ? Et j’ai réalisé qu’il y avait un espace ou une lacune où les concepteurs et les fabricants de technologie pouvaient bénéficier d’une sorte de cadre éthique pour leur travail. J’ai également réalisé que ceux qui utilisent l’IA, qu’ils soient du secteur privé ou du secteur public ou des législateurs travaillant sur les politiques et la réglementation, n’ont peut-être pas la même compréhension du fonctionnement des algorithmes et, surtout, de la façon de les tester pour leur équité. Si vous pensez que le biais est un bogue, comment testez-vous ce bogue ? Ce livre servirait de guide aux deux groupes de praticiens sur ce qu’ils devraient penser et [assist when] évaluer l’impact éthique de la création et de l’utilisation de l’IA.
Pour les organisations à but non lucratif qui ne connaissent pas ou ont une expérience limitée de l’IA et qui ne comprennent pas ses effets positifs/négatifs, que conseilleriez-vous aux organisations de faire pour se familiariser avec l’IA et adopter une approche éthique à son égard ?
Les organisations à but non lucratif peuvent grandement bénéficier de la science des données et de l’IA si elles l’utilisent de manière appropriée, en évaluant[ing] l’inclusivité et l’équité des ensembles de données qui ont été utilisés pour former l’IA, puisque de nombreux ensembles de données [are] pas réunis dans cet esprit. Ces ensembles de données biaisés produiraient des résultats biaisés. La reconnaissance faciale en est un parfait exemple. [Facial recognition technology is an] IA qui [is] basée sur la reconnaissance des visages, mais [if the] les visages d’essai étaient tous des hommes blancs, cela produit[s] résultats incorrects pour les femmes et les personnes de couleur. C’est ce que je veux dire par les données qui ont un impact réel sur l’efficacité du logiciel. Si nous commençons à utiliser cela dans le monde réel, devinez quoi ? Cela va mal identifier les femmes et les personnes de couleur et cela pourrait avoir [a] impact désastreux. Une autre chose dont les organisations à but non lucratif peuvent bénéficier est le partage d’informations et de données entre elles. Travailler avec des conseils techniques et des institutions universitaires pour se familiariser avec l’IA [and] se renseigner sur ce que c’est. Dans le secteur privé, certaines entreprises créent en fait de nouveaux rôles spécifiquement autour de l’éthique et de l’IA. L’élément clé que les organismes à but non lucratif, en particulier, [can do] est de s’assurer que les voix de la communauté sont entendues et que nous nous réunissons, afin que nous puissions non seulement nous informer, mais aussi nous informer les uns les autres et les fabricants de ces technologies sur les préoccupations des communautés pour lesquelles elles vont être utilisées.
Alors que vous parliez de sensibilisation communautaire avec l’équité et la pauvreté à l’esprit, avez-vous l’impression qu’il y a un fossé entre la communauté IA/tech et le grand public ?
Je pense que de nombreuses communautés desservies par les organisations à but non lucratif ne sont même pas conscientes de l’impact des algorithmes sur elles. [I’ll] Donnez-vous un exemple : si vous postulez pour un emploi ou demandez un prêt ou une carte de crédit, des algorithmes ont été utilisés pour décider cela, n’est-ce pas ? Et donc il a déjà été constaté qu’il y avait plusieurs cas où certains des algorithmes d’IA utilisés pour les demandeurs d’emploi se sont avérés biaisés en raison des modèles utilisés. Ces algorithmes ont en fait supprimé les noms qui ne correspondaient pas au modèle. La ville de New York a mis en place une législation qui exige un audit de ces algorithmes de recherche d’emploi et ce n’est qu’un exemple. Donc, je pense que les organisations à but non lucratif peuvent jouer un rôle important non seulement dans la sensibilisation des communautés qu’elles desservent, mais aussi dans la représentation de leurs communautés auprès des personnes qui fabriquent et utilisent la technologie. La contribution de la communauté est absolument un endroit idéal pour les organisations à but non lucratif pour fournir cette sensibilisation bidirectionnelle.
Dans l’esprit de l’apprentissage tout au long de la vie, y a-t-il quelque chose que vous aimeriez en savoir plus sur votre industrie ? Un nouveau créneau que vous aimeriez explorer ou rechercher ?
Je suis allé à l’université en tant que pré-médical, puis j’ai commencé à toucher à l’ordinateur et j’ai réalisé que c’était ce que je voulais faire de ma carrière, mais jusque-là, j’avais fait des projets scientifiques et des projets de génétique et des stages dans des hôpitaux et des trucs comme ce [until] ma carrière m’a amené à la technologie et à la finance. Maintenant, je ramène cela d’une certaine manière parce qu’une grande partie de ce que j’ai appris en technologie et en finance peut être appliquée aux problèmes de pauvreté, de santé et d’inégalité raciale. Ce sont ces intersections qui me fascinent vraiment et j’aimerais donc approfondir la manière dont de nouvelles approches de la santé publique et des études sur la santé mentale et la pauvreté peuvent être réinventées avec ces nouveaux outils technologiques que nous pourrions y apporter, et j’espère convoquer différents groupes pour explorer ces intersections.
