Logically AI : tester et surveiller les modèles d'IA utilisés pour contrer la désinformation en ligne

Étude de cas de Logically AI.

Cette étude de cas se concentre sur l'utilisation de l'IA pour détecter la désinformation en ligne à grande échelle.

Dans cette étude de cas, nous décrivons nos approches et nos principes pour créer des systèmes d'IA fiables pour détecter la désinformation en ligne. Utilise logiquement un framework Human in the Loop AI appelé HAMLET (Humans and Machines in the Loop Evaluation and Training) pour permettre le développement de technologies d'IA fiables et responsables.

Ce cadre permet aux machines et aux experts de travailler ensemble pour concevoir des systèmes d'IA avec une plus grande fiabilité, y compris la robustesse, la généralisabilité, l'explicabilité, la transparence, l'équité, la préservation de la vie privée et la responsabilité. Notre approche de l'IA digne de confiance prend en compte l'ensemble du cycle de vie des systèmes d'IA, allant de la conservation des données au développement de modèles, au développement et au déploiement de systèmes, et enfin à la surveillance et à la gouvernance continues. HAMLET aborde divers défis au niveau des données et au niveau du modèle afin de développer des solutions d'IA efficaces pour les problèmes de l'environnement de l'information en ligne. Le cadre permet la collecte d'annotations de données d'experts, de commentaires d'experts, de surveillance des performances du système d'IA et de gestion du cycle de vie.

La gestion de la qualité des données est inhérente pour pouvoir traiter efficacement les données aberrantes, les anomalies et les incohérences. La gestion des biais au niveau des données est essentielle pour éliminer les modèles et les modèles bruyants qui fournissent des informations trompeuses.

La surveillance des performances des modèles d'IA et la gestion du cycle de vie sont également essentielles pour faire face à la nature dynamique de l'environnement d'information en ligne. Les modèles d'IA sont des entités logicielles uniques par rapport au code traditionnel et leurs performances peuvent fluctuer dans le temps en raison des modifications des données entrées dans le modèle après le déploiement. Une fois qu'un modèle a été déployé, il doit être surveillé pour s'assurer qu'il fonctionne comme prévu. Par conséquent, des outils capables de tester et de surveiller les modèles pour garantir leurs meilleures performances sont nécessaires pour atténuer les risques réglementaires, de réputation et opérationnels. Les principales notions à surveiller sont les suivantes :

Afin de surveiller ces risques, HAMLET s'appuie sur l'automatisation et les meilleures pratiques de l'industrie autour des opérations d'apprentissage automatique (MLops) pour concevoir et mettre en œuvre des workflows afin de détecter automatiquement la dégradation des performances du modèle.

L'établissement de la fiabilité est une procédure dynamique. L'amélioration constante de la fiabilité de l'IA nécessite une combinaison de flux de travail manuels et automatisés guidés par des cadres et des principes conceptuels. MLOps fournit un point de départ pour créer le flux de travail d'une IA fiable. En intégrant le cycle de vie ML, MLOps relie la recherche, l'expérimentation et le développement de produits pour permettre une exploitation rapide du développement théorique d'une IA fiable. Il contient les propriétés suivantes qui sont incorporées dans notre cadre HAMLET :

Plus d'informations sur les principes réglementaires du livre blanc sur l'IA.

Notre approche est pertinente pour les principes de sûreté, de sécurité et de robustesse car elle permet le développement de technologies d'intelligence artificielle adoptant les meilleures pratiques en matière de gestion de la sécurité des données, de gestion des risques et des menaces au niveau des données. De plus, notre approche propulse l'adoption des normes de l'industrie pour une IA responsable et digne de confiance. Cela permet non seulement un développement sûr et responsable des technologies d'IA, mais augmente également leur robustesse pour faire face aux attaques adverses.

Notre approche est pertinente pour les principes de transparence et d'explicabilité, car elle nous permet de développer des modèles et des systèmes d'IA conformes aux normes de l'industrie en matière d'équité, de responsabilité, de fiabilité et d'explicabilité. Cela garantit une plus grande transparence, ainsi qu'une flexibilité d'utilisation et de développement d'applications collaboratives.

Notre approche est pertinente par rapport aux principes d'équité car elle nous permet de développer une pile technologique d'IA robuste et mature pour développer des produits et services commerciaux qui contrent la més/désinformation à grande échelle en répondant à la satisfaction et à la confiance des utilisateurs. Nous reconnaissons expressément le risque de biais, qui informe nos processus de collecte d'ensembles de données et d'implication d'équipes interdisciplinaires, et signifie que notre approche cherche activement à empêcher la production de résultats discriminatoires.

Bien que les technologies d'IA se soient avérées capables de détecter la désinformation à grande échelle, pour être vraiment efficaces, elles doivent être déployées en respectant des principes d'IA fiables dans des applications du monde réel. Cependant, de nombreux systèmes d'IA actuels se révèlent vulnérables aux biais, aux risques pour la vie privée des utilisateurs et aux attaques imperceptibles. Ces inconvénients dégradent l'expérience utilisateur et érodent la confiance des gens dans les systèmes d'IA.

HAMLET permet aux machines et aux experts de travailler ensemble pour concevoir des systèmes d'IA avec une plus grande fiabilité, y compris la robustesse, la généralisabilité, l'explicabilité, la transparence, l'équité, la préservation de la vie privée et la responsabilité. Cette approche de l'IA digne de confiance prend en compte l'ensemble du cycle de vie des systèmes d'IA, allant de la conservation des données au développement de modèles, au développement et au déploiement du système, et enfin à la surveillance et à la gouvernance continues.

Nous permet de développer des modèles et des systèmes d'IA conformes aux normes de l'industrie en matière d'équité, de responsabilité, de fiabilité et d'explicabilité pour permettre une grande transparence ainsi qu'une flexibilité d'utilisation et de développement d'applications collaboratives.

Fournit à l'entreprise une pile technologique d'IA robuste et mature pour développer des produits et services commerciaux qui contrent la més/désinformation à grande échelle, en répondant à la satisfaction et à la confiance des utilisateurs.

Pour plus d'informations sur d'autres techniques, consultez le catalogue d'outils et de mesures de l'OCDE : https://oecd.ai/en/catalogue/overview

Pour plus d'informations sur les normes pertinentes, visitez le AI Standards Hub : https://aistandardshub.org/