[Grand Défi] Sécuriser, certifier et fiabiliser les systèmes fondés sur l’intelligence artificielle

Ce défi vise à assurer la transparence et l’auditabilité des systèmes autonomes à base d’intelligence artificielle, d’une part en développant les capacités nécessaires pour observer, comprendre et auditer leur fonctionnement et, d’autre part, en développant des approches démontrant le caractère explicable de leur fonctionnement.
 
La question du fonctionnement sûr des logiciels est au cœur de nombreuses applications de tous les jours, qu’il s’agisse du transport (automobile, aviation, rail...), des dispositifs de santé, des opérateurs d’intérêt vital. Les acteurs français sont très performants dans le   domaine,   en   particulier   grâce   aux   avancées   produites   par   la   recherche   et industrialisées par exemple dans les domaines de la conception/intégration de logiciel critique temps réel ou la preuve formelle de propriétés logicielles.

Le  développement  rapide  des  logiciels  d’Intelligence  Artificielle  (IA)  et  surtout  leur diffusion rapide dans tous les secteurs d’activité, posent des questions spécifiques en termes de garanties sur leur «bon fonctionnement». Que l’on pense à la sûreté d’une prise de décision «autonome» en temps réel comme dans les domaines évoqués ci-dessus, à des domaines ne tolérant pas l’erreur de décision (décisions de sécurité, de justice, diagnostic de santé, ...) ou à des attentes d’équité de traitement qui exigent la garantie que les traitements ne sont pas biaisés, la confiance placée dans les systèmes intégrant  de  l’IA  doit  impérativement  être  développée comme ce   fut   le   cas précédemment pour les logiciels déterministes «classiques».

Le  défi  pourra consister  à  mettre  au  point  des  méthodes  analysant  les  couples algorithmes/données  d’apprentissage.  Il  visera  à  détecter  les  éventuels  biais,  et  à proposer des méthodes de corrections. A titre d’exemple le NIST, acteur important de l’IA aux USA a développé un programme Trustworthy AI qui intègre ces questions. Concernant l’explicabilité, à l’instar du défi Explainable AI de la DARPA, les domaines suivants pourront donner lieu au développement de solutions dans le cadre du défi: la production  de  modèles  plus  explicables,  la  production  d’interfaces  utilisateurs  plus intelligibles et la compréhension des mécanismes cognitifs à l’œuvre pour produire une explication satisfaisante. Chacun de ces axes met en jeu des compétences variées – en informatique et mathématiques, bien sûr, mais aussi en design, en neurosciences, en psychologie et met en évidence le besoin de collaboration interdisciplinaire.

Outre ces aspects, le défi pourra s’attaquer à la difficile question de la preuve formelle des logiciels d’apprentissage. Le  défi  dans  ses  composantes  observation (audit,  explicabilité, preuve  formelle, correctifs  garantis),  pourra  s’appuyer  sur  les  avancées  scientifiques  issues  du  tissu scientifique français en pointe dans le domaine au plan mondial (INRIA, CEA, CNRS), et sur les pôles de compétitivité axés sur le numérique (CapDigital, Systematic, SCS) en associant Syntec numérique et Cigref. Il se focalisera sur l’étape de la preuve de concept sur des cas d’intérêt économique ou sociétal avérés, en montant les partenariats public-privé adhoc avec des acteurs (Renault, PSA, Thales, Airbus, ATOS, Siemens, Safran, Sigfox, ...)des domaines d’applications mentionnés ci-dessus ou en faisant émerger ou en renforçant les start-ups pertinentes.
 
Julien Chiaroni, directeur du Grand Défi
Julien Chiaroni est actuellement Directeur de la Stratégie et des Programmes du List, Institut du CEA sur les technologies du numérique et d’intelligence artificielle. A ce titre, il participe et met en œuvre la stratégie de l’institut en IA et élabore des partenariats entre recherche et industrie ; ceci tout particulièrement sur la thématique de confiance des IA et son implémentation dans les systèmes embarqués. Avant cela, il a occupé des postes opérationnels à responsabilités croissantes, tant scientifiques que managériales, et contribuer à de nombreux projets partenariaux de recherche, notamment à vocation de transfert à l’industrie, dans le domaine du numérique. Responsable de Programme de 2008 à 2010, il coordonne le programme nanosciences et nanotechnologies de l’Agence Nationale de la Recherche (ANR), doté d’environ 35 à 40 M€ par an. Au service de l’Etat à l’étranger de 2010 à 2012, Julien Chiaroni occupe les fonctions d’Attaché de coopération scientifique et universitaire au Consulat de France à Hong Kong et Macao et contribue ainsi au renforcement de nos relations bilatérales dans les domaines de la recherche et de l’enseignement supérieur, par exemple avec la signature d’un partenariat pour le financement de projet entre le RGC et l’ANR. Julien Chiaroni est ingénieur diplômé de l’ENSPG (Phelma), d’un master recherche en matériaux de Grenoble-INP et d’un master spécialisé en « Humanités Digitales » de Sciences Po.