[Grand Défi] Sécuriser, certifier et fiabiliser les systèmes fondés sur l’intelligence artificielle

La question du fonctionnement sûr des logiciels est au cœur de nombreuses applications de tous les jours, qu’il s’agisse du transport (automobile, aviation, rail...), des dispositifs de santé, des opérateurs d’intérêt vital. Les acteurs français sont très performants dans le   domaine,   en   particulier   grâce   aux   avancées   produites   par   la   recherche   et industrialisées par exemple dans les domaines de la conception/intégration de logiciel critique temps réel ou la preuve formelle de propriétés logicielles.

Le  développement  rapide  des  logiciels  d’Intelligence  Artificielle  (IA)  et  surtout  leur diffusion rapide dans tous les secteurs d’activité, posent des questions spécifiques en termes de garanties sur leur «bon fonctionnement». Que l’on pense à la sûreté d’une prise de décision «autonome» en temps réel comme dans les domaines évoqués ci-dessus, à des domaines ne tolérant pas l’erreur de décision (décisions de sécurité, de justice, diagnostic de santé, ...) ou à des attentes d’équité de traitement qui exigent la garantie que les traitements ne sont pas biaisés, la confiance placée dans les systèmes intégrant  de  l’IA  doit  impérativement  être  développée comme ce   fut   le   cas précédemment pour les logiciels déterministes «classiques».

Le  défi  pourra consister  à  mettre  au  point  des  méthodes  analysant  les  couples algorithmes/données  d’apprentissage.  Il  visera  à  détecter  les  éventuels  biais,  et  à proposer des méthodes de corrections. A titre d’exemple le NIST, acteur important de l’IA aux USA a développé un programme Trustworthy AI qui intègre ces questions. Concernant l’explicabilité, à l’instar du défi Explainable AI de la DARPA, les domaines suivants pourront donner lieu au développement de solutions dans le cadre du défi: la production  de  modèles  plus  explicables,  la  production  d’interfaces  utilisateurs  plus intelligibles et la compréhension des mécanismes cognitifs à l’œuvre pour produire une explication satisfaisante. Chacun de ces axes met en jeu des compétences variées – en informatique et mathématiques, bien sûr, mais aussi en design, en neurosciences, en psychologie et met en évidence le besoin de collaboration interdisciplinaire.

Outre ces aspects, le défi pourra s’attaquer à la difficile question de la preuve formelle des logiciels d’apprentissage. Le  défi  dans  ses  composantes  observation (audit,  explicabilité, preuve  formelle, correctifs  garantis),  pourra  s’appuyer  sur  les  avancées  scientifiques  issues  du  tissu scientifique français en pointe dans le domaine au plan mondial (INRIA, CEA, CNRS), et sur les pôles de compétitivité axés sur le numérique (CapDigital, Systematic, SCS) en associant Syntec numérique et Cigref. Il se focalisera sur l’étape de la preuve de concept sur des cas d’intérêt économique ou sociétal avérés, en montant les partenariats public-privé adhoc avec des acteurs (Renault, PSA, Thales, Airbus, ATOS, Siemens, Safran, Sigfox, ...)des domaines d’applications mentionnés ci-dessus ou en faisant émerger ou en renforçant les start-ups pertinentes.