Le risque IA n’est pas là où vous pensez qu’il est

Les risques banals.

Les risques liés à l’IA qui affecteront réellement les entreprises au cours des deux prochaines années sont organisationnels, pas techniques : dépendance excessive aux résultats de l’IA sans revue humaine suffisante, lacunes de responsabilité lorsque des décisions influencées par l’IA tournent mal, dégradation de la qualité lorsque des systèmes d’IA sont appliqués à des domaines pour lesquels ils n’ont pas été conçus, et risque concurrentiel lié à des concurrents qui mettent en œuvre plus efficacement une prise de décision assistée par l’IA.

Le vide de responsabilité.

Le risque de gouvernance IA le plus immédiatement conséquent est la responsabilité : lorsqu’une décision assistée par IA produit un mauvais résultat, qui est responsable ? La plupart des organisations qui déploient l’IA dans des flux d’aide à la décision n’ont pas répondu clairement à cette question. En l’absence d’une réponse claire, la responsabilité se dilue entre l’humain et le système d’une manière qui ne rend réellement responsable ни l’un ni l’autre — et donc qui ne permet d’améliorer ni l’un ni l’autre.

Le risque de dégradation de la qualité.

Les systèmes d'IA performent bien dans la distribution des entrées pour lesquelles ils ont été conçus et ont tendance à se dégrader — parfois sans signal visible — lorsqu'ils sont appliqués en dehors de cette distribution. Les organisations qui étendent les cas d'usage de l'IA sans mettre à jour leur infrastructure de suivi de la qualité s'exposent systématiquement à ce risque. Les modes d'échec sont souvent discrets : une qualité de décision qui se dégrade progressivement et ne devient visible que lors d'une analyse rétrospective.

Le cadre de gouvernance.

Une gouvernance efficace de l’IA pour les systèmes décisionnels d’entreprise comporte trois éléments : une répartition claire des responsabilités (des humains précis responsables de la qualité des décisions assistées par l’IA), une infrastructure de suivi de la qualité (des indicateurs qui révèlent la dégradation des performances avant qu’elle ne devienne lourde de conséquences) et des protocoles d’escalade (des conditions définies dans lesquelles les recommandations de l’IA doivent être examinées avant action).

Les organisations qui réussiront leur gouvernance de l’IA la traiteront comme une conception de système de décision plutôt que comme un exercice de conformité. L’objectif n’est pas de produire un document de politique — c’est de créer des flux de travail où les bons humains sont impliqués aux bons moments avec les bonnes informations.