You are on page 1of 80

DCEMBRE 2017

COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? Les enjeux thiques des algorithmes et de lintelligence artificielle
Commission Nationale de lInformatique et des Liberts
COMMENT PERMETTRE LHOMME
3 place de Fontenoy
DE GARDER LA MAIN?
TSA 80715
75334 PARIS CEDEX 07
e en e t i e de alg rit e et de lintelligence artificielle
Tl. 01 53 73 22 22
Fax 01 53 73 22 00 SYNTHSE DU DBAT PUBLIC ANIM PAR LA CNIL DANS LE CADRE DE LA MISSION
DE RFLEXION THIQUE CONFIE PAR LA LOI POUR UNE RPUBLIQUE NUMRIQUE
www.cnil.fr

DCEMBRE 2017
COMMENT PERMETTRE LHOMME
DE GARDER LA MAIN?
Les enjeux thiques des algorithmes et de lintelligence artificielle

SYNTHSE DU DBAT PUBLIC ANIM PAR LA CNIL DANS LE CADRE DE LA MISSION


DE RFLEXION THIQUE CONFIE PAR LA LOI POUR UNE RPUBLIQUE NUMRIQUE

DCEMBRE 2017

Ce rapport a t rdig par Victor Demiaux avec le concours de Yacine Si Abdallah.


2 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
PRFACE

PRFACE

L
intelligence artificielle est le grand mythe de notre
temps. Lun annonce la destruction en masse de nos
emplois, un autre lmergence apocalyptique dune
conscience robotique hostile, un troisime la ruine dune
Europe crase par la concurrence. Dautres encore nour-
rissent plutt le rve dun monde sur mesure, dun nouvel
ge dor do toute tche ingrate ou rptitive serait bannie
et dlgue des machines ; un Eden o des outils infail-
libles auraient radiqu la maladie et le crime, voire le conflit
politique, en un mot aboli le mal. Sous ses avatars tour tour
fascinants ou inquitants, solaires ou chtoniens, lintelli-
gence artificielle dit sans doute plus de nos phantasmes et
de nos angoisses que de ce que sera notre monde demain.
considrer lattrait de ce type de discours eschatologiques
en Europe, on en vient penser que la technique cristal-
lise aussi une puissance de projection dans lavenir qui fait
parfois dfaut nos imaginaires politiques.

Dsamorcer ces prsentations sensationnalistes des nouvelles technologies est une chose. Cela ne
signifie pas pour autant que lon ignore que lirruption dans nos vies quotidiennes de ces assistants
ou outils dun nouveau type gnre des bouleversements multiples et des dfis nouveaux que nous
devons relever. Prservation de lautonomie de la dcision humaine face des machines parfois per-
ues comme infaillibles, dtection de discriminations gnres involontairement par des systmes
mouvants, sauvegarde de logiques collectives parfois rodes par la puissance de personnalisation
du numrique, etc. : les enjeux ne manquent pas, aux implications dj tangibles. Ils questionnent
certains des grands pactes et des quilibres sur lesquels repose notre vie collective.

tablir de faon claire et lucide ces enjeux est le premier devoir de la puissance publique, la condition
pour pouvoir proposer des rponses adaptes, pour intgrer linnovation technologique la construc-
tion dune vision dtermine de notre avenir. Ctait le sens de la cration de la mission de rflexion
sur les enjeux thiques soulevs par les technologies numriques que la Loi pour une Rpublique
numrique a confie la CNIL.

Comment apprhender aujourdhui une telle mission ? Beaucoup se sont interrogs, voire ont ques-
tionn cette responsabilit nouvelle de la Commission. Comment exprimer lthique sur des sujets
hautement complexes et volutifs, quel titre, selon quelles modalits ?

Rflexion sur les principes fondamentaux de conduite de la vie des hommes et des socits, dfini-
tion dun pacte social partag sur un sujet complexe un moment donn, lthique constitue un objet
minemment collectif, pluriel. Dans le domaine bien particulier des sciences de la vie et de la sant,
la composition et la collgialit du travail du Comit Consultatif National dthique rpondent cet
impratif de pluralit.

Garante de principes thiques fixs par le lgislateur il y a quarante ans, la CNIL a certes toute
lgitimit pour tre le point focal de cette rflexion thique, lheure o des possibilits techniques
nouvelles soulvent de nouveaux enjeux ou questionnent les quilibres antrieurs.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
PRFACE 3

En revanche, il est apparu impensable quelle puisse se prvaloir dun quelconque monopole sur la
rflexion thique du numrique. Sur un sujet aussi vaste et transversal, cette dernire ne saurait se
concevoir en vase clos. Le numrique nest pas un secteur, que lon pourrait confier aux soins dun
comit dthique restreint quelques membres, aussi comptents soient-ils. Il fallait innover.

Cest dans cet esprit que la CNIL a suscit une dmarche collective, en animant avec laide de parte-
naires de multiples secteurs un dbat public pendant plusieurs mois. Lthique est cet gard autant
un processus dlaboration que le rsultat du processus lui-mme. Nous avons ainsi fait le choix de
partir des usages, des interrogations existantes et des pistes de solutions voqus par les acteurs du
dbat. Plus de quarante manifestations organises Paris et en rgions ont permis de recueillir les
lments qui ont aliment le prsent rapport et les recommandations dont il est porteur.

Un effort dinnovation tait galement ncessaire pour faire droit la ncessit dassocier davantage
le citoyen llaboration de la rflexion publique sur un univers complexe qui modle de plus en plus
son existence et implique des choix de socit fondamentaux. Un univers dont il doit tre de plus en
plus un co-acteur. La CNIL a ainsi organis une journe de concertation citoyenne, Montpellier, le
14 octobre dernier, qui a permis de joindre la voix dune quarantaine de volontaires la polyphonie
du dbat public.

Le premier bnfice de cette dmarche ouverte et dcentralise est davoir fait respirer le dbat le
plus largement possible et davoir particip la monte en comptence de la socit franaise vis--
vis des questions souleves par les algorithmes et par lIA. Face des systmes socio-techniques de
plus en plus complexes et compartiments, face aux impacts parfois difficilement prvisibles darte-
facts en volution constante, cloisonner le dbat quelques cercles dinitis, cest prendre le risque
de susciter mfiance et dfiance. Faire de lensemble de nos concitoyens des utilisateurs clairs et
critiques des technologies est au contraire un impratif tout la fois thique, dmocratique et prag-
matique. Cest aussi, pour la CNIL, prolonger luvre daccompagnement de la rencontre de la socit
franaise avec le numrique quelle accomplit depuis 40 ans.

lheure mme o se dfinit la position franaise et bientt europenne en matire dintelligence


artificielle, le rapport issu de ces mois de dbat public contribue poser les jalons dun questionne-
ment commun. Il propose un panorama des enjeux et formule un certain nombre de principes et de
recommandations.

Celles-ci ont un objectif commun : permettre la personne humaine de ne pas perdre la main .
lheure de la dmatrialisation gnralise, ceci paraitra peut-tre dcal. Il nous semble au
contraire que cest l que rside notre dfi collectif majeur. Faire en sorte que ces nouveaux outils
soient la main humaine, son service, dans un rapport de transparence et de responsabilit.

Puissent ces rflexions alimenter celles en cours au sein des pouvoirs publics, dont celle de la mis-
sion Villani, mais aussi des diffrentes composantes de la socit civile. Puissent-elles ainsi partici-
per llaboration dun modle franais de gouvernance thique de lintelligence artificielle.

Isabelle Falque-Pierrotin
Prsidente de la CNIL
4 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
SOMMAIRE

SOMMAIRE
RSUM 5

UNE DMARCHE INNOVANTE AU SERVICE DE LLABORATION 7


DUNE RFLEXION THIQUE COLLECTIVE ET PLURALISTE

LES DATES CLS 10

LES CHIFFRES CLS 11

ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI 13


Un effort de dfinition ncessaire la qualit du dbat public 14

Les algorithmes : une ralit ancienne au coeur de linformatique 15

Des algorithmes lintelligence artificielle 16

Cadrer la rflexion en fonction des applications et des impacts les plus cruciaux
des algorithmes aujourdhui 19

Des usages et des promesses dans tous les secteurs 21

LES ENJEUX THIQUES 23


Lthique, claireuse du droit 24

Lautonomie humaine au dfi de lautonomie des machines 26

Biais, discriminations et exclusion 31

Fragmentation algorithmique : la personnalisation contre les logiques collectives 34

Entre limitation des mgafichiers et dveloppement de lintelligence artificielle :


un quilibre rinventer 38

Qualit, quantit, pertinence : lenjeu des donnes fournies lIA 39

Lidentit humaine au dfi de lintelligence artificielle 41

QUELLES RPONSES ? 43
De la rflexion thique la rgulation des algorithmes 44

Ce que la loi dit dj sur les algorithmes et lintelligence artificielle 45

Les limites de lencadrement juridique actuel 46

Faut-il interdire les algorithmes et lintelligence artificielle dans certains secteurs ? 47

Deux principes fondateurs pour le dveloppement des algorithmes 48


et de lintelligence artificielle : loyaut et vigilance

Des principes dingnierie : intelligibilit, responsabilit, intervention humaine 51

Des principes aux recommandations pratiques 53

CONCLUSION 61

ANNEXES 62

REMERCIEMENTS 71

LISTE DES MANIFESTATIONS ORGANISES DANS LE CADRE DU DBAT PUBLIC 72

GLOSSAIRE 75
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
RSUM 5

RSUM
Ce rapport est le rsultat dun dbat public anim par la der les formes de dilution de la responsabilit que sont
CNIL. Entre janvier et octobre 2017, 60 partenaires (as- susceptibles de susciter les systmes algorithmiques,
sociations, entreprises, administrations, syndicats, etc.) complexes et trs segments ?
ont organis 45 manifestations dans toute la France.
Il sagissait didentifier les sujets de proccupations Les algorithmes et lintelligence artificielle peuvent sus-
thiques soulevs par les algorithmes et lintelligence ar- citer des biais, des discriminations, voire des formes
tificielle, ainsi que les pistes de solutions possibles. dexclusion. Ces phnomnes peuvent tre volontaires.
Mais le rel enjeu, lheure du dveloppement des al-
La premire partie du rapport apporte une dfinition gorithmes dapprentissage, est leur dveloppement
pragmatique des algorithmes et de lintelligence artifi- linsu mme de lhomme. Comment y faire face ?
cielle tout en prsentant leurs principaux usages et no-
tamment ceux dentre eux qui retiennent aujourdhui le Lcosystme numrique tel quil sest construit avec
plus lattention publique. Classiquement, lalgorithme se le Web, mais galement plus anciennement les tech-
dfinit ainsi comme une suite finie et non ambige dins- niques actuarielles, ont fortement exploit les potentia-
tructions permettant daboutir un rsultat partir de lits des algorithmes en termes de personnalisation. Le
donnes fournies en entre. Cette dfinition rend compte profilage et la segmentation de plus en plus fine rendent
des multiples applications numriques qui, excutant bien des services lindividu. Mais cette logique de
des programmes traduisant eux-mmes en langage in- personnalisation est galement susceptible daffecter
formatique un algorithme, remplissent des fonctions outre les individus des logiques collectives essen-
aussi diverses que fournir des rsultats sur un moteur tielles la vie de nos socits (pluralisme dmocratique
de recherche, proposer un diagnostic mdical, conduire et culturel, mutualisation du risque).
une voiture dun point un autre, dtecter des suspects
de fraude parmi les allocataires de prestations sociales, Lintelligence artificielle, dans la mesure o elle re-
etc. Lintelligence artificielle dsigne principalement pose sur des techniques dapprentissage, ncessite
dans le dbat public contemporain une nouvelle classe dnormes quantits de donnes. Or, la lgislation pro-
dalgorithmes, paramtrs partir de techniques dites meut une logique de minimisation de la collecte et de
dapprentissage : les instructions excuter ne sont plus la conservation de donnes personnelles, conforme
programmes explicitement par un dveloppeur humain, une conscience aige des risques impliqus pour les
elles sont en fait gnres par la machine elle-mme, qui liberts individuelles et publiques de la constitution de
apprend partir des donnes qui lui sont fournies. grands fichiers. Les promesses de lIA justifient-elles
Ces algorithmes dapprentissage peuvent accomplir des une rvision de lquilibre construit par le lgislateur ?
tches dont sont incapables les algorithmes classiques
(reconnatre un objet donn sur de trs vastes corpus Le choix du type de donnes alimentant un modle al-
dimages, par exemple). En revanche, leur logique sous- gorithmique, leur quantit suffisante ou insuffisante,
jacente reste incomprhensible et opaque y compris lexistence de biais dans les jeux de donnes servant
ceux qui les construisent. entraner les algorithmes dapprentissage constituent
un enjeu majeur. Sy cristallise le besoin dtablir une at-
Le dbat public a permis didentifier 6 grandes titude critique et de ne pas nourrir une confiance exces-
problmatiques thiques : sive dans la machine.

Le perfectionnement et lautonomie croissante des arte- Lautonomie croissante des machines ainsi que lmer-
facts techniques permettent des formes de dlgations gence de formes dhybridation entre humains et ma-
de tches, de raisonnements et de dcisions de plus chines (hybridation au plan dune action assiste par
en complexes et critiques des machines. Dans ces des recommandations algorithmiques, mais aussi pro-
conditions, ct de laugmentation de sa puissance chainement au plan physique) questionnent lide dune
dagir permise par la technique, nest-ce pas aussi son spcificit humaine irrductible. Faut-il et est-il possible
autonomie, son libre arbitre, qui peut se trouver rod ? de parler au sens propre d thique des algorithmes ?
Le prestige et la confiance accords des machines Comment apprhender cette nouvelle classe dobjets
juges souvent infaillibles et neutres ne risquent-ils que sont les robots humanodes, objets mais suscep-
pas de gnrer la tentation de se dcharger sur les ma- tibles de susciter chez lhomme des formes daffects et
chines de la fatigue dexercer des responsabilits, de dattachement ?
juger, de prendre des dcisions ? Comment apprhen-
6 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
RSUM

La troisime partie du rapport envisage les rponses Ils sont complts par une ingnierie spcifique et nou-
possibles formules loccasion du dbat public. velle articule sur deux points : lun visant repenser
Elle aborde dabord les principes susceptibles de lobligation dintervention humaine dans la prise de d-
construire une intelligence artificielle au service de cision algorithmique (article 10 de la loi Informatique et
lhomme. Deux principes nouveaux apparaissent comme liberts) ; lautre organiser lintelligibilit et la responsa-
fondateurs. bilit des systmes algorithmiques.

Le premier, substantiel, est le principe de loyaut, dans Ces principes font ensuite lobjet dune dclinaison opra-
une version approfondie par rapport celle initialement tionnelle sous la forme de 6 recommandations adresses
formule par le Conseil dEtat sur les plateformes. Cette tant aux pouvoirs publics quaux diverses composantes
version intgre en effet une dimension collective de la de la socit civile (grand public, entreprises, associa-
loyaut, celle-ci visant ce que loutil algorithmique ne tions, etc.) :
puisse trahir sa communaut dappartenance (consum-
riste ou citoyenne), quil traite ou non des donnes per- Former lthique tous les maillons de la chane algo-
sonnelles. rithmique (concepteurs, professionnels, citoyens) ;

Le second, dordre plus mthodique, est un principe de Rendre les systmes algorithmiques comprhensibles
igilance r exi it Il vise rpondre dans le temps au en renforant les droits existants et en organisant la
dfi constitu par le caractre instable et imprvisible mdiation avec les utilisateurs ;
des algorithmes dapprentissage. Il constitue aussi une
rponse aux formes dindiffrence, de ngligence et de Travailler le design des systmes algorithmiques au
dilution de responsabilit que peut gnrer le caractre service de la libert humaine ;
trs compartiment et segment des systmes algo-
rithmiques. Il a enfin pour but de prendre en compte et Constituer une plateforme nationale daudit des algo-
de contrebalancer la forme de biais cognitif conduisant rithmes ;
lesprit humain accorder une confiance excessive aux
dcrets des algorithmes. Il sagit dorganiser, par des pro- Encourager la recherche sur lIA thique et lancer une
cdures et mesures concrtes, une forme de questionne- grande cause nationale participative autour dun projet
ment rgulier, mthodique, dlibratif et fcond lgard de recherche dintrt gnral ;
de ces objets techniques de la part de tous les acteurs
de la chaine algorithmique, depuis le concepteur, jusqu Renforcer la fonction thique au sein des entreprises.
lutilisateur final, en passant par ceux qui entranent les
algorithmes.

Ces deux principes apparaissent comme fondateurs de


la rgulation de ces outils et assistants complexes que
sont les algorithmes et lIA. Ils en permettent lutilisation
et le dveloppement tout en intgrant leur mise sous
contrle par la communaut.
7
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
UNE DMARCHE INNOVANTE AU SERVICE DE LLABORATION
DUNE RFLEXION THIQUE COLLECTIVE ET PLURALISTE

Une dmarche innovante au service


de llaboration dune rflexion thique
collective et pluraliste

Un dbat public national sur La rflexion thique porte sur des choix de socit d-
les enjeux thiques des algorithmes cisifs. Elle ne saurait se construire indpendamment
dune prise en compte de cette dimension pluraliste et
collective. Ceci est dautant plus vrai quand il sagit dun
objet aussi transversal toutes les dimensions de notre
La loi pour une Rpublique numrique de 2016 a confi vie individuelle et sociale que les algorithmes. Il ne serait
la CNIL la mission de conduire une rflexion sur les gure envisageable de rassembler en un unique comit
enjeux thiques et les questions de socit soulevs par lensemble des comptences et des regards ncessaire
lvolution des technologies numriques. lexamen des enjeux soulevs par les algorithmes dans
des secteurs aussi divers que la sant, lducation, le
La CNIL a choisi de faire porter en 2017 cette rflexion marketing, la culture, la scurit, etc.
sur les algorithmes lheure de lintelligence artificielle.
En effet, ceux-ci occupent dans nos vies une place crois- Plutt que de conduire directement sur ces sujets une
sante, bien quinvisible. Rsultats de requtes sur un rflexion centralise, la CNIL a donc fait le choix de se
moteur de recherche, ordres financiers passs par des positionner, dune faon originale, en tant quanimatrice
robots sur les marchs, diagnostics mdicaux automa- dun dbat public national ouvert et dcentralis. locca-
tiques, affectation des tudiants lUniversit : dans sion dun vnement de lancement organis le 23 janvier
tous ces domaines, des algorithmes sont luvre. En 2017, elle a ainsi appel tous les acteurs et organismes
2016, le sujet des algorithmes stait dailleurs invit de institutions publiques, socit civile, entreprises qui
manire indite dans le dbat public et a suscit une le souhaitaient organiser un dbat ou une manifesta-
forte attention mdiatique (questions sur lalgorithme du tion sur le sujet, dont ils lui feraient ensuite parvenir la
logiciel Admission Post-Bac, recours lintelligence artifi- restitution. Lobjectif a donc t de sadresser aux acteurs
cielle dans la stratgie lectorale du candidat Trump, rle de terrain pour recueillir auprs deux les sujets thiques
des rseaux sociaux dans la diffusion des fake news ). identifis comme tels ce jour ainsi que les pistes de
solutions voques par les uns et par les autres.

Soixante partenaires ont souhait rpondre lappel


lanc par la CNIL. De natures trs diverses, ces acteurs
relevaient de secteurs trs diffrents. Citons, titre
dexemples, la Ligue de lEnseignement dans lducation,
La rflexion thique porte
la Fdration Franaise de lAssurance (FFA), le Ministre
sur des choix de socit dcisifs. de la Culture (DGMIC), lassociation Open Law, ou encore
la CFE-CFC et FO Cadres (ressources humaines), etc.
Elle ne saurait se construire Ces 60 partenaires ont organis 45 manifestations entre
indpendamment dune prise
en compte de cette dimension
pluraliste et collective
8
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
UNE DMARCHE INNOVANTE AU SERVICE DE LLABORATION
DUNE RFLEXION THIQUE COLLECTIVE ET PLURALISTE

Une journe de concertation a ainsi t organise le 14


octobre 2017, avec le soutien de la Ville de Montpellier et
de Montpellier Mditerrane Mtropole. Un appel can-
didature a permis de recruter un panel diversifi de 37
citoyens.

Le format retenu visait favoriser lchange dides et la


construction dun avis collectif. La technique danimation
a permis successivement aux participants de :

Comprendre ce que sont les algorithmes et lintelli-


gence artificielle ;

mars et octobre 2017 dans plusieurs villes de France Analyser collectivement quatre tudes de cas (mde-
(mais galement ltranger grce la participation de cine et sant / ressources humaines / personnalisation
la Future Society at Harvard Kennedy School ), aux- et enfermement algorithmique / ducation et transpa-
quelles ont particip environ 3000 personnes. La CNIL a rence) pour identifier les opportunits et les risques lis
assur la coordination et la mise en cohrence de len- lusage des algorithmes ;
semble.
Formuler des recommandations pour assurer le d-
Les manifestations organises dans le cadre du dbat ploiement dans un cadre thique des algorithmes et de
public ont aussi constitu loccasion de faire vivre dans la lIA, le degr de consensus de celles-ci ayant ensuite t
socit ran aise la r exion sur des enjeux dont la rise de valu.
conscience par lensemble de nos contemporains, et pas
seulement ar les ex erts est un enjeu ci ique et dmo- Les rsultats et enseignements sont prsents dans les
cratique ca ital encadrs Le regard du citoyen .

Une concertation citoyenne :


Montpellier, 14 octobre 2017

Les questions poses par les algorithmes et lintelligence


artificielle renvoient des choix de socit et concernent
tous les citoyens. Lorganisation dune concertation
a donc eu pour objectif de recueillir le point de vue de
simples citoyens. Il sagissait de complter les rflexions
mises loccasion de diverses manifestations ayant
principalement donn la parole des experts de diff-
rents secteurs.
9
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
UNE DMARCHE INNOVANTE AU SERVICE DE LLABORATION
DUNE RFLEXION THIQUE COLLECTIVE ET PLURALISTE

La composition du rapport

Les manifestations organises par les partenaires, ain-


si que la concertation citoyenne, ont fait lobjet de res-
titutions recueillies par la CNIL. Les rflexions mises
par des acteurs pluriels (syndicats, associations, en-
treprises, chercheurs, citoyens, etc.) dans des secteurs
trs divers (de lassurance lducation, en passant par
la justice et la sant) ont ainsi aliment le prsent rap-
port, qui constitue un panorama gnral des questions
thiques souleves par les algorithmes et lintelligence
artificielle dans leurs applications actuelles et dans leurs
promesses relativement court terme.

Animatrice du dbat public, la CNIL en est aussi la res- La CNIL sest galement appuye pour la rdaction du
titutrice. cet gard, elle a assum la composition du rapport sur un travail de recherche documentaire, sou-
rapport, ce qui implique invitablement certains choix. La vent initi sur la recommandation de tel ou tel partenaire.
ligne de conduite adopte a consist rendre loyalement Les articles ou ouvrages utiliss ont t mentionns en
et pleinement compte de la pluralit des points de vue notes de bas de page. On pourra galement se repor-
exprims. Cest aussi ce qui explique que les recomman- ter aux pages du site de la CNIL consacres au dbat
dations formules la fin du rapport entendent moins thique pour retrouver quelques lments de bibliogra-
clore le dbat que laisser ouvertes un certain nombre phie sommaire1. Enfin, ont t exploits les rsultats dun
doptions possibles (dimension incitative ou obligatoire certain nombre de travaux dj conduits par diverses ins-
des mesures proposes, par exemple) qui devraient faire titutions en France et ltranger (entre autres, lOPECST,
lobjet darbitrages ultrieurs. Il sagit donc dclairer la d- la CERNA, le CNNUM, le Conseil dEtat, la CGE, la Maison
cision publique et non de sy substituer. Blanche, France IA, INRIA, AI Now).

Les questions poses par les algorithmes


et lintelligence artificielle renvoient des choix
de socit et concernent tous les citoyens

1 https://www.cnil.fr/fr/ethique-et-numerique-les-algorithmes-en-debat-1
10 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES DATES CLS

LES DATES CLS

7
OCTOBRE
2016

La L o tient our mission ar la loi u lique umrique de conduire une r exion


sur les enjeux thiques et de socit soule s ar les nou elles technologies

23
JANVIER
2017

La L annonce our le th me des algorithmes et de lintelligence artificielle


et organise des ta les rondes de lancement runissant des ex erts de ces sujets

FIN
MARS
2017

Les premiers vnements sont organiss par les partenaires du dbat public

DBUT
OCTOBRE
2017

45 vnements se sont tenus, linitiative des 60 partenaires du dbat public

14
OCTOBRE
2017

La CNIL organise une concertation citoyenne Montpellier runissant prs de 40 citoyens

15
DCEMBRE
2017

La CNIL prsente le rapport Comment permettre lHomme de garder la main?


Les enjeux thiques des algorithmes et de lintelligence artificielle , synthse du dbat public
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES CHIFFRES CLS 11

LES CHIFFRES CLS

45
VNEMENTS
60
PARTENAIRES
1
JOURNE
DE CONCERTATION
CITOYENNE

ENVIRON 3 000 PERSONNES PRSENTES


LORS DES MANIFESTATIONS

27
27
PARIS
PARIS 3
LILLE

1
CAEN

14
EN PROVINCE
2
BORDEAUX 2
LYON

3
4
TOULOUSE

OUTRE
ATLANTIQUE
1 1 1
AX-LES-TERMES MONTPELLIER MARSEILLE
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI 13

Algorithmes et
Intelligence artificielle
aujourdhui

n e ort de d nition n e aire


la qualit du dbat ubli
P.14

e al orith e une ralit an ienne


au ur de lin or atique
P.15

e al orith e lintelli en e arti ielle


P.16

adrer la rflexion en on tion de a li ation et de i a t


le lu ru iaux de al orith e au ourdhui
P.19

e u a e et de ro e e dan tou le e teur


P.21
14 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI

Algorithmes et IA aujourdhui

n e ort de d nition n e aire


la qualit du dbat ubli

Algorithmes et intelligence artificielle sont la mode. Ces temps, dont la simple vocation suffit connoter la moder-
mots sont aujourdhui partout, non sans confusion parfois. nit et linnovation numriques. Rien dtonnant ds lors
Les dfinitions et les exemples qui en sont donns dans ce que ces termes soient apposs de manire souvent
le dbat public aujourdhui sont souvent imprcis. Ils sont rapide et peu justifie des ralits ou des entreprises
parfois mme contradictoires. Cette situation sexplique soucieuses de se forger une image flatteuse et futuriste :
par le caractre trs technique de sujets qui se sont trou- prsenter son activit comme relevant du domaine de lIA
vs rapidement mis en circulation et en dbat dans un est aujourdhui pour de nombreux acteurs un enjeu dimage,
espace public dpassant largement les cercles dexperts comparable celui reprsent depuis quelques annes par
et de spcialistes auxquels ils se sont longtemps trouvs linvocation dun Big data dont les spcialistes soulignent
cantonns. pourtant souvent quil demeure une ralit aux dimensions
encore modestes. En tout tat de cause, la ralit des pro-
De l, pour peu que lon y prte attention, une extrme impr- messes de lIA est aujourdhui un sujet de controverses
cision dans les termes employs. Quoi de commun entre plus ou moins explicites entre chercheurs en intelligence
laust re notion d intelligence artificielle dfinie dans artificielle, entrepreneurs et prescripteurs dopinions divers
les milieux de la c erntique dans les annes et dans le domaine des technologies.
sa re rsentation o ulaire di use notamment ar le
cinma holl oodien Qui prte dailleurs attention au fait Comme on le rappellera par la suite, un autre type de confu-
qu intelligence na pas la mme signification en franais sion semble parfois entretenu par des acteurs dont lactivit
et en anglais, langue dans laquelle a t cr le vocable est gnralement reconnue comme relevant du domaine
artificial intelligence ? Comment comprendre que lon de lintelligence artificielle. Ces derniers majoreraient rso-
dise ici que les algorithmes sont nouveaux et que dautres lument et exagrment non tant les promesses que les
voix nous assurent que lhomme y a recours depuis plu- risques dune intelligence artificielle qui parviendrait sau-
sieurs milliers dannes ? tonomiser totalement de son crateur au point de mettre en
danger lhumanit. Les voix les plus comptentes slvent
Outre les ralits et les projets techniques quils entendent pour battre en brche de telles prvisions, assimiles au
dsigner, les algorithmes et lintelligence artificielle en sont mieux des fantasmes, voire des mensonges. Ceux-ci
venus constituer de nouvelles mythologies de notre auraient pour fonction de dtourner lattention publique des

Fonder une discussion publique saine et constructive


sur les sujets des algorithmes et de lintelligence
artificielle ncessite a solument de prciser le rapport
entre algorithmes et intelligence artificielle
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI 15

problmes certes plus prosaques mais plus pressants parvenir une base de discussion minimale et opratoire
soulevs par le dploiement de lintelligence artificielle, en qui permette de tracer pragmatiquement le primtre des
matire de lutte contre les discriminations ou de protection algorithmes et de lintelligence artificielle sources de ques-
des donnes personnelles par exemple. tions thiques et de socit cruciales. Autrement dit, il sagit
de proposer une dfinition aussi rigoureuse que possible
Disons-le demble : toute dfinition en ces matires pourra mais prenant en compte la perception commune de ce en
tre sujette caution selon les diffrents points de vue. quoi algorithmes et IA constituent aujourdhui des enjeux
Dans la perspective du prsent rapport, lessentiel est de dignes dattention.

ENQUTE

Algorithmes et IA : un objet mal connu des Franais*

Les algorithmes sont prsents dans lesprit des Franais mais de faon assez confuse. Si de ran ai
ont d entendu arler de al orith e ils sont lu de la oiti ne a a oir r i ent de quoi
il a it (52%). Leur prsence est dj apprhende comme massive dans la vie de tous

83 % les jours par 80% des Franais qui considrent, 65%, que cette dynamique va encore
saccentuer dans les annes qui viennent.
de ran ai
ont d entendu * Sondage men par lIFOP pour la CNIL en janvier 2017 (auprs dun chantillon de 1001 personnes,
arler de reprsentatif de la population franaise ge de 18 ans et plus) sur le niveau de notorit des
al orith e algorithmes au sein de la population franaise.

e al orith e une ralit an ienne


au ur de lin or atique

Au sens strict, un algorithme est la description dune suite li res des clients sur la ase des choix dj e ectus
finie et non ambige dtapes (ou dinstructions) permettant ar dautres clients com arer des images numriques
dobtenir un rsultat partir dlments fournis en entre. de isages ou dem reintes digitales iloter de a on
Par exemple, une recette de cuisine est un algorithme, autonome des automo iles ou des sondes s atiales etc
permettant dobtenir un plat partir de ses ingrdients2.
Lexistence dalgorithmes utiliss pour rsoudre des qua- Pour quun algorithme puisse tre mis en uvre par un
tions est dailleurs atteste trs anciennement, ds le IIIe ordinateur, il faut quil soit exprim dans un langage infor-
millnaire en Msopotamie babylonienne. matique, transcrit en un programme (une sorte de texte
compos de commandes crites, galement appel code
Dans le monde de plus en plus numrique dans lequel nous source ). Ce programme peut alors tre excut dans un
vivons, les algorithmes in ormatiques ermettent de com- logiciel ou compil sous la forme dune application. Un logi-
iner des in ormations les lus di erses our roduire ciel a recours en gnral de nombreux algorithmes : pour
une grande arit de rsultats simuler l olution de la saisie des donnes, le calcul du rsultat, leur affichage,
la ro agation de la gri e en hi er recommander des la communication avec dautres logiciels, etc.

2 Voir par exemple : http://www.cnrtl.fr/definition/algorithme


16 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI

e al orith e lintelli en e arti ielle

eu de notions ont aujourdhui lo jet dun usage lus sons quil permet, ne se prte pas la mmorisation dun
mou ant que celle d intelligence artificielle Le grand nombre de parties que la machine pourrait se conten-
choix a t fait dans ce rapport de se concentrer pragmati- ter de reproduire.
quement sur les usages dores et dj effectifs de lintelligence
artificielle et, plus prcisment, sur ceux qui ont fait lobjet des La ictoire d l ha o illustre le ait que les d elo e-
plus rapides dveloppement au cours des dernires annes, ments rcents de l sont notamment lis au er ectionne-
en lien avec les progrs du machine learning (ou apprentis- ment de la technique du machine learning a rentissage
sage automatique). automatique qui en constitue lune des branches. Alors
que le programmeur doit traditionnellement dcomposer
De faon large, lintelligence artificielle peut tre dfinie en de multiples instructions la tche quil sagit dautoma-
comme la science qui consiste faire faire aux machines tiser de faon en expliciter toutes les tapes, lapprentis-
ce que lhomme ferait moyennant une certaine intelligence sage automatique consiste alimenter la machine avec
(Marvin Minsky). Si cest en 1 56, lors de la confrence de des exemples de la tche que lon se propose de lui faire
Darmouth que nat formellement la notion dintelligence accomplir. Lhomme entrane ainsi le systme en lui fournis-
artificielle dans le milieu de la cyberntique, on peut consi- sant des donnes partir desquelles celui-ci va apprendre
drer comme point de dpart larticle publi en 1 50 par et dterminer lui-mme les oprations effectuer pour
Alan Turing (Computing Machinery and Intelligence) o celui-ci accomplir la tche en question. Cette technique permet
pose la question de savoir si les machines peuvent penser. de raliser des tches hautement plus complexes quun
Les chercheurs de cette discipline naissante ambitionnent algorithme classique. Andrew Ng, de lUniversit Stanford,
de doter des ordinateurs dune intelligence gnraliste com- dfinit ainsi le machine learning comme la science per-
parable celle de lhomme, et non pas limite certains mettant de faire agir les ordinateurs sans quils aient
domaines ou certaines tches. tre explicitement programms . Cela recouvre la concep-
tion, lanalyse, le dveloppement et la mise en uvre de
Lhistoire de lintelligence artificielle depuis les annes mthodes permettant une machine dvoluer par un pro-
1 50 na pas t celle dun progrs continu. En premier cessus systmatique, et de remplir des tches difficiles.
lieu, les chercheurs se sont vus contraints de dlaisser Lintelligence artificielle qui repose sur le machine learning
lobjectif visant mettre au point une IA gnraliste (ou concerne donc des algorithmes dont la particularit est
IA forte ) pour se concentrer sur des tches plus sp- dtre conus de sorte que leur comportement volue dans
cifiques, sur la rsolution de problmes tels que la recon- le temps, en fonction des donnes qui leur sont fournies.
naissance dimages, la comprhension du langage naturel
ou la pratique de jeux (jeu de dames, checs, jeu de go, par Lapprentissage profond (Deep learning) est le socle des
exemple). On parle ds lors d IA faible , car spcialise. avances rcentes de lapprentissage automatique, dont il
Mme si lon sen tient au domaine de lIA faible, lhistoire de est lune des branches3. On distingue apprentissage auto-
ce champ de recherche et de ses applications est marque matique su er is4 (des donnes dentres qualifies par
par des discontinuits. une priode doptimisme dans des humains sont fournies lalgorithme qui dfinit donc
les annes 1 0 a succd partir des annes 1 0 un des rgles partir dexemples qui sont autant de cas vali-
hiver de lIA : les progrs se sont heurts une insuf- ds) et non su er is5 (les donnes sont fournies brutes
fisance tant de la puissance de calcul que des donnes lalgorithme qui labore sa propre classification et est
disponibles, notamment. libre dvoluer vers nimporte quel tat final lorsquun motif
ou un lment lui est prsent). Lapprentissage supervis
es derni res annes ont au contraire t marques ncessite que des instructeurs apprennent la machine
ar une srie de succ s s ectaculaires qui ont remis au les rsultats quelle doit fournir, quils l entranent .
go t du jour les romesses de l La victoire dAlpha Go Les personnes entranant lalgorithme remplissent en fait
(Google) contre le champion du monde de jeu de Go, Lee souvent une multitude de tches trs simples. Des plate-
Sedol, en mars 2016, a constitu symboliquement le plus formes telles que le Mechanical Turk dAmazon sont
notable de ces vnements. Contrairement au jeu dchecs, les lieux o se recrutent ces milliers de micro-tcherons
le go, du fait de la multiplicit innombrable des combinai- (Antonio Casilli) qui, par exemple, tiquettent les immenses

3 Il sagit dun ensemble de mthodes dapprentissage automatique tentant de modliser avec un haut niveau dabstraction des donnes grce des architectures articules
de diffrentes transformations non linaires. Sa logique tant inspire du fonctionnement des neurones, on parle souvent de rseaux neuronaux .
4 Un algorithme de scoring de crdit utilisera cette technique : on fournit lensemble des caractristiques connues des clients et de leur emprunt en indiquant ceux qui nont pas
rembours leur crdit, et lalgorithme sera capable de fournir un score de risque de non remboursement pour les futurs clients.
5 Un algorithme de dtection des typologies de fraudes utilisera cette technique : on fournit lalgorithme toutes les donnes relatives des fraudes avres, et lalgorithme sera
capable de dgager des similitudes entre ces fraudes, et de dgager des typologies de fraudes. Lapprentissage non supervis peut aussi servir identifier, sur la bande sonore
dune mission de radio, les squences de parole de diffrents locuteurs.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI 17

FOCUS

Lexemple de la reconnaissance dimages


La reconnaissance dimages permet de prendre la mesure de ce qui distingue algorithmes classiques et
algorithmes de machine learning (que le vocabulaire courant confond aujourdhui gnralement avec lIA).
Imaginons que lon ait pour objectif de faire reconnatre les tigres une machine. Si lon se proposait dy
parvenir au moyen dun algorithme classique, il faudrait imaginer pouvoir dcrire explicitement en langage
de programmation la totalit des oprations intellectuelles que nous ralisons lorsque nous identifions que
nous avons faire un tigre et non pas, par exemple, tout autre animal, voire un lion ou un chat. Si
distinguer un tigre dun chat ne pose aucun problme mme un jeune enfant, en dcomposer et expliciter
lensemble des tapes ncessaires reconnaitre un tigre (autrement dit, en donner lalgorithme) savre
tre une tche, sinon impossible du moins dune ampleur rdhibitoire. Cest ici quintervient la technique
du machine learning. Il sagit de fournir la machine des exemples en grande quantit, en loccurrence de
trs nombreuses photographies de tigres, ainsi que des photographies dautres animaux. partir de ce jeu
de donnes, la machine apprend reconnatre des tigres. Elle labore elle-mme, par la confrontation des
milliers de photographies qui lui sont fournies, les critres sur lesquels elle sappuiera pour reconnatre
des tigres dans des photographies qui lui seront ultrieurement soumises.

Il sagit ici d apprentissage supervis : cest bien lhomme qui fournit la machine des milliers de photo-
graphies quil a pralablement identifies comme reprsentant des tigres ainsi que dautres explicitement
identifies comme ne reprsentant pas des tigres.

quantits de photographies utilises pour entraner un logi-


ciel de reconnaissance dimages. Le systme de captcha ? LE SAVIEZ-VOUS ?
de Google recaptcha est un autre exemple dutilisation
grande chelle dhumains pour entrainer des machines. Une entreprise comme Airbus mobilise
Ces algorithmes dapprentissage sont utiliss dans un aujourdhui concrtement lintelligence
nombre croissant de domaines, allant de la prdiction du artificielle des fins de reconnaissance
trafic routier lanalyse dimages mdicales. de forme. Apprendre un systme
reconnatre sur une photographie
On comprend travers lexemple de la reconnaissance arienne dune zone maritime les
dimages (voir encadr) en quoi lintelligence artificielle diffrents navires prsents peut servir,
ouvre la voie lautomatisation de tches incomparable- par exemple, confronter lemplacement
ment plus complexes que lalgorithmique classique. LIA, des embarcations ainsi repres aux
contrairement aux algorithmes dterministes construit signaux mis par les balises et identifier
elle-mme partir des donnes qui lui sont fournies les des navires en perdition ou qui cherchent
modles quelle va appliquer pour apprhender les rali- se soustraire la surveillance maritime.
ts qui lui sont soumises. Ainsi sexplique quelle savre Lintrt rside dans la rapidit dune
aujourdhui particulirement prometteuse dans des sec- opration qui, si elle nest pas automa-
teurs produisant des quantits normes de donnes, telles tise, rclame un temps et des moyens
que la mtorologie. considrables. Depuis quelques annes,
les progrs de ces techniques sont tels que
Les exem les dutilisation de lintelligence artificielle sont la machine surpasse dsormais lhumain
dores et dj nombreux, bien au-del du seul domaine de pour la fiabilit de lidentification de
la reconnaissance de formes. Ainsi, la classification du navires parfois difficilement distinguables
spam parmi les messages reus sur Gmail constitue une de nuages.
application caractristique, dans sa simplicit mme, de lIA.
18 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI

Le signalement par les usagers de messages considrs reprendre lexemple du tigre (voir encadr), il est possible
comme indsirables permet Google de constituer une quune intelligence artificielle ayant t entrane sur une
base consquente et constamment alimente partir de base dans laquelle figure une seule espce de tigres ne
laquelle le systme peut apprendre dterminer les carac- soit pas mme de reconnatre un tigre appartenant
tristiques des spams qui vont ensuite lui permettre de une autre espce. Mais on peut supposer quelle puisse
proposer de lui-mme quels messages filtrer. Toujours chez aussi largir sa capacit reconnatre dautres espces
Google, lintelligence artificielle est luvre dans le ser- de tigres force dtre confronte de plus en plus din-
vice de traduction automatique. Lentreprise explique ga- dividus partageant des traits communs aux deux races.
lement avoir eu recours au machine learning pour analyser
le fonctionnement du systme de refroidissement de ses u del de ces di rences techniques une a roche
data centers. Lautomatisation de cette fonction danalyse glo ale des algorithmes et de l demeure ce endant
aurait ainsi permis de rduire de 40 lnergie ncessaire ertinente lgorithmes dterministes et algorithmes
au refroidissement de ces installations. a renants soul ent en e et des ro l mes communs
ans un cas comme dans lautre la finalit des a lica-
Lutilisation industrielle de lIA nest pas nouvelle : elle sest tions de ces classes dalgorithmes consiste automati-
notamment dveloppe dans les annes 1 0, quand les ser des t ches autrement accom lies ar des humains,
systmes experts ont permis doptimiser lopration de voire dlguer ces systmes automatiss des prises
vidange des cuves des centrales nuclaires, automatisant de dcisions plus ou moins complexes. Ds lors que lon
les calculs et renforant du mme coup leur fiabilit en per- se dtache dune apprhension strictement technique de
mettant de substantielles conomies lies la rduction ces objets pour en aborder les consquences et les impli-
de la dure dimmobilisation des installations des fins cations sociales, thiques, voire politiques, les problmes
de maintenance. poss se recoupent largement et mritent de faire lobjet
dune investigation conjointe.
Les robots conversationnels (chat bots) et assistants
vocaux (comme Siri, Google Assistant ou Alexa) consti- Prcisons enfin qualgorithmes et intelligence artificielle
tuent un autre pan en rapide dveloppement de lintelligence recoupent bien des gards ce que lon appelle, de faon
artificielle : ils peuvent par exemple fournir des informations gnralement imprcise, Big data . Le Big data dsigne
et rpondre des questions standardises. non seulement dimmenses quantits de donnes diverses
mais galement les techniques qui permettent de les traiter,
la lumire de ces applications, on comprend donc en de les faire parler, dy reprer des corrlations inattendues,
quoi le machine learning constitue strictement arler une voire de leur confrer une capacit prdictive. De mme,
ru ture ar ra ort lalgorithmique classique Avec les lintelligence artificielle est indissociable des immenses
algorithmes apprenants, cest bien une nouvelle classe dal- quantits de donnes ncessaires pour lentraner et quelle
gorithmes qui merge : on passe progressivement dun permet en retour de traiter.
monde de programmation un monde dapprentissage
( ean-Philippe Desbiolles, vnement de lancement du
dbat public, CNIL, 23 janvier 2017). Les algorithmes clas-
siques sont dterministes, leurs critres de fonctionne-
ment sont explicitement dfinis par ceux qui les mettent
en uvre. Les algorithmes apprenants, au contraire, sont
dits probabilistes. Sils constituent une technologie bien
plus puissante que les algorithmes classiques, leurs rsul- Lalgorithme sans donnes
tats sont mouvants et dpendent chaque instant de la
base dapprentissage qui leur a t fournie et qui volue
est aveugle. Les donnes
elle-mme au fur et mesure de leur utilisation. Pour sans algorithmes sont muettes
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI 19

adrer la rflexion en on tion


de a li ation et de i a t le lu
ru iaux de al orith e au ourdhui

En un sens lalgorithmique recouvre linformatique et croise orte est m me dnonce ar certains dont ce dernier
plus gnralement tout ce quon a coutume denglober sous comme un mo en dluder de lus srieux ro l mes
le terme de numrique . thiques oire tout sim lement juridiques que osent
dj et r e chance les rogr s e ecti s de l ai le
Face un sujet potentiellement aussi vaste, il est donc et son d loiement croissant
aussi ncessaire que lgitime de limiter le primtre de la
rflexion aux algorithmes qui posent aujourdhui les ques- Il aurait t possible, en toute rigueur et en prenant les
tions thiques et de socit les plus pressantes. La r exion termes au pied de la lettre, dinclure dans le primtre de
thique sur les s st mes d et sur les algorithmes na notre rflexion sur les algorithmes les questions lies au
en e et de sens que si elle rend aussi en com te lins- chiffrement dans la mesure o cette technologie repose
cri tion de ceux ci dans des contextes sociaux humains sur lutilisation dalgorithmes. Le mme procd aurait pu
ro essionnels conduire considrer la blockchain comme partie int-
grante du sujet. L encore, il a sembl prfrable dadopter
Les pages qui suivent envisageront ainsi les usages de lin- une attitude pragmatique, guide par la perception publique
telligence artificielle en limitant cette dernire aux usages de ce que sont aujourdhui les algorithmes et leurs applica-
sappuyant sur le machine learning, qui sont les plus discu- tions soulevant le plus de problmes et dinterrogations. En
ts aujourdhui mme si, en toute rigueur, ils ne constituent dautres termes, nous avons choisi de limiter le champ de la
pas lentiret de ce domaine6. rflexion ceux des algorithmes qui, dans limmense diver-
sit qui est la leur lre numrique, soulvent aujourdhui
Par ailleurs, il a t dcid dexclure du champ de la rflexion des problmes susceptibles dinterpeller directement le
les problmes soulevs par lIA forte (ou gnrale). LIA forte grand public et les dcideurs, tant publics que privs.
dsigne des systmes susceptibles de devenir complte-
ment autonomes qui pourraient mme se retourner contre cet gard, les algorithmes de recommandation sils ne
lhomme. Cette vision se nourrit souvent dun imaginaire constituent techniquement quune fraction des diffrents
apocalyptique aliment par le cinma hollywoodien dans le types dalgorithmes, constituent une partie importante de
sillage de mythes parfois bien plus anciens (Frankenstein, la question. Les algorithmes de recommandation sont
etc.). Elle est souvent relie une interrogation concernant employs pour tablir des modles prdictifs partir dune
le niveau de conscience de soi dune telle machine (en quantit importante de donnes et les appliquer en temps
lien avec le thme de la singularit technologique). Elle rel des cas concrets. Ils laborent des prvisions sur
est par ailleurs propage par des prises de positions de des comportements ou des prfrences permettant de
personnalits du numrique disposant dune forte visibilit devancer les besoins des consommateurs, dorienter une
mdiatique, comme Elon Musk ou Stephen Hawking. Enfin, personne vers le choix jug le plus appropri pour elle... Ces
la diffusion du thme de la singularit par les milieux algorithmes peuvent par exemple tre utiliss pour proposer
transhumanistes rayonnant depuis la Silicon Valley ren- des restaurants sur un moteur de recherche.
force les discours annonant le dpassement prochain de
lhomme par les machines. Force est pourtant de constater Si lon prolonge cette approche, on peut lister ainsi les
quelle est accueillie avec scepticisme par les plus minents rinci ales onctions et a lications des algorithmes
chercheurs et experts en informatique, comme en France susceptibles de faire dbat et sur lesquelles la prsente
ean-Gabriel Ganascia. Lh oth se de la nement dune rflexion est centre :

6 Les deux grandes approches de lIA sont, dune part, lapproche symboliste et cognitiviste et, dautre part, lapproche neuro-inspire et connexionniste (apprentissage automatique,
rseaux de neurones, etc.). Les systmes experts ont connu un important dveloppement dans les annes 1 0. Les principales avances rcentes reposent sur lapprentissage
automatique.
20 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI

Produire des connaissances ; ter les algorithmes constitue un autre point essentiel que
Apparier une demande et une offre ( matching ), rpartir rencontre toute rflexion lgard de ceux-ci.
des ressources (passagers et chauffeurs de taxis, parents
et places en crche, tudiants et places luniversit, etc.) ; Il faut aussi introduire lide dautonomisation pour bien
Recommander un produit, une offre de faon person- prendre la mesure des enjeux soulevs par les algorithmes
nalise ; aujourdhui. Si les algorithmes posent question, cest aussi
Aider la prise de dcision ; parce quils permettent de dlguer des tches auparavant
Prdire, anticiper (par exemple, des phnomnes naturels, accomplies par lhomme des systmes automatiques de
des infractions, la survenue dune maladie). plus en plus autonomes . Cependant, la dlgation de
tches voire de dcisions des algorithmes traditionnels
Ces grandes fonctions dcoulent de la capacit des algo- nimplique nullement que la production des algorithmes
rithmes filtrer linformation, modliser des phnomnes elle-mme chappe lhomme. Lintervention humaine est
en identifiant des motifs parmi de grandes masses de don- bien prsente dans le recours aux algorithmes, par linter-
nes et profiler les individus7. mdiaire du paramtrage de lalgorithme, du choix et de la
pondration des critres et des catgories de donnes
Dune manire gnrale, la isi ilit accrue des algorithmes prendre en compte pour arriver au rsultat recherch. Par
et des questions quils osent aujourdhui est indissocia le exemple, si lhumain nintervient pas directement dans la
des masses de donnes indites dis osition dans tous recommandation dun restaurant par le biais dune plate-
les secteurs quil aut trier our ou oir en tirer tout le forme algorithmique, en revanche le rle des dveloppeurs
otentiel La numrisation de notre socit sous toutes ses est fondamental. En effet, ces derniers dterminent notam-
formes dmatrialisation des transactions et services, ment limportance que pourra jouer la localisation des res-
rvolution des capteurs, de lInternet des objets, diffusion taurants, leur notation par dautres usagers ou encore sa
du smartphone, gnralisation des politiques dopen data, concordance suppose (l encore en fonction de critres
etc. est lorigine de cette profusion. Celle-ci constitue dfinir) avec le profil du requteur.
aujourdhui une ressource mais aussi un dfi : si nous a ons
esoin de recommandations cest que lo re in ormation- Avec le dveloppement du machine learning, on se situe
nelle est de enue lthorique sil est ossi le de rofiler un pas plus loin dans cette dynamique dautonomisation,
cest que la quantit de donnes collectes sur les indi i- la machine crivant elle-mme les instructions quelle
dus ermet de d asser la segmentation ar catgories excute, dterminant les paramtres qui doivent la guider
rdtermines Lenjeu soulev par la qualit et la perti- dans le but daccomplir une finalit qui reste cependant
nence des donnes disponibles ou choisies pour alimen- dfinie par lhomme.

La visi ilit accrue des algorithmes


au ourdhui est indissocia le des masses de donnes
indites disposition dans tous les secteurs
quil faut trier pour pouvoir en tirer tout le potentiel

7 Le profilage est dfini par le Rglement europen sur la protection des donnes caractre personnel comme toute forme de traitement automatis de donnes caractre
personnel consistant utiliser ces donnes caractre personnel pour valuer certains aspects personnels relatifs une personne physique, notamment pour analyser ou
prdire des lments concernant le rendement au travail, la situation conomique, la sant, les prfrences personnelles, les intrts, la fiabilit, le comportement, la localisation
ou les dplacements de cette personne physique .
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI 21

e u a e et de ro e e
dan tou le e teur

Les usages des algorithmes et de lintelligence artificielle ENQUTE


se dveloppent dans tous les secteurs. Un discours port
trs nergiquement par les acteurs conomiques met en
avant les avantages et les promesses de ces outils. On
Une connaissance ingale
en mentionnera ici quelques exemples tout en renvoyant des usages des algorithmes*
pour plus de dtails aux fiches sectorielles rsentes en
annexe et tra ant les contours des grandes a lications Lintervention dalgorithmes est bien repre
des algorithmes que les dbats ont permis dvoquer8. par le public lorsquil sagit dun usage tel que
le ciblage publicitaire (90 % des sonds en ont
Les usages aujourdhui les plus banaliss ont trait, notamment, conscience).
aux moteurs de recherche sur internet, aux applications de
navigation routire, la recommandation sur les plateformes
de contenu culturel (type Netflix ou Amazon) ou sur les rseaux Elle est en revanche souvent moins clairement
sociaux, au marketing pour le ciblage publicitaire et, de plus perue en ce qui concerne lvaluation de la
en plus, pour la prospection lectorale. compatibilit amoureuse sur des applica-
tions de rencontre (46 % des rpondants) ou
Dans le domaine de la sant publique, lutilisation des algo- llaboration dun diagnostic mdical (33 %).
rithmes est mise en avant pour la veille sanitaire (dtection
dpidmies, de risques psycho-sociaux). On voque de plus * Enqute ralise dans le cadre du dbat public
par lassociation Familles rurales , association
en plus les promesses dune mdecine de prcision btissant
familiale oriente vers les milieux ruraux, auprs
des solutions thrapeutiques personnalises en croisant les de 1076 de ses adhrents.
donnes du patient celles de gigantesques cohortes.

Les fonctions rgaliennes de l tat sont galement concer-


nes par lmergence dacteurs prtendant, par exemple,
fournir des outils daide aux professions juridiques qui
permettraient, partir du traitement de donnes de juris- Sur le march de lemploi, enfin, de nombreux acteurs
prudence, danticiper lissue dun procs ou daffiner une travaillent actuellement au dveloppement de solutions
stratgie judiciaire. Les services de police, en France et daide au recrutement (par appariement de loffre et de
ltranger, commencent quant eux recourir des outils la demande demploi, notamment) et de gestion des res-
algorithmiques destins, par lanalyse de donnes, orienter sources humaines.
leurs efforts vers tel ou tel secteur.
Sans prtendre puiser un objet aux applications innom-
Le dbat largement mdiatis autour d APB a mis en brables, le tableau qui figure la page suivante donne
lumire aux yeux du grand public le recours lalgorithme cependant une ide de la faon dont les grandes fonctions
pour la rpartition de centaines de milliers dtudiants dans identifies des algorithmes et de lintelligence artificielle se
les universits. Au-del de la gestion des flux, lalgorithme retrouvent dans diffrents secteurs.
interroge les pratiques pdagogiques par des stratgies de
personnalisation de lenseignement toujours plus fines ou
par la dtection possible de dcrochages scolaires.

8 Le dveloppement industriel de lintelligence artificielle est port principalement par deux types dacteurs. Dune part, des spcialistes de la fourniture de technologies et de
services aux grandes entreprises, comme IBM avec Watson. Dautre part, les grands industriels de la donne numrique (dont les GAFA), qui investissent fortement et chargent
leurs services en IA (comme Google avec Translate, la reconnaissance dimages ou le traitement automatique de la parole).
22 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ALGORITHMES ET INTELLIGENCE ARTIFICIELLE AUJOURDHUI

Les grandes fonctions des algorithmes et de lIA dans diffrents secteurs

Education Justice Sant Scurit Travail, RH Culture Autres

Mieux cerner Mettre en T Reprer Comprendre Crer A


les aptitudes vidence de la quantit des liens les phnomnes des uvres de risque
dapprentissage les manires immense de insouponns sociaux en culturelles dun client
Gnrer de la des lves diffrencies publications pour la rsolution entreprise (peinture, dun assureur
connaissance de rendre la denqutes musique)
justice selon par les services
les rgions de gendarmerie

Rpartir les Rpartir des F - Mettre


candidats au sein patients pour pondre une liste en relation
des formations participation de candidatures
Faire du denseignement un essai avec une offre compatibles
matching suprieur (APB) clinique demploi sur des
applications de
rencontres, etc.

Prdire des Prdire Prdire Dtecter Dtecter les Crer des


dcrochages la chance des pidmies collaborateurs uvres ayant
scolaires de succs risque dans qui risquent de un maximum de
dun procs Reprer des la lutte anti- dmissionner chance de plaire
et le montant prdispositions terroriste dans les aux spectateurs
potentiel certaines prochains mois N
Prdire
de dommages- Prdire
intrts den viter le loccurrence
dveloppement future de
crimes et dlits

Recommander Recommander Proposer des Recommander Individualiser


des voies des solutions orientations de des livres des messages
dorientation de mdiation en carrire adaptes (Amazon), des politiques sur les
personnalises sries tlvises rseaux sociaux
Recommander aux lves des personnes personnes N
et des cas
similaires passs

S S S Aider le conduc-
juge la solution mdecin des forces de teur trouver
jurisprudentielle solutions police les zones le chemin le plus
Aider la plus adquate thrapeutiques prioritaires court dun point
la dcision pour un cas adaptes dans lesquelles GPS
donn patrouiller
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 23

Les enjeux thiques

thique laireu e du droit


P.24

autono ie hu aine au d de lautono ie de a hine


P.26

iai di ri ination et ex lu ion


P.31

ra entation al orith ique la er onnali ation


ontre le lo ique olle ti e
P.34

ntre li itation de a hier et d elo e ent


de lintelli en e arti ielle un quilibre rin enter
P.38

ualit quantit ertinen e len eu de donne ournie l


P.39

identit hu aine au d de lintelli en e arti ielle


P.41
24 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

Les enjeux thiques

thique laireu e du droit

La notion dthique fait souvent lobjet dusages diffrents, ENQUTE


laissant parfois place une forme dambigit. Les dfini-
tions proposes par les dictionnaires renvoient lthique
la morale, autrement dit des normes qui nont pas nces- Une perception publique
sairement vocation entrer dans le droit et qui portent sur
la conduite des individus. Chez les philosophes antiques, des algorithmes et de lIA
lthique nest ainsi rien dautre que la rponse la question empreinte de mfiance*
suivante : quest-ce quune vie bonne ? , cest--dire des
principes daction qui concernent dabord lindividu. Les trois craintes les plus partages sont la
erte de ontr le hu ain (63 % des adhrents),
Plus rcemment, la notion dthique sest notamment dve- la nor ati it et lenfermement travers
loppe comme renvoyant une forme d ct du droit, luniformisation des recrutements (56 %) et la
voqu entre autres par des acteurs privs comme les olle te di ro ortionne de donne er on-
entreprises. Lthique est alors un ensemble de normes nelle (50 %).
dictes par lentreprise et quelle simpose elle-mme.
Ces normes peuvent aller au-del du droit. Souvent, elles Dans le champ de lemploi, quelques opportuni-
peuvent navoir pour principale fonction que de redire ts sont mises en exergue comme la possibilit
consciemment ou pas des normes juridiques. Certaines dexaminer toutes les candidatures sur la base
vocations de lutilisation thique des donnes du client de critres identiques (52 %). Toutefois, de
ne sont parfois rien dautre quune faon de dire que len- r ondant en i a ent o e une ena e la
treprise se plie la loi. o ibilit d tre re rut ar de al orith e
sur la base dune analyse de leur profil et de sa
Un troisime usage de la notion dthique sans doute compatibilit un poste dfini. 1 dentre eux
le plus pertinent dans le contexte du prsent rapport affirment ainsi que la dfinition dune charte
sest dvelopp dans le langage des institutions publiques thique autour de lusage des algorithmes
depuis la cration en 1 3 du Comit Consultatif National constitue une relle priorit.
dEthique pour les sciences de la vie et de la sant (CCNE).
Dans ce cadre, lthique a ara t comme une claireuse
du droit la norme thique une rfiguration de la norme
juridique Que le lgislateur demande une institution de 72 % * Enqute ralise dans
le cadre du dbat public
par la CFE-CGC, syndicat
produire une rflexion thique place bien lhorizon plus de r ondant
de lencadrement, auprs
ou moins proche dune telle rflexion linscription lgis- en i a ent
de 1263 de ses adh-
lative de celle-ci. La cration par la loi du CCNE partageait o e une rents (essentiellement
un point commun important avec celle de la Loi pour une ena e la issus des fdrations
o ibilit Mtallurgie et Finance
Rpublique numrique et sa cration dune mission de
d tre re rut et Banque ).
rflexion thique confie la CNIL : un contexte marqu
ar de
par de rapides avances technologiques et par de fortes al orith e
incertitudes sur lattitude que la collectivit avait adopter
face celles-ci. Dune part, les progrs de la biotechnologie
(le premier bb-prouvette franais nat en 1 2), de lautre
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 25

ce qui est ressenti comme une rvolution numrique . des technologies numriques (transhumanisme, hybrida-
Linscription dans la loi dune rflexion thique rpond donc tion homme-machine, etc.), ont peu mobilis la rflexion
au besoin dun espace ncessaire pour une rflexion col- des partenaires impliqus et sont de ce fait peu dvelopps
lective sur un pacte social dont certains aspects essentiels dans le rapport.
(liberts fondamentales, galit entre les citoyens, dignit
humaine) peuvent tre remis en question ds lors que
lvolution technologique dplace la limite entre le possible
et limpossible et ncessite de redfinir la limite entre le
souhaitable et le non souhaitable.
Lvolution technologique
La CNIL a choisi pour cette premire rflexion de sappuyer dplace la limite entre
sur les acteurs dsireux de sexprimer sur les sujets lis
aux algorithmes et lintelligence artificielle. Les enjeux le possible et limpossible
thiques retenus sont donc ceux qui ont t voqus par et ncessite de redfinir
ces mmes acteurs. De manire logique, ces enjeux sont
pour la plupart dj bel et bien prsents dans nos socits, la limite entre le souhaitable
mme sils sont probablement appels gagner en inten- et le non souhaitable
sit dans les annes venir. En revanche, des enjeux plus
prospectifs, lis des progrs pour lheure hypothtiques

LE REGARD DU CITOYEN
Les participants la concertation citoyenne organise par la CNIL Montpellier le 14 octobre 2017 se
sont prononcs sur les questions thiques poses par les algorithmes et lintelligence artificielle voir
Une dmarche innovante au service de llaboration dune rflexion thique collective et pluraliste :
les enjeux quils soulvent rsonnent en grande partie avec ceux identifis tout au long du dbat public.

Les citoyens semblent prioritairement proccups par les nouvelles modalits de prise de dcision et
la dilution de la responsabilit cres par lalgorithme. La erte de o ten e entuelle de de-
in ou de lo eur qui se reposeraient intensment sur lalgorithme a t mise en exergue. Parmi les
consquences prjudiciables voques : une gestion des incertitudes juge inefficace che la machine
comparativement ce dont est capable lhomme ; une incapacit grer les exceptions ou encore la
perte du sentiment dhumanit (voques notamment propos de labsence de recours sur APB ).

Le recours des systmes informatiques, parfois autonomes, pour prendre des dcisions fait craindre que
la re on abilit en cas derreurs ne soit pas claire , une proccupation souleve notamment propos
du secteur mdical. Concernant le cas APB , certains citoyens critiquent le manque de transparence qui
explique que lalgorithme serve de bouc missaire faisant tampon entre ceux qui font des choix politiques
et ceux qui se plaignent de ces choix . La problmatique de la personnalisation informationnelle sur les
rseaux sociaux et de ses effets collectifs, voque au sujet des lections prsidentielles aux Etats-Unis,
accentue galement leur crainte que plus personne ne soit rellement responsable du contrle dInternet .

Moins voqu, le danger de lenfermement algorithmique est cependant mentionn par plusieurs participants
des ateliers ressources humaines et plateformes numriques . Les citoyens ont aussi voqu le risque
de or ata e des recrutements, et la rationalisation conscutive dun champ qui ne devrait pas autant
ltre, ou encore celui dtre fig sur Internet dans un profil qui freinerait nos volutions personnelles .

Enfin, la thmatique de biai de di ri ination et de lex lu ion mrite une vigilance toute particulire
aux yeux des participants, et cela que les biais en question soit volontaires (en matire de recrutement, on
craint lventualit quun algorithme soit cod selon les objectifs des employeurs aux dpens des salaris )
ou involontaires (loutil algorithmique est facteur dinquitudes quant aux erreurs quil pourrait gnrer).
26 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

autono ie hu aine au d
de lautono ie de a hine

Au-del de la multiplicit des applications pratiques et des La dlgation de tches aux algorithmes :
utilisations qui peuvent en tre faites, algorithmes et intel-
ligence artificielle ont our o jet commun daccom lir
des situations contrastes
automatiquement une t che ou une o ration im liquant
une orme d intelligence qui serait autrement e ectue Il semble demble assez vident que les implications
directement ar un agent humain Autrement dit, il sagit thiques et sociales otentielles du hnom ne accru de
pour lhomme de dlguer des t ches des s st mes dlgation de t ches des s st mes automatiss r-
automatiques9. sentent des degrs asse aris de sensi ilit selon les
tches quil sagit de dlguer et selon les modalits mmes
Le cas d en o re un on exem le Ce logiciel dtermine de cette dlgation.
laffectation des bacheliers dans lenseignement suprieur. Il
peut tre considr comme ne faisant rien dautre que dap- Il est ainsi possible de faire un pas supplmentaire pour dis-
pliquer un ensemble dinstructions et de critres qui pour- tinguer les cas sur lesquels la rflexion doit se concentrer,
raient tout aussi bien ltre par des fonctionnaires. Lintrt au moyen dune t ologie du hnom ne de dlgation
essentiel du recours lalgorithme est dans ce cas le gain do rations des s st mes automatiss en fonction de
de productivit induit par la dlgation dune tche trs co - deux critres : lim act sur lhomme de lo ration quil sagit
teuse en temps et en moyens un systme automatique. Un de dlguer et le t e de s st me qui il est question de
autre intrt de lalgorithme est de garantir le dploiement dlguer celle ci
uniforme et impartial des rgles dfinies en amont pour la
rpartition des futurs tudiants. En effet, lapplication de ces Le premier critre concerne le type dimpact et/ou lampleur
mmes rgles par une chane administrative complexe peut de lopration dlgue au systme automatis. Il peut sagir
donner prise, bien plus facilement, des formes darbitraires dune tche routinire, mcanique et relativement anodine
ou mme tout simplement des interprtations diffrentes (par exemple, le classement par ordre alphabtique dune
selon les agents qui les appliquent. Spcialiste des politiques srie de fichiers informatiques). loppos, cette tche peut
ducatives, Roger-Franois Gauthier nhsite ainsi pas affir- perdre son caractre anodin et savrer dune grande com-
mer quAPB a au moins eu le mrite de mettre fin un sys- plexit. Elle peut, surtout, prendre les aspects dune dcision
tme mafieux o le passe-droit avait sa place10. et revtir une importance vitale pour une personne ou pour
un groupe, comme lorsquil sagit dtablir une aide au dia-
Si APB est un algorithme dterministe classique, lutilisation gnostic mdical. Entre ces deux extrmes se dploie un large
de la reconnaissance de ormes our identifier en tem s spectre de situations contrastes. On y retrouverait les deux
rel des em arcations sur les hotogra hies satellitaires exemples voqus ci-dessus ou encore celui de la voiture
de trs vastes surfaces maritimes fournit quant elle une autonome, ce dernier ainsi que le cas dAPB tant relative-
illustration de la faon dont lintelligence artificielle permet ment plus proches du cas du diagnostic mdical automatis
aussi daccomplir des tches qui pourraient autrement sav- que de lautre bout du spectre.
rer trop co teuses en ressources humaines. Un simple logi-
ciel peut ainsi assurer la surveillance 24 heures sur 24 de Le second critre concernerait quant lui le type de systme
zones immenses qui ncessiterait autrement lactivit de automatis algorithme classique ou algorithme de machine
nombreuses personnes. learning qui lon dlgue lopration. Une autre faon de
prsenter ce critre est dvoquer le degr dautonomie du
De faon plus prospective, il serait au moins techniquement systme en question, en particulier sa capacit ou non
envisageable de confier comme cela se fait dj aux Etats- laborer ses propres critres de fonctionnement. De mme,
Unis des algorithmes le soin dvaluer la dangerosit dun ce critre renvoie la capacit ou non du systme de pro-
dtenu et donc lopportunit dune remise de peine. Ltape duire une explication satisfaisante des rsultats quil fournit.
supplmentaire de ce que certains appellent la justice pr-
dictive serait de confier des systmes le soin dtablir Cette typologie souligne la grande diversit des situations
des dcisions sur la base de lanalyse des donnes du cas impliques par une rflexion sur les enjeux thiques et
juger croises aux donnes de jurisprudence. sociaux des algorithmes et de lintelligence artificielle. Elle
met surtout en vidence ltendue du spectre sur lequel peut

9 En toute rigueur, rappelons-le, ce nest dailleurs gnralement pas tant le recours lalgorithme qui constitue le fait nouveau que son excution sous la forme dun programme
informatique.
10 vnement de lancement du dbat public, CNIL, 23 janvier 2017.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 27

se situer le degr de gravit ou de sensibilit des enjeux tion humaine sans a outir une dres onsa ilisation de
lis lutilisation de tel ou tel algorithme. lhomme une erte dautonomie

Dans le domaine mdical o la qualit de la prise de dcision


La dlgation de dcisions critiques aux peut tre plus facilement value (ou, du moins, quantifie),
algorithmes: une dresponsabilisation ? on peut logiquement se demander quelle marge dautono-
mie resterait au mdecin face la recommandation (en
Les dcisions les plus cruciales (diagnostics mdicaux, dci- termes de diagnostic et de solution thrapeutique pri-
sions judiciaires, dcision douvrir le feu dans un contexte vilgier) qui serait fournie par un systme d aide la
de conflit arm etc.) qui pourraient tre, voire commencent dcision extrmement performant. On annonce en effet
tre ( ltranger notamment) dlgues des systmes que lintelligence artificielle serait suprieure lhomme
automatiss sont au moins dans certains cas dj clai- pour le diagnostic de certains cancers ou pour lanalyse
rement thmatises par la tradition juridique, en France. Seul de radiographies. Dans le cas o ces annonces savre-
un mdecin est ainsi habilit tablir un diagnostic qui, autre- raient exactes, il pourrait donc devenir hasardeux pour un
ment, relverait de lexercice illgal de la mdecine. Il en va de mdecin dtablir un diagnostic ou de faire un choix th-
mme de la dcision du juge, qui ne saurait en toute rigueur rapeutique autre que celui recommand par la machine,
tre dlgue un systme automatis. Dans cette perspec- laquelle deviendrait ds lors le dcideur effectif. Dans ce
tive, ce type de systme est prsent dans ces domaines cas, se pose alors la question de la responsabilit. Celle-ci
comme une aide la prise de dcision. doit-elle tre reporte sur la machine elle-mme, quil sagi-
rait alors de doter dune personnalit juridique ? Sur ses
Cette clart juridique ne rsout cependant pas les pro- concepteurs ? Doit-elle tre encore assume par le mde-
blmes que soulve lventualit dune dlgation de ce cin ? Mais alors, si cela peut certes sembler rsoudre le
type de dcisions. omment sassurer que la rdiction et problme juridique, cela naboutit-il quand mme pas
la recommandation ournies ar les algorithmes ne soient une dresponsabilisation de fait, au dveloppement dun
e ecti ement quune aide la rise de dcision et lac- sentiment dirresponsabilit ?

FOCUS

Les dfis thiques dune police prdictive


La qute dune prdiction du crime dans le temps et dans lespace serait capable de prdire le crime dans
le temps et dans lespace, afin dorienter laction des patrouilles, fait lobjet dun dveloppement actif de
logiciels algorithmiques. Aux Etats-Unis, red ol sappuie sur des modles emprunts la sismolo-
gie pour valuer lintensit du risque tel endroit et tel moment. La start-up prtend ainsi intgrer la
dimension contagieuse de la diffusion spatiotemporelle des dlits.

Ce potentiel prdictif sest pourtant rvl limit, dune part, car la contagion a un impact ngligeable pour
la dtection de crimes comparativement aux rpliques dun sisme et, dautre part, car la structure de la
criminalit varie dune anne lautre. Pourtant, cela ne dissipe pas lattrait de tels dispositifs consistant
permettre de rer elon de rit re e tionnaire lo re ublique de i ilan e quotidienne Trs
concrtement, le carr prdictif reste rouge sur la carte tant que la police ny a pas patrouill, il tourne
ensuite au bleu lors des premiers passages, puis il apparat en vert lorsque le policier a pass le temps
suffisant et optimal calcul selon les ressources disponibles 11.
Une crainte majeure merge : quid du risque que les prconisations de la machine soient apprhendes
comme une vrit absolue, non soumise la discussion quant ses consquences pratiques ? Dans la
mesure o lalgorithme se repose sur les donnes issues des plaintes des victimes, une consquence
pratique constate est celle dune prsence policire renforce dans les zones o les publics portent
plainte avec plus de fluidit, et ainsi un phnomne dexclusion de loffre de scurit publique pour
certaines populations (celles qui signalent moins). On peut imaginer, au contraire, que lutilisation de
ce type dalgorithme focalise lattention policire sur certains types dinfractions au dtriment dautres.

Dans tous les cas, une apprhension critique de ce type doutil est une ncessit majeure. Quid galement
de la capacit juger de lefficacit de ces modles ? uun dlit soit dtect par une patrouille oriente
par le systme, ou que ce ne soit pas le cas, le rsultat pourrait facilement (mais faussement) tre inter-
prt comme un signe de lefficacit de loutil.

11 Bilel Benbouzid, A qui profite le crime ? Le march de la prdiction du crime aux Etats-Unis , www.laviedesidees.fr
28 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

Le cas de la mdecine est particulirement critique non est de part en part dtermin par des choix (de critres, de
seulement en raison de limpact des dcisions et recom- types de donnes fournies au systme) humains14.
mandations sur les personnes mais aussi en raison du
fait que la discussion implique ici des systmes fonds Limpact des algorithmes sur la conception et lapplication
sur la technologie du machine learning. Ceci implique que de la norme pourrait aussi prendre une autre forme. Le
les logiques sous-jacentes des systmes dintelligence Conseil National des Barreaux, dans le rapport quil a remis
artificielle sont potentiellement incomprhensibles pour la CNIL, souligne ainsi qu il aut iter que lo session
celui qui ils sont proposs, autant dailleurs que pour les de le ficacit et de la r isi ilit qui moti e le recours
concepteurs du systme. Le dbat public organis par la lalgorithme nous conduise conce oir les catgories et
CNIL a dailleurs t loccasion de constater une contro- les r gles juridiques non lus en considration de notre
verse sur ce point, propos notamment du logiciel Watson idal de justice mais de mani re ce quelles soient lus
dIBM. Le discours dIBM souligne que Watson fonctionne acilement coda les
sur le mode de l apprentissage supervis . Autrement dit,
le systme est accompagn pas pas dans son appren- Il nest pas exclu que cette volution progressive vers des
tissage, ce qui permettrait den contrler la logique, par formes de rglementation algorithmique puisse pr-
opposition un apprentissage non supervis qui reviendrait senter une sorte dattrait pour les dcideurs eux-mmes.
effectivement laisser une pleine et entire autonomie la Dlguer des dcisions une machine suppose neutre,
machine pour dterminer ses critres de fonctionnement. impartiale, infaillible peut tre une faon dluder sa propre
IBM indique galement contrler le fonctionnement des responsabilit, de sexempter de la ncessit de rendre
systmes avant de dcider de conserver lapprentissage compte de ses choix. Le d elo ement darmes ltales
ralis. Au contraire, les chercheurs experts de ce domaine autonomes ro ots tueurs qui pourraient prendre elles-
qui ont eu loccasion de sexprimer lors des diffrents dbats mmes la dcision de tuer sur le champ de bataille ou
organiss (et notamment la CERNA) ont rgulirement rap- des fins de maintien de lordre soulve la question avec une
pel quen ltat actuel de la recherche les rsultats fournis particulire acuit. Lacte de tuer, mme considr comme
par les algorithmes de machine learning les plus rcents lgitime, dans une situation de conflit international et face
ntaient pas explicables. Cette explicabilit constitue dail- un ennemi arm, ne doit-il pas rester sous le contrle et
leurs lobjet de recherches en cours. Ils insistent galement la responsabilit directe de lhomme ? Sa difficult et son
sur le fait quil est trs difficile de contrler effectivement caractre ventuellement traumatique pour celui-l mme
un systme de machine learning. qui laccomplit ne doivent-ils pas tre considrs comme
une garantie ncessaire pour viter toute drive ?
n eut ainsi se demander si les algorithmes et lintelli-
gence artificielle ne conduisent as une orme de dilu- es considrations ne concernent as que les situations
tion de figures dautorit traditionnelles de dcideurs de o des t ches ou des dcisions sont dlgues un algo-
res onsa les oire de lautorit m me de la r gle de droit rithme a renant Lalgorithme classique dterministe est
Cette volution est parfois explicitement souhaite. galement concern Les dbats autour de lalgorithme
Certains, comme Tim OReilly, imaginent dores et dj lav- dAPB en ont offert un bon exemple, sinon une manire
nement dune rglementation algorithmique12 qui verrait de comprendre comment peut se mettre en place un tel
la gouvernance de la cit confie aux algorithmes : grce rocessus de d olitisation et de neutralisation de choix
aux capteurs connects, lieux, infrastructures et citoyens de socit mritant ourtant de aire lo jet dune discus-
communiqueraient en permanence des donnes traites sion u lique La polmique sest en effet concentre sur
en vue de rationaliser et doptimiser la vie collective selon lalgorithme lui-mme, notamment la suite de la rvlation
des lois considres comme naturelles , manant des de la mise en uvre du tirage au sort quil induisait pour
choses mmes, une normativit immanente , comme certains candidats des filires en tension. Or, lalgorithme
lexpliquent Thomas Berns et Antoinette Rouvroy13. Sans nest jamais que le reflet de choix politiques, de choix de
doute faut-il remarquer ici que la tentation rvle par ces socit. En loccurrence, le recours au tirage au sort pour
discours de se passer dune normativit humaine et de lattribution de places dans des filires en tension est le
prfrer une normativit algorithmique est favorise par les rsultat dun choix politique dont deux alternatives pos-
discours marchands. Ces derniers vantent l objectivit sibles seraient schmatiquement la slection lentre
suppose des systmes automatiques (par opposition un luniversit ou linvestissement pour faire correspondre le
jugement humain toujours faillible). Ils influent donc sur la nombre de places disponibles dans les filires en question
tendance des utilisateurs prendre le rsultat produit par avec la demande. En dautres termes, code is law , pour
une machine pour une vrit incontestable, alors mme quil reprendre la fameuse formule de Lawrence Lessig.

12 Tim OReilly, Open data and algorithmic regulation , in Brett Goldstein (dir.), Beyond Transparency: Open Data and the Future of Civic Innovation, San Francisco, Code for
America, 2013, pp. 2 -301.
13 Rouvroy Antoinette, Berns Thomas, Gouvernementalit algorithmique et perspectives dmancipation. Le disparate comme condition dindividuation par la relation ? ,
Rseaux, 2013/1 (n 177), p. 163-1 6.
14 La prtendue objectivit machinique nest ce titre quune subjectivit dilue et non assume.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 29

On ne saurait en effet considrer quun algorithme (entendu Il est dailleurs probable que cder cette facilit ait pour
au sens large comme le systme socio-technique dont il fait contrepartie un sentiment dinhumanit chez les personnes
partie) puisse tre neutre , dans la mesure o il incorpore concernes. Ce sentiment est susceptible de se transfor-
invitablement des partis pris que ceux-ci soient sociaux, mer en rejet, en particulier si nest prvue aucune possibilit
politiques, thiques ou moraux et rpond le plus souvent de contacter lorganisme responsable et dchanger pour
des finalits qui incluent une dimension commerciale trouver des solutions ou tout simplement pour tre
pour son auteur. Lexemple frquemment voqu du choix cout , ainsi que la soulign le mdiateur de l ducation
que pourrait tre amen faire lalgorithme dune voiture nationale16.
sans chauffeur de sacrifier ou bien son occupant ou bien
un piton sur la route illustre la faon dont le recours la Dans le cas dun algorithme dterministe tel quvoqu ici,
technique, plus que de soulever certains problmes moraux, la dilution de la responsabilit nest pourtant quapparente.
a surtout pour effet de les dplacer : un dilemme rgl Les choix et les dcisions cruciales se trouvent tout simple-
en temps rel par une personne implique dans sa chair ment dplacs au stade du paramtrage de lalgorithme.
fait place un choix effectu par dautres, ailleurs, bien en
amont15. Est-ce dire que ceux qui matrisent le code informatique
deviennent les vritables dcideurs et que se profile le risque
Au-del de la finalit dlibrment vise travers la mise en que le pouvoir se trouve concentr dans les mains dune
place dAPB (efficacit administrative renforce et harmo- petite caste de scribes (Antoine Garapon, vnement de
nisation plus quitable de lattribution de places dans len- lancement du dbat, le 23 janvier 2017) ? Ce nest certes
seignement suprieur), force est de constater que celle-ci pas ce qua donn voir le cas dAPB. Suite louverture
a pour effet induit lescamotage de choix de socit impli- du code source des algorithmes de ladministration qua
qus par le paramtrage du systme mais masqus par impose la loi pour une Rpublique numrique, celui dAPB
limpartialit suppose de lalgorithme. Les responsables a t examin par la mission Etalab. Il sest avr que ses
de la mise en uvre de lalgorithme auquel est dlgue dveloppeurs avaient pris soin dy documenter lorigine de
une prise de dcision devraient donc chercher des moyens chaque modification du paramtrage de lalgorithme, en
de contrer ce type deffets (par exemple, par un effort din- loccurrence les directives quils avaient reues de la part
formation du public concern). Ils devraient en tout cas de ladministration. En somme, la traabilit de la respon-
sinterdire de lexploiter en se cachant derrire la machine sabilit a t organise par les dveloppeurs mmes dAPB.
ou mme de sen accommoder dans la mesure o il a ten- Cet exemple ne doit cependant pas masquer le fait que la
dance neutraliser des conflits ou des dbats lgitimes. logique algorithmique a tendance dporter la prise de
dcision vers les tapes techniques de conception dun
systme (paramtrage, dveloppement, codage), lequel ne
fait ensuite que dployer automatiquement et sans faille
les choix oprs initialement. La proccupation dAntoine
Garapon voque prcdemment ne saurait donc pas tre
carte et appelle des rponses. l est essentiel que ces
ta es de conce tion ne sautonomisent as exagrment
au oint de de enir le lieu de la rise de dcision

Les algorithmes La question du lieu de la res onsa ilit et de la dcision


et lintelligence artificielle se ose en artie di remment d s lors quil sagit de s s-
tmes de machine learning. Sans doute faut-il ici davantage
conduisent une forme penser en termes de chane de responsabilit, depuis le
de dilution de figures dautorit concepteur du systme jusqu son utilisateur, en passant
par celui qui va entraner ce systme apprenant. En fonction
traditionnelles des donnes qui lui auront t fournies, ce dernier se com-
de dcideurs de responsa les portera diffremment, en effet. On peut penser ici au cas
du robot conversationnel Tay mis en place par Microsoft
voire de lautorit m me et suspendu au bout de 24 heures quand, aliment par des
de la rgle de droit donnes dutilisateurs des rseaux sociaux, il avait com-
menc tenir des propos racistes et sexistes. Reste quor-
ganiser prcisment la rpartition de la responsabilit entre

15 Voir ce sujet lexcellent site du MIT offrant une illustration pratique de ces dilemmes : http://moralmachine.mit.edu/
16 Le Monde, 2 juin 2016 : Le mdiateur de lEducation Nationale dnonce la solitude des familles face APB .
30 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

ces diffrents maillons de la chane est un problme ardu. ment eux pour dcider des itinraires quils empruntent,
Au-del, aut il conditionner lutilisation de lintelligence peuvent avoir des impacts importants sur le trafic urbain,
artificielle la ca acit dattri uer de a on a solument la rpartition de la pollution et terme, peut-tre, sur la
claire cette res onsa ilit On sait dores et dj que des forme mme de la ville et de la vie urbaine. Le Laboratoire
intelligences artificielles peuvent tre plus performantes dinnovation numrique (LINC) de la CNIL lexplique ainsi :
que lhomme pour raliser certaines tches, sans que lon Hormis la question de la captation des donnes person-
ait une claire comprhension du fonctionnement de ces nelles, se pose celle de la perte de contrle de lacteur public
systmes et donc, aussi, des erreurs ventuelles quils pour- sur lamnagement de lespace public, sur la gestion des
raient commettre. Rand Hindi explique ainsi que les IA flux, et au-del sur la notion mme de service public et
font moins derreurs que les humains mais quelles font dintrt gnral. La somme des intrts individuels des
des erreurs l o des humains nen auraient pas fait. Cest clients dun Waze peut parfois entrer en contradiction avec
ce qui est arriv avec laccident de la voiture autonome de les politiques publiques portes par une collectivit17 .
Tesla, qui ne serait jamais arriv avec un humain . Faut-il
alors imaginer dattribuer une personnalit juridique ces Cathy ONeil, dans son ouvrage Weapons of Math
systmes ? Ou faire endosser la responsabilit lutilisa- Destruction18, propose un exemple particulirement vo-
teur lui-mme (en loccurrence, dans le domaine mdical, cateur. Elle imagine quelle pourrait modliser les rgles
au patient) ? quelle suit implicitement pour composer les repas de ses
enfants (diversit, prsence de lgumes verts mais dans
Sans doute ne faut-il toutefois pas exagrer la spcificit des limites permettant de prvenir de trop fortes protesta-
du cas du machine learning. Imaginons une intelligence tions, relchement des rgles les dimanches et jours de fte,
artificielle charge de rpartir les malades dans les ser- etc.). Un programme mettant en uvre un tel algorithme
vices dun hpital et de fixer la fin de leur hospitalisation ne poserait pas de problme tant quil ne serait utilis pour
de la manire la plus efficace possible. Certainement, gnrer automatiquement des repas que pour un nombre
le systme aurait une part dopacit lie son caractre limit de personnes. Or, la caractristique spcifique des
apprenant. Mais, dans le mme temps, les objectifs qui lui algorithmes excuts par des programmes informatiques
seraient assigns, ainsi que leur pondration (garantir le est leur chelle dapplication. Un tel programme, utilis tel
maximum de gurisons long terme, minimiser le taux de quel par des millions de personnes, aurait ncessairement
rhospitalisations brve chance, rechercher la brivet des impacts puissants et potentiellement dstabilisateurs
des sjours, etc.), seraient bien des choix explicitement sur de grands quilibres sociaux et conomiques (rench-
faits par lhomme. rissement du prix de certaines denres, effondrement de la
production dautres produits, uniformisation de la produc-
tion, impact sur les professions de la filire agro-industrielle,
Une question dchelle : la dlgation etc.). est ici un as ect ien s cifique des algorithmes
massive de dcisions non critiques in ormatiques d lo s aujourdhui lheure d nternet qui
constitue le ait nou eau et que lauteur met en idence
leur chelle de d loiement Sans doute cet aspect ne
La rflexion thique sur les algorithmes et lintelligence saurait-il tre ignor par ceux qui dploient des algorithmes
artificielle doit-elle se cantonner considrer les dcisions susceptibles dtre utiliss une large chelle.
cruciales, les secteurs o limpact sur lhomme est incon-
testable, comme la mdecine, la justice, lorientation sco-
laire, voire lautomobile, avec ses implications en termes Loptimisation algorithmique comme
de scurit ? e aut il as rendre en com te galement crasement du temps et de lespace
les algorithmes qui nous sommes amens dlguer
rogressi ement de lus en lus de t ches et de dci-
sions a aremment anodines mais qui mises out out Lune des caractristiques du fonctionnement algorithmique
constituent lto e de nos existences quotidiennes est son immdiatet et sa simplicit, du moins son unifor-
mit et son caractre inexorable. Les algorithmes dIA ont
Simplement par leur capacit fonctionner de faon la capacit daccomplir une tche dans un temps presque
rpte, sur de longues dures et surtout de trs vastes immdiat (rduit au temps du seul calcul de la machine).
chelles, les algorithmes peuvent avoir un impact consid- Ils ont la capacit daccomplir cette mme tche une trs
rable sur les personnes ou sur les socits. Par exemple, les large chelle spatiale mais de faon identique en tous lieux.
critres de fonctionnement dune banale application de gui- ce titre, ils peuvent prsenter un grand attrait pour des
dage automobile, ds lors quils sont utiliss par un nombre administrations ou des entreprises soucieuses defficacit
consquent dautomobilistes qui sen remettent implicite- mais aussi de rationalit et dhomognit de leur action.

17 CNIL (LINC), La Plateforme dune ville. Les donnes personnelles au cur de la fabrique de la smart city, Cahier IP n 5, octobre 2017, p. 20.
18 Cathy ONeil, Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown, 2016.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 31

Or, cette caractristique des algorithmes implique aussi et mettre en vidence des disparits dapplication de la loi
une dimension potentiellement problmatique : lcrase- dans diffrentes juridictions. Le dvoilement de ces dispa-
ment de la dure et de la dimension s atiale du rocessus rits dont le juge na pas lui-mme conscience aurait pour
dlgu la machine eut aussi constituer une erte consquence une harmonisation de lapplication de la loi
un a au rissement de laction Les cas des algorithmes sur le territoire national. Pourtant, est-on absolument cer-
utiliss par ladministration ainsi que celui de la justice pr- tain que, dans certaines limites, des formes de disparits
dictive permettent de mieux saisir cette ambivalence, entre rgionales ne traduisent pas en fait un usage raisonn de
optimisation et appauvrissement de processus vids de la prudence du juge et ladaptation intelligente et fine de
leur dimension spatiale. celui-ci des ralits sociales pouvant varier dun lieu
lautre ? Une forme de respiration de la loi, peut-tre, dis-
Ainsi, le dploiement dun algorithme comme celui du logi- tinguer de son application automatique et rigide ?
ciel APB peut certes tre considr comme garant pour lad-
ministration dune forme de simplicit et dharmonisation On peut appliquer le mme type de raisonnement lide
de lapplication des rgles, l o le fonctionnement dune dune justice prdictive qui, pousse son extrme (une
chane administrative complexe et nombreuse peut don- dcision de justice rendue par une intelligence artificielle),
ner prise des diffrences dinterprtation et dapplication. luderait lapport de la dlibration en commun et de ce
Pourtant, ce qui peut apparatre premire vue comme un qui peut sy jouer travers la confrontation dindividuali-
manque defficacit ou comme le signe dun fonctionne- ts partageant un objectif commun. La dli ration de
ment parfois erratique ne peut-il pas tre aussi considr jurs et de magistrats nest as que le sim le d loiement
comme une source prcieuse dinformation pour les dci- darguments rexistants la mani re dont un logiciel
deurs, via les retours dexpriences et les questionnements excute un rogramme La dure n est as quun
de ceux qui sont chargs dappliquer les rgles et peuvent dcor accessoire une ressource dont il con iendrait de
en observer le dploiement et ventuellement les limites, limiter la d ense elle est un acteur art enti re
au plus prs du terrain ? Elle implique la capacit des jurs voluer au cours de
lchange darguments, changer de positions, ainsi que
De mme, le colloque sur la justice prdictive organis le le montre mieux que toute dmonstration le film de Sidney
1 mai 2017 par le Barreau de Lille, la Facult de droit de Lumet, Douze hommes en colre.
lUniversit catholique de Lille et la cour dappel de Douai a
vu certains participants souligner que la connaissance des Il semble en tout cas souhaitable dattirer lattention des
dcisions rendues par les autres juridictions voisines ou par utilisateurs dalgorithmes et dintelligence artificielle sur
les autres magistrats contribuera une certaine harmonie la ncessit de ne pas prendre en compte seulement les
et vitera que lissue dun litige dpende de la question de apports, mais aussi les inconvnients ventuels de ces
savoir sil est plaid Lille ou Marseille . Lide repose technologies, leur caractre potentiellement ambivalent,
ici sur la capacit des algorithmes traiter les grandes et de rflchir aux moyens de les contrer.
masses de donnes de jurisprudence mises en open data

iai di ri ination et ex lu ion

La propension des algorithmes et de lintelligence artificielle qui lui ont t fournies dun systme de valeurs et de choix
gnrer des biais pouvant conduire leur tour crer ou de socit. Le dbat autour des biais et des discriminations
renforcer des discriminations sest impose comme un quils peuvent gnrer nest donc quun miroir grossissant
sujet dinquitude et de questionnement. Le constat mrite mettant en valeur cette caractristique essentielle dans ce
dautant plus dtre soulign que ces systmes techniques quelle a de plus problmatique.
peuvent galement parfois nourrir une croyance en leur
objectivit. Une objectivit dautant plus prcieuse quelle Plusieurs exemples ont rcemment illustr de faon parti-
ferait souvent dfaut aux humains. Tout algorithme est culirement nette et choquante ce type de biais. En 2015,
pourtant, en un sens, biais, dans la mesure o il est tou- un logiciel de reconnaissance faciale de Google a ainsi
jours le reflet travers son paramtrage et ses critres de suscit une forte polmique. Un jeune couple dAfro-Am-
fonctionnement, ou travers les donnes dapprentissage ricains sest rendu compte quune de ses photos avait t
32 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

tiquete sous le tag gorille . Lexplication de ce dysfonc- Notons dailleurs que des actes de malveillance volontaires
tionnement rside dans le type de donnes avec lesquelles de la part de personnes impliques dans le processus den-
lalgorithme a t entran pour reconnatre des personnes. tranement de ce type dalgorithmes ne sont pas exclus.
En loccurrence, il est vraisemblable quil lait t au moyen Ainsi en a-t-il t pour le robot conversationnel Tay dve-
essentiellement, voire exclusivement, de photographies de lopp par Microsoft et qui sest mis profrer sur Twitter
personnes blanches (dautres exemples existent dailleurs des propos racistes et sexistes aprs quelques heures de
de biais racistes de logiciels de reconnaissance dimage au fonctionnement et dentranement au contact des propos
dtriment de personnes de type asiatique ). En cons- que lui adressaient des internautes.
quence, lalgorithme a considr quune personne de cou-
leur noire prsentait plus de similitude avec lobjet gorille Les biais des algorithmes peuvent aussi tre des biais de
quelle avait t entraine reconnaitre quavec lobjet genre. En 2015, trois chercheurs de lUniversit Carnegie
humain . Mellon et de lInternational Computer Science Institute

FOCUS

Des algorithmes contre la rcidive ?


Les applications de justice prdictive font lobjet dune attention publique toute particulire quant leurs
potentiels effets discriminatoires. Une polmique a clat autour de lapplication COMPAS (Correctional
ffender Management Profile for Alternative Sanction visant produire un ore de ri que de r idi e
pour les dtenus ou accuss lors dun procs. Bien que des outils danalyse statistique de donnes aient
dj t dploys au sein des tribunaux amricains depuis les annes 1970, un tel calcul automatique
sous la forme de score revt un caractre nouveau pour la prise de dcisions de libration conditionnelle.

En dautres termes, le travailleur social utilisant COMPAS a recours une interface lui permettant de
rpondre, en collaboration avec le prvenu, des questions du type Que pense le prvenu de la police ? ,
Quelles sont les caractristiques des amis du prvenu ? , Certains dentre eux ont-ils dj t condam-
ns ? 19. Un score de risque est ainsi calcul et ajout au dossier du prvenu.

Le site ProPublica a accus Nortphointe, socit commercialisant COMPAS, de produire des scores biai
et ra i te 20 Ce constat repose sur la confrontation des scores de rcidive de dtenus librs avec lob-
servation, ou non, dune arrestation sur une priode de deux ans. Le taux de faux positifs (cest--dire un
score lev mais sans rcidive effective observe) sest rvl considrablement plus fort pour les anciens
dtenus dorigine afro-amricaine que pour les individus blancs.

ont mis en vidence la faon dont Adsense, la plateforme Ici encore, les causes prcises sont difficiles tablir. Il
publicitaire de Google, gnrait un biais au dtriment des est bien s r envisageable quun tel biais soit le fruit dune
femmes. laide dun logiciel baptis Adfisher, ils ont cr volont des annonceurs eux-mmes : ceux-ci auraient alors
17 000 profils dont ils ont ensuite simul la navigation sur dlibrment choisi dadresser des offres diffrentes aux
le Web afin de mener une srie dexpriences. Ils ont ainsi hommes et aux femmes. Mais il est tout aussi possible
constat que les emmes se o aient ro oser des o res que ce phnomne soit aussi le rsultat dune raction de
dem loi moins ien rmunres que celles adresses lalgorithme aux donnes quil a reues. En loccurrence, les
des hommes ni eau similaire de qualification et dex - hommes auraient pu avoir davantage tendance en moyenne
rience Il est apparu quun nombre restreint de femmes rece- cliquer sur les publicits annonant les emplois les mieux
vaient des annonces publicitaires en ligne leur proposant un rmunrs tandis que les femmes auraient eu tendance
emploi au revenu suprieur 200 000 dollars annuels. Loin sautocensurer, selon des mcanismes bien connus des
dtre anecdotique, la publicit en ligne cible de Google sciences sociales. Ds lors, le biais sexiste de lalgorithme
est tellement omniprsente que linformation propose ne serait pas autre chose que la reproduction dun biais
aux personnes est susceptible davoir un effet tangible sur prexistant dans la socit.
les dcisions quelles prennent , souligne Anupam Datta,
co-auteur de ltude.

19 https://usbeketrica.com/article/un-algorithme-peut-il-predire-le-risque-de-recidive-des-detenus
20 https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 33

Troisime exemple, en avril 2016, il a t rvl quAma- LE SAVIEZ-VOUS ?


zon avait exclu dun de ses nouveaux services (la livraison
gratuite en un jour) des quartiers peupls majoritairement
de populations dfavorises Boston, Atlanta, Chicago, loccasion du dbat organis le 24 juin 2017
Dallas, New ork et Washington. lorigine, un algorithme par le Gnotoul (Toulouse), Philippe Besse,
dAmazon avait mis en vidence, en analysant les donnes Professeur de mathmatiques et de statistique
sa disposition, que les quartiers en question noffraient lUniversit de Toulouse a soulign que nous
gure de possibilits de profit pour lentreprise. Mme si ne sommes pas tous gaux devant la mde-
lobjectif dAmazon ntait assurment pas dexclure de ses cine personnalise, car les bases de donnes
services des zones parce que leur population tait majo- utilises lheure actuelle sont largement
ritairement noire, tel savrait pourtant bien tre le rsultat biaises : une tude a rvle quen 2009, 96 %
de lutilisation de cet algorithme : dans six grandes villes, des chantillons de ces bases ont des anctres
il apparat clairement que laire de fourniture du service europens (la dmonstration porte sur 1,5 mil-
exclut les codes postaux population majoritairement noire, lion dchantillons). Dautres sources de biais
des degrs varis . En consquence, les citoyens noirs sont lge (car toutes ces bases de donnes sont
ont environ deux fois moins de chances que les blancs de largement occupes par des personnes rela-
vivre dans des zones desservies par le service dAmazon en tivement ges) et le genre, plusieurs publi-
question 21 . Boston, alors que la ville entire avait accs cations rcentes insistant sur limportance
au service, seuls trois codes postaux en taient exclus, dans de leffet du genre sur le dveloppement des
le quartier majoritairement noir de Roxbury. maladies concernes. Dans ces bases, le chro-
mosome X est largement sous reprsent et le
Comment expliquer ce phnomne, alors quAmazon a sou- Y est quasiment absent. Philippe Besse conclut
lign juste titre, sans aucun doute navoir recouru ainsi : si vous tes une femme dorigine afri-
aucune donne raciale pour alimenter lalgorithme ? Il a t caine et jeune, je ne pense pas que la mdecine
oppos Amazon que les quartiers concerns taient prci- personnalise vous concerne .
sment les mmes que ceux qui avaient fait lobjet pendant
des dcennies de la pratique dite du redlining , consistant
pour les banques refuser systmatiquement daccorder
des prts des Afro-Amricains, mme solvables, en rai- aujourdhui. Le caractre historique dun jeu de donnes
son de la couleur de leur peau et de leur domiciliation dans confre celui-ci la capacit reproduire des ingalits
des zones peuples majoritairement par des minorits. Il ou des discriminations prexistantes. Un algorithme qui
est donc vident que lalgorithme dAmazon a pour effet chercherait dfinir les profils recruter sur la base des
de reproduire des discriminations prexistantes, quand profils ayant correspondu aux trajectoires de carrire les
bien mme aucun racisme intentionnel nest ici luvre. plus russies dans le pass dune entreprise pourrait ainsi
tout fait exclure les femmes, soit que celles-ci aient fait
Le paramtrage des algorithmes, cest--dire la dfinition lobjet dune exclusion dans le pass, soit quelles aient
explicite des critres selon lesquels ils fonctionnent et eu tendance interrompre leurs carrires davantage que
oprent des tris, slectionnent et recommandent, peut leurs collgues masculins, par exemple. On notera dailleurs
bien s r tre la source de biais et de discrimination. Mais, que, pour lentreprise en question, lutilisation irraisonne
comme le montrent les trois exemples voqus ci-des- dun tel algorithme aurait pour consquence de se priver
sus, ce sont bien les biais provoqus par les donnes four- de talents. Le problme thique croiserait ici directement
nies aux systmes qui soulvent le dfi le plus redoutable lenjeu defficacit.

Ds lors, lopration mme dentranement des algorithmes


travers la slection quelle suppose des donnes prendre
en compte apparat comme le cur dun enjeu thique
nconscients che ceux l et juridique, et non pas seulement technique ou deffica-
cit. Cet enjeu recoupe en partie celui de la dlgation de
m mes qui slectionnent prises de dcisions, abord prcdemment : choisir quelles
les donnes les iais ne sont donnes sont utilises pour les phases dapprentissage
revient bien prendre des dcisions parfois lourdes de
pas forcment sensi les pour consquences. En revanche, le caractre spcifique de
les utilisateurs qui y sont sujets lenjeu abord ici tient au fait quil sagit de dcisions et
de choix qui eu ent tre e ectus de mani re resque
inconsciente (alors que le codage dun algorithme classique

21 https://www.bloomberg.com/graphics/2016-amazon-same-day/
34 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

et dterministe est toujours une opration dlibre). Celui cas que lintelligence artificielle ne fait jamais que recon-
qui entrane un algorithme y insre dune certaine faon sa duire des biais et des discriminations dj existants dans
propre vision du monde, ses valeurs ou, tout le moins, la socit ? En dautres termes, les algorithmes ne seraient
des valeurs prsentes plus ou moins directement dans les jamais ici que des conducteurs de biais, ils ne feraient
donnes tires du pass. La chercheuse Kate Crawford, que les rpter sans les crer eux-mmes. On pourrait
notamment, a ainsi mis en vidence lendogamie sociale, tout le moins objecter une telle position que lchelle
raciale et de genre qui caractrise les milieux o se recrutent laquelle ils se dploient et leur impact potentiel en font les
ceux qui entranent aujourdhui lintelligence artificielle22. lieux privilgis pour la lutte contre les discriminations, que
leur puissance, en somme, implique des obligations ren-
Tout ceci explique largement lune des caractristiques les forces. Sans compter quil nest pas exclu quils puissent
plus problmatiques de ces biais et des discriminations aussi avoir un effet dmultiplicateur de ces biais.
auxquelles ceux-ci peuvent donner lieu : ils sont souvent
particulirement difficiles dcouvrir. Inconscients chez Deuximement, comment se donner les mo ens de re -
ceux-l mmes qui slectionnent les donnes, ils ne sont rer e ecti ement ces iais dont nous a ons soulign le
pas forcment sensibles pour les utilisateurs qui y sont caract re ar ois in isi le Faut-il dailleurs distinguer entre
sujets. Le caractre cibl des offres demploi voques pr- des biais qui seraient acceptables et dautres que la socit
cdemment fait que les femmes concernes navaient pas ne pourrait pas tolrer (comme ceux voqus plus haut) ?
connaissance des offres demploi proposes aux hommes. Enfin, comment lutter efficacement contre ces biais et sas-
Cest lune des consquences du phnomne d enferme- surer que les algorithmes respectent les valeurs fonda-
ment algorithmique , dont il sera question plus loin. Enfin, mentales labores dmocratiquement par nos socits ?
les systmes dintelligence artificielle font quant eux des
choix dont la logique (voire lexistence mme) chappe Il faut enfin souligner ici une dimension que nous verrons
leurs concepteurs. resurgir dans la suite de ce rapport : les impacts non pas
seulement individuels (sur la personne), mais galement
En somme, les biais et les discriminations gnres par collectifs que peuvent avoir les algorithmes. Lexemple de
les algorithmes soulvent aujourdhui deux questions lexclusion par un service dAmazon de quartiers entiers
majeures. Faut-il dabord considrer au moins dans certains en offre une illustration.

ra entation al orith ique


la er onnali ation ontre
le lo ique olle ti e

Lomniprsence des algorithmes, notamment ceux lis par la loi depuis longtemps, ses impacts collectifs posent
notre navigation sur le Web et sur les rseaux sociaux, est galement question aujourdhui.
indissociablement lie la dynamique de personnalisa-
tion des contenus et des services. Cette personnalisation
au service de lindividu recle cependant une dimension Enfermement algorithmique
problmatique en portant potentiellement atteinte des et perte de pluralisme culturel
logiques proprement collectives sur lesquelles reposent
nos socits, de la structuration de lespace public dmo- Le thme de lenfermement algorithmique a fait lobjet de
cratique aux mcanismes de mutualisation dans lordre nombreuses discussions depuis louvrage dEli Pariser sur
conomique. Alors que limpact des algorithmes sur les la bulle filtrante23 . Il renvoie lide selon laquelle lac-
personnes est un phnomne bien repr et pris en compte tivit indispensable joue par les algorithmes en termes

22 Kate Crawford, Artificial Intelligences White Guy Problem , The New York Times, 25 juin 2016.
23 Eli Pariser, The Filter Bubble: What the Internet Is Hiding from You, New ork, Penguin Press, 2011.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 35

de classement et de filtrage dune information devenue


surabondante aurait pour effet indirect de nuire au plu-
ralisme et la diversit culturelle: en filtrant les informa- Les algorithmes
tions, en sappuyant sur les caractristiques de leurs profils,
les algorithmes augmenteraient la ro ension des indi-
augmenteraient la propension
idus ne rquenter que des o jets des ersonnes des des individus ne frquenter
o inions des cultures con ormes leurs ro res go ts
et rejeter linconnu
que des o ets des personnes
des opinions des cultures
Le thme de la bulle filtrante se pose deux chelles, celle
des individus et celle de la socit dans son ensemble.
conformes leurs propres go ts
et re eter linconnu
lchelle de lindi idu le risque est que celui-ci se voie
purement et simplement assimil un alter ego numrique
constitu partir de ses donnes et se trouve en quelque
sorte enferm dans une bulle de recommandations tou-
jours conforme ce profil. Les effets dune offre culturelle
et de contenus plus abondante que jamais auparavant se
verraient ainsi paradoxalement neutraliss par un phno- Dominique Cardon souligne quant lui que le numrique
mne de limitation de lexposition effective des individus a apport une diversit informationnelle jamais connue
la diversit culturelle. Un tel phnomne pourrait dail- dans toute lHistoire de lHumanit. Il est absurde de dire
leurs se produire alors mme que lindividu souhaiterait que Facebook enferme les gens. Mais cela soulve des
en principe une telle diversit. La Direction Gnrale des dangers : des gens curieux vont envoyer des signaux de
Mdias et des Industries Culturelles (DGMIC) souligne ainsi curiosit et vont se voir incits en retour la curiosit. En
que la recommandation algorithmique est fonde sur la revanche, des gens donnant peu de traces de curiosit
consommation relle des utilisateurs plutt que sur leurs vont tre dirigs vers moins de diversit. ... Un risque
dsirs ou aspirations . existe que se produisent dans un certain contexte et pour
un certain public, des pratiques sociales dans lesquelles
Il faut pourtant relever que dimportants spcialistes, cher- lalgorithme ne sera pas un facteur denrichissement et
cheurs et praticiens du numrique contestent lide den- de dcouverte, mais plutt de reconduction du monde
fermement algorithmique ou du moins invitent poser la (propos tenus le 23 janvier 2017 lors de lvnement de
question de manire plus nuance. Ainsi, selon Antoinette lancement du dbat public la CNIL). Enfin, la DGMIC
Rouvroy, cette question de la bulle filtrante nest pas propre estime que les incitations concurrentielles la diffrencia-
aux algorithmes: nous sommes des tres trs prvisibles, tion ainsi qu une vision librale de lindividu considrant
aux comportements trs rguliers, facilitant la possibilit de ltendue du choix comme un facteur dpanouissement 25
nous enfermer dans des bulles. Mais on ne nous enferme pourraient limiter les risques pesant sur la diversit en
que si cest rentable. Tout est une question de param- incitant les acteurs se saisir de lenjeu de lenfermement
trage des algorithmes. Ils peuvent aussi, au contraire nous et lui apporter des rponses.
exposer des lments ou des informations que nous
naurions jamais cherch consulter (propos tenus le 23 lchelle de socits considres dans leur ensemble,
janvier 2017 lors de lvnement de lancement du dbat les ormes de ri ation dex osition des indi idus lal-
public la CNIL). Il est vrai que lon constate que cette trit des o inions di rentes des leurs notamment
potentialit nest de fait gure exploite. En effet, la consom- dans le registre olitique ourraient en tout cas consti-
mation culturelle repose sur une structure duale de go ts : tuer selon certains un ro l me our la qualit et la
dune part des liens forts traduisant une prfrence avre italit du d at u lic our la qualit et la di ersit de
pour un type de contenus bien identifi a priori , dautre lin ormation terreaux du onctionnement correct des
part des liens faibles rendant compte dune affinit non dmocraties
encore rvle pour un type de contenus restant dcouvrir
posteriori24 . Or, la plupart des algorithmes prdictifs des lhorizon logique du phnomne, la personnalisation de
grandes plateformes culturelles (Netflix, Amazon, Spotify, linformation aurait pour consquence une fragmentation
etc.) se focalisent sur les liens forts. Aucune des grandes extrme de lespace public, la disparition dun socle mini-
catgories dalgorithmes nenvisage la srendipit comme mum dinformations partages par lensemble du corps
variable essentielle aux choix de consommation. politique et permettant la constitution dun vritable dbat.

24 Rapport du CSA Lab


25 Natali HELBERGER, Kari KARPPINEN Lucia DACUNTO, Exposure diversity as a design principle for recommender systems , Information, Communication Society, 2016.
36 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

lheure o une part croissante des citoyens utilisent les apparaissent sur leur fil dactualits27. En vrit, ils nen
rseaux sociaux comme le principal (et parfois seul) moyen voient que 20 , slectionns selon plusieurs facteurs :
dinformation26, lenjeu est important pour la prennit de la promotion publicitaire du post, interactions passes de
vie dmocratique. Si la tendance sentourer de personnes lutilisateur avec des posts considrs comme similaires
partageant les mmes ides et les mmes valeurs nest pas like, commentaire, partage-, nombre dautres utilisateurs
nouvelle, du moins la presse traditionnelle avec sa logique ayant fait de mme, etc.
ditoriale permet-elle au lecteur davoir une plus claire
conscience de lorientation du contenu quil consomme. Lusage fait des algorithmes par lconomie numrique
Les dbats portant sur ce sujet font pourtant clairement res- des fins de personnalisation du service et de lexprience
sortir que les effets dnoncs sous la rubrique de la bulle rpond donc une logique qui pose problme ds lors
de filtre ne sont pas fatalement et toujours produits par les que lon considre ses effets dun point de vue, non plus
algorithmes. Ils sont avant tout le rsultat du paramtrage seulement conomique, mais aussi culturel ou politique.
dalgorithmes que lon pourrait tout aussi bien programmer Lo jet des grandes late ormes algorithmiques est la
autrement et qui lon pourrait, linverse, donner comme satis action dun consommateur dun homo economicus.
objectif dexposer les individus une diversit culturelle, Les e ets olitiques et culturels grande chelle de leurs
informationnelle, politique forte. algorithmes ne leur osent question que secondairement

Il est possible que la nature mme du problme en ait ralenti


la prise de conscience publique. la limite, en effet, lindividu Atomisation de la communaut politique
peut trs bien vivre dans sa bulle informationnelle sans en
prendre conscience. Le confort provoqu par labsence de Cet effet induit des algorithmes et de leur fonction de per-
contradiction ou encore le biais de confirmation caractri- sonnalisation peut nanmoins devenir un levier direct pour
sant lesprit humain et que connaissent bien les sciences certains acteurs qui cherchent les exploiter des fins
cognitives ne sont videmment pas des facteurs propices dinfluence, voire de manipulation. Les fake news, largement
la remise en cause de lenfermement algorithmique. voques lors de la campagne mene par Donald Trump,
Autrement dit, rien ne prdispose lindividu sapercevoir si elles ne sont pas un produit direct des algorithmes, se
quil est pris dans une bulle informationnelle. Il nest ds lors diffusent et samplifient lintrieur des chambres dcho
gure tonnant que les mises en cause de ce phnomne constitues par les algorithmes des rseaux sociaux ou
saccompagnent souvent de rcits relatant le moment de sa des moteurs de recherche. Plus directement encore, des
prise de conscience, un moment sapparentant un choc. logiciels de stratgie politique de plus en plus labors et
Cest ainsi que les dbats sur la bulle filtrante et ses effets appuys sur un ciblage de plus en plus fin des lecteurs
politiques ont t notamment relancs loccasion de la conduisent une fragmentation potentiellement sans pr-
campagne prsidentielle amricaine de 2016 ainsi que par cdent dun discours politique adress dsormais des
celle du Brexit, quelques mois avant. Deux chocs lectoraux individus atomiss. Les pratiques de la socit Cambridge
loccasion desquels de nombreux internautes partisans Analytica, qui a travaill pour le candidat Trump, repr-
dHillary Clinton ou opposants au Brexit ont t particuli- sentent la pointe de diamant de ces nouveaux usages
rement frapps de constater des rsultats que leurs fils des algorithmes des fins lectorales (voir encadr). La
dactualit ne laissaient en rien prsager. Plus rcemment, tendance la fragmentation personnalise du discours
en ao t 2017, la sociologue eynep Tufekci, spcialiste des politique, appuye sur la capacit croissante de lIA com-
mouvements de contestation en ligne a remarqu parmi poser des messages en fonction des diffrents profils, pose
dautres que son fil dinformation Facebook demeurait aujourdhui de srieuses questions. Faut-il y voir une forme
silencieux sur les vnements de Ferguson au moment de manipulation ? Faut-il y poser des limites ? Faut-il consi-
mme o elle voyait le hashtag Ferguson se rpandre sur drer ces pratiques comme le fruit inluctable et diffici-
Twitter. lement rgulable de lvolution technologique et ds lors
imaginer des contrepoids ? Si oui, lesquels ?
On peut considrer que la sence de com rhension claire
ar les indi idus du onctionnement des late ormes quils On le voit, le thme de lenfermement est lenvers de celui
utilisent our sin ormer notamment ait artie intgrante de la personnalisation algorithmique. Ceci explique quen-
du ro l me Une tude a ainsi montr que plus de 60 fermement et fragmentation puissent tre aussi dcels
des utilisateurs de Facebook nont aucune ide de lactivit dans des secteurs autres que celui de la consommation
ditoriale que joue effectivement lalgorithme et croient que culturelle et des mdias ou de la politique.
tous les posts de leurs amis et des pages quils suivent

26 Selon le Pew Research Center, 61 des millenials utilisent Facebook comme leur premire source dinformation sur la politique laction gouvernementale (Pew Research
Center, Millenials & Political News. Social Media the Local TV for the Next Generation ?, juin 2015).
27 http://www-personal.umich.edu/ csandvig/research/Eslami Algorithms CHI15.pdf
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 37

FOCUS

Algorithmes et stratgie lectorale


Les dernires lections prsidentielles, aux tats-Unis mais aussi en France, ont donn lieu lutilisation
croissante des lo i iel de trat ie le torale reposant sur la mise en uvre dalgorithmes prdictifs
danalyse des donnes lectorales. Loin des mthodes plus traditionnelles de campagne, des messages
politiques trs cibls peuvent dsormais tre adresss aux lecteurs. Cest aux Etats-Unis que lon peut
identifier les exemples les plus accomplis dun tel profilage individuel. Ds les lections prsidentielles
de 2008 et 2012, les quipes lectorales de Barack Obama disposaient de centaines de donnes sur la qua-
si-totalit des lecteurs. En 2016, grce lanalyse des donnes issues des rseaux sociaux et des courtiers
en donnes, Cambridge Analytica aurait pu envoyer pour le compte du candidat Trump des milliers de
messages extrmement individualiss au cours dune mme soire28. Si cette entreprise a par la suite tenu
un discours tendant minimiser ses premires affirmations, cette affaire nen est pas moins rvlatrice
dune tendance de fond susceptible de sapprofondir lavenir.

En France, les rin i e de rote tion de donne ara t re er onnel limitent toutefois dans les faits le
dveloppement de tels logiciels de ciblage individuel, le consentement constituant un prrequis essentiel
une telle collecte. La CNIL a dailleurs rappel, dans un communiqu de novembre 2016, les rgles pour
lutilisation des donnes issues des rseaux sociaux des fins de communication politique29.

Lenfermement algorithmique, t pos ? Comme le souligne Roger-Franois Gauthier,


avec les learning analytics, la prdiction pourrait dbou-
un enjeu transversal cher sur un enfermement des lves. En France, ce genre
de problme suscite trop peu dattention. Il faut pourtant
La question de lenfermement algorithmique ne se limite faire en sorte que llve chappe au dterminisme et pour
pas aux secteurs de la culture, de linformation ou de la cela la question des valeurs inscrites dans les systmes
politique. En effet, lintrication des fonctions de prdiction algorithmiques est fondamentale30 .
et de recommandation prsentes dans les usages des sys-
tmes algorithmiques aujourdhui models par lcosys- On peut, de la mme faon, rattacher lide denfermement
tme numrique est susceptible de gnrer des prophties algorithmique certains impacts possibles de lutilisation des
auto-ralisatrices pouvant enfermer les individus dans un algorithmes dans le secteur des ressources humaines et
destin prdit . du recrutement. Laurence Devillers voque ainsi le risque
de normalisation des profils que pourrait faire courir
Une forme denfermement nest-elle pas une consquence lalgorithme, du moins un usage non raisonn de lalgo-
possible de futurs usages des learning analytics et de ladap- rithme, au recruteur. Cest en quelque sorte ce dernier qui
tative learning (ou ducation personnalise) ? Sans remettre serait victime ici denfermement dans des profils prdfinis
en cause les promesses de ces techniques, il est lgitime lavance, se privant de la part de srendipit inhrente au
de sinterroger sur les effets que pourraient avoir des sys- processus de recrutement dans la mesure o celui-ci peut
tmes prtendant dfinir des parcours dapprentissage sur permettre de reprer des profils atypiques, non conformes
la base du profil de chaque lve et de la prdiction labo- aux critres dfinis a priori, mais finalement intressants.
re partir de lapplication dun modle mathmatique Comment reprer de tels profils si une part croissante de
ce profil. Ny a-t-il pas un risque que la prdiction devienne la slection des candidats se trouve dlgue des sys-
auto-ralisatrice et que llve se trouve assign un destin tmes automatiques ?
scolaire et professionnel ds lors que le diagnostic aura

28 https://www.theguardian.com/politics/2017/feb/26/robert-mercer-breitbart-war-on-media-steve-bannon-donald-trump-nigel-farage
29 https://www.cnil.fr/fr/communication-politique-quelles-sont-les-regles-pour-lutilisation-des-donnees-issues-des-reseaux
30 Propos tenus loccasion du lancement du dbat public, le 23 janvier 2017, la CNIL.
38 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

Dmutualisation sucre, etc.). La question serait alors celle des limites


poser ce qui peut apparatre comme une normalisation
La personnalisation algorithmique soulve un enjeu spci- excessive des comportements des personnes lorsque
fique au secteur de lassurance. En effet, la d namique de ceux-ci seraient estims mauvais . Les algorithmes,
ersonnalisation des o res et des ser ices ne conduit elle via les corrlations quils tablissent dans les donnes,
as une remise en cause de la mutualisation cest dire finiraient par dicter la norme des comportements indivi-
de la logique m me de lassurance et du acte social sur duels, une norme laquelle on ne pourrait chapper quau
lequel elle re ose Que plusieurs individus acceptent de prix dun renchrissement de lassurance. la diffrence
sassurer, cest--dire de mettre en commun leurs risques, dun mcanisme comme laugmentation des prix du tabac
suppose que ces risques leur demeurent au moins partiel- (dont la consommation est considre comme un co t
lement opaques. e massure en ignorant lequel de moi ou pour la collectivit), de tels arbitrages chapperaient la
de mon voisin contractera une maladie occasionnant de dlibration collective et surgiraient des donnes mmes.
lourds frais de sant. La segmentation accrue que rendrait Par ailleurs, une telle approche vacuerait compltement
possible lutilisation des masses de donnes gnres par les dterminants collectifs et sociaux des comportements
les comportements des individus en ligne (rseaux sociaux, pour ne plus mettre en exergue que la seule responsabilit
notamment) ou hors-ligne (donnes issues de bracelets des individus. Quant dautres facteurs de risque, lis
connects, par exemple) tendrait lever le voile digno- lenvironnement de lindividu ou son patrimoine gntique,
rance31 sous-tendant la mutualisation assurantielle et ils seraient susceptibles de dboucher sur une discrimi-
que contribue maintenir une segmentation sommaire. nation et une exclusion invitables dans la mesure o les
personnes concernes nauraient aucune prise sur eux.
Ces innovations ne dboucheront-elles pas sur de nou-
velles formes de discrimination et dexclusion ? Les indi- Si la course aux bons risques pourrait donc tre accrue
vidus jugs risque pourraient se voir appliquer des entre les assureurs, il est cependant douteux que celle-ci
tarifs plus levs, voire mme tre victimes de dcisions de soit favorable ces derniers pris dans leur ensemble.
refus dassurance. cela sajoute le fait que ltablissement Lassureur aurait intrt la mutualisation. Selon Florence
dune corrlation entre un comportement et le risque de Picard, de lInstitut des Actuaires, plus il segmente fer-
survenue dune pathologie pourrait aboutir dfavoriser mement les groupes, plus il prend le risque de mettre fin
les individus ayant des comportements jugs risque la mutualisation. Son but est que le risque soit matrisable:
(consommation de tabac, nourriture juge trop grasse, trop plus on segmente, plus on prend le risque de se tromper32 .

ntre li itation de a hier


et d elo e ent de lintelli en e
arti ielle un quilibre rin enter

Le fonctionnement des algorithmes auxquels nous avons On peut ainsi se demander si le dveloppement de lintelli-
quotidiennement recours repose sur le traitement de nom- gence artificielle nest pas susceptible, un certain stade,
breuses donnes, dont une grande part de donnes person- dentrer en tension avec les principes thiques inscrits
nelles, traces numriques laisses par nos navigations en dans la lgislation depuis la loi Informatique et liberts.
ligne, par lutilisation de nos smartphones, de nos cartes Lintelligence artificielle est grande consommatrice de don-
de crdit, etc. La recherche dune er ormance accrue des nes ; elle a besoin dune grande mmoire (autrement dit,
algorithmes est un acteur allant dans le sens dune col- de bases de donnes quelle va conserver sur une priode
lecte croissante dun traitement et dune conser ation aussi longue que possible). Les principes de la loi de 1 7
accrus de donnes caract re ersonnel renvoient, quant eux, par le truchement du principe de
finalit, une minimisation de la collecte de donnes per-

31 Antoinette Rouvroy dplace ainsi, en lappliquant au domaine de lassurance, le concept forg par ohn Rawls pour tablir une exprience de pense destine envisager un
problme moral.
32 Algorithmes et risques de discriminations dans le secteur de lassurance , manifestation organise par la Ligue des Droits de lHomme le 15 septembre 2017.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 39

sonnelles ainsi qu la limitation de la dure de conservation ceux dautres individus au profil trs proche, de faon
de ces donnes comme des garanties ncessaires la identifier le traitement le plus appropri ce patient.
protection des personnes et de leurs liberts. la limite, on pourrait aller jusqu considrer que lobjectif
sanitaire poursuivi implique la constitution dimmenses
Certes, les principes de la loi de 1 7 (repris dans le bases de donnes. Or, rien nindique o devrait sarrter la
Rglement gnral sur la protection des donnes, qui collecte de donnes : au dossier mdical ? Au gnome ?
entrera en application en mai 201 ) constituent un qui- Aux donnes pigntiques, cest--dire environnementales
libre gnral, offrant une certaine souplesse lensemble. (habitudes de vie, habitat, alimentation, etc.) ? En remontant
Des mesures de scurit renforces peuvent dans une cer- combien dannes ? Notons que ce type de problme
taine mesure tre considres comme un contrepoids nest nullement propre la mdecine. Il se poserait sous un
une dure de conservation allonge des donnes. Il nest aspect proche dans le domaine de la scurit, o limpratif
pourtant pas certain que lampleur des transformations de reprage des suspects semble justifier une collecte de
technologiques induites par le dveloppement de lintel- donnes toujours plus massives sur les individus.
ligence artificielle ne remette pas en cause ce schma.
On voit bien que la question ose ici est celle de lqui-
Par exemple, la mdecine de prcision semble lier ses li re trou er entre rotection des li erts rotection des
progrs la constitution de bases de donnes toujours donnes ersonnelles et rogr s mdicaux Il ne saurait
plus larges, la fois en termes de nombres dindividus tre question dy rpondre ici, tant elle mriterait de faire
concerns quen termes de nombre et de varit de donnes lobjet dune rflexion pousse. Celle-ci devrait dailleurs
conserves sur chacun dentre eux. Lpigntique prtend ncessairement impliquer une valuation des progrs
ainsi croiser une approche par les donnes gntiques de effectivement attendre de la mdecine de prcision. Ainsi
lindividu une approche prenant en compte les donnes Philippe Besse, professeur de mathmatiques lUniversit
environnementales, celles concernant le milieu, voire le de Toulouse, considre que les donnes mises la dispo-
mode de vie du patient (si tant est que cette notion ait sition de la recherche mdicale dans le cadre du Systme
encore un sens dans un contexte de plus en plus orient National des Donnes de Sant (SNDS) sont suffisantes
vers la prdiction ). La mdecine de prcision repose pour accomplir des progrs que la complexit du vivant
sur lide de profiler le plus finement possible ce dernier et limitera de toute faon bien en-de de ce quannoncent
la pathologie dont il est affect afin de comparer ce profil certaines prophties33.

ualit quantit ertinen e


len eu de donne ournie l

Les systmes algorithmiques et lintelligence artificielle correspondant mal mon profil rel jusqu une erreur de
reposent sur lutilisation de donnes (personnelles ou non) diagnostic mdical. Assurer la qualit de la donne entrante
qui leur sont fournies en entre et quils traitent pour pro- dans les systmes algorithmiques et dintelligence artifi-
duire un rsultat. Schmatiquement, cette caractristique cielle constitue donc un enjeu appel prendre une impor-
soulve trois enjeux connexes mais distincts : celui de la tance de plus en plus cruciale au fur et mesure que ces
qualit, celui de la quantit et celui de la pertinence des machines vont tre amenes prendre une autonomie
donnes fournies ces systmes. croissante. Or, assurer la qualit de la donne est co teux.
La corruption des donnes peut tre le rsultat aussi bien
La question de la qualit des donnes utilises ar les dun problme technique trs matriel impliquant ltat
algorithmes et l est la plus simple. Il est facile de com- des capteurs affects leurs collecte que dun problme
prendre que des donnes errones ou tout sim lement humain li lintrt de certains acteurs biaiser les don-
rimes im liqueront en out de cha ne des erreurs ou nes quils sont chargs dentrer dans le systme. La tenta-
des d s onctionnements lus ou moins gra es selon le tion de la ngligence cet gard doit tre prise au srieux,
domaine concern du simple envoi de publicits cibles notamment dans des domaines o limpact de donnes de

33 Dbat organis par le Gnotoul Toulouse, le 24 juin 2017.


40 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

mauvaise qualit pourrait ntre pas immdiatement sen- ou de discriminations. Ignorer ce type de biais reviendrait
sible, comme dans le secteur du recrutement, par exemple. perptuer ou laisser se perptuer ces phnomnes.
Les donnes des rseaux sociaux professionnels, parfois
considres comme une manne inpuisable, posent cet On voit travers ces trois enjeux que les promesses des
gard des problmes de fiabilit (lis la tendance des algorithmes ne peuvent tre tenues quau prix dune grande
individus embellir leur CV ou au contraire des absences rigueur dans la collecte et le traitement des donnes utili-
de mise jour). La confiance accorde par lutilisateur au ses. Quune telle exigence de rigueur (et dinvestissement
rsultat produit par une machine juge objective et plus matriel et humain) puisse ne pas tre respecte par cer-
performante que lhomme est un facteur supplmentaire tains acteurs reprsente un risque vident, alors mme que
pouvant favoriser la ngligence. les algorithmes sont souvent prsents comme sources
dune vrit objective , neutre . Dans lexemple de lal-
La quantit de donnes dis oni les peut constituer un gorithme utilis pour valuer les professeurs aux tats-Unis
autre facteur nfaste la qualit des rsultats fournis par voqu par Cathy ONeil, la ngligence mthodologique
les systmes algorithmiques et dintelligence artificielle. des conce teurs et romoteurs de lalgorithme a our
Cathy ONeil voque ainsi lexemple dune collectivit ayant corollaire la confiance exagre dnue des rit critique
recouru aux tats-Unis un logiciel dvaluation des ensei- quaccordent ce dernier des utilisateurs dont lattention
gnants. Lutilisation de ce logiciel sest notamment solde se focalise sur la seule ncessit dobtenir un quota de
par le licenciement denseignants dont la qualit tait professeurs liminer du systme. Pourtant, si assurer
pourtant de notorit publique dans les communauts la qualit et la pertinence des donnes fournies aux algo-
locales au sein desquelles ils voluaient. Lune des raisons rithmes simpose donc comme une exigence thique, cette
essentielles en est que lalgorithme utilis pour valuer la dernire constitue bien terme une condition de lutilit
progression annuelle des lves de chaque enseignant durable des algorithmes pour leurs utilisateurs et pour la
aurait besoin de bien plus que des donnes concernant socit en gnral.
tout au plus quelques dizaines dlves. Dans un cas o les
variables susceptibles dexpliquer, ct de la performance
du professeur, les mauvais rsultats dun lve (difficults
relationnelles, problmes familiaux, problmes de sant,
etc) sont si nombreuses, un nombre si limit de cas ne
peut avoir aucune valeur statistique. La seule valeur de
ENQUTE
ce rsultat est de donner le sentiment aux dcideurs de
prendre des dcisions rationnelles, objectives et efficaces La crainte devant les risques
car sautorisant du prestige de la machine.
des algorithmes et de lIA
Cela ne signifie toutefois nullement que laccumulation augmente avec lge*
irrflchie de donnes doive constituer un objectif en soi.
Dans certains cas, en effet, la varit des donnes sera e eune ont lu en ible aux o ortuni-
plus prcieuse que leur simple quantit. Par exemple, les t portes par lalgorithme : 68,5 % des 18-24
donnes de millions de vhicules suivant la mme route ans considrent que les opportunits sur-
seront moins utiles lalgorithme dune application GPS passent les potentielles menaces. En revanche,
que des donnes en bien moins grand nombre de vhicules seul 36 % des 55-64 ans estiment que les bn-
empruntant des itinraires plus varis. fices sont plus importants que les risques.
Certaines applications des algorithmes sont
Enfin, la question de la ertinence des donnes ren oie mieux acceptes chez les plus jeunes: 75 % des
moins la racit de ces derni res quaux iais qui 18-24 ans regardent favorablement des recom-
eu ent rsider leur collecte Comme cela a t montr mandations en vue dachats en ligne (contre
prcdemment (Voir Biais, discriminations et exclusion ), 48 % pour lensemble du panel), 50 % en vue du
il peut tre tout fait exact que trs peu de femmes aient choix de lme-sur (contre 26 %).
men bien une carrire de haut niveau dans telle ou telle
entreprise. En revanche, prendre ce rsultat comme indi- * Enqute ralise dans le cadre du dbat public par
lassociation Familles rurales , association fami-
catif de la capacit de femmes accomplir lavenir de
liale oriente vers les milieux ruraux, auprs de
brillantes carrires dans cette mme entreprise relve bien 1076 de ses adhrents.
videmment dune approche biaise. En loccurrence, le jeu
de donnes envisag ici intgre des formes dingalits et/
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES 41

identit hu aine au d
de lintelli en e arti ielle

Lautonomisation des machines, dune part, lhybridation diffrents choix thiques sont possibles. Ds lors que
croissante des humains avec la machine, dautre part, des dilemmes de ce type auraient t anticips au stade
questionnent lide dune spcificit humaine irrductible. du dveloppement du systme, il serait bien s r possible
de leur donner une rponse. Mais prcisment, la s cifi-
Des machines thiques ? cit de lthique nest elle as de concerner des situations
indites im liquant entuellement des con its de aleurs
La premire zone de porosit entre humains et machines dont la solution doit tre la ore ar le sujet (pensons
stablit autour de la question de lide de machine thique. Antigone, prise entre thique familiale et thique civique) ?
En effet, une faon radicale daborder les questions sou- Nest-elle pas de slaborer toujours en situation ? Ds lors
leves par lventuelle dlgation de dcisions des lhypothse dune formalisation de lthique nest-elle pas
machines autonomes (intelligence artificielle) est denvi- quelque peu illusoire ? tout le moins, elle implique une
sager que de rendre les machines thiques serait une conception implicite de lhomme qui na rien dvident.
solution aux problmes voqus plus haut dans ce rapport.
Une telle piste de rflexion est lie la question de savoir Retenons du moins que, pour lheure, des expressions
sil est mme possible de formaliser une thique34 afin de comme thique des algorithmes ou algorithmes
la programmer dans une machine. Autrement dit, peut-on thiques ne doivent pas tre prises au pied de la lettre
automatiser lthique Ce problme est apparu au cours et comportent une part danthropomorphisme revenant
des dbats comme lun de ceux retenant particulirement attribuer des capacits humaines des machines. Certains
lattention de la communaut des chercheurs en intelligence considrent quelles sont susceptibles de fausser un dbat
artificielle. Gilles Dowek (CERNA) la ainsi soulign lors de qui devrait se concentrer sur les exigences lgard des
la journe dtude organise au Collge des Bernardins le hommes qui conoivent, entranent, dploient et utilisent
20 septembre 2017. les systmes algorithmiques et dintelligence artificielle.

Le fameux dilemme du tramway est trs souvent voqu Elles ne constitueraient alors quune mtaphore commode
loccasion de rflexions portant sur ce problme. On sait que mais ne pas entendre littralement. linverse, comme
ce dilemme met en scne un tramway sans freins dvalant le rappelle par exemple Gilles Dowek, on peut considrer
une pente ; le tramway arrive devant un embranchement ; comme lgitime le recours ce type de mtaphores dans
selon quil sengage sur lune ou lautre des deux voies, la mesure o elles reviennent prendre acte de lautonomie
il tuera une personne ou bien plusieurs. Ds lors, quelle croissante de ces systmes et de la ncessit de formali-
devrait tre la conduite dune personne ayant la possibilit ser, autant que faire se peut, une thique et de la program-
de manuvrer laiguillage et donc de choisir, pour ainsi mer dans des algorithmes. Quoi quil en soit, mme si une
dire, lun des deux scnarios possibles ? Lintrt de cette thique en tant que telle pouvait tre encode dans une
exprience de pense est quelle peut donner lieu toute machine (cest--dire si cette dernire avait la possibilit
une gamme de variations : quen est-il si la personne seule de ne pas seulement rpondre dune certaine faon une
attache lune des deux voies se trouve tre un proche situation thique envisage lavance lors de son dve-
parent ? Si les personnes sur lautre voie se trouvent tre loppement mais bien daborder des situations nouvelles
5 ou bien 100 ? en leur appliquant un raisonnement thique), le choix du
type dthique encoder resterait bien, en dernire analyse,
On voit aisment comment ce dilemme peut tre adapt du ressort de lhomme. Le vrai enjeu est alors de sassurer
lhypothse de voitures autonomes qui seraient mises que les choix thiques faits au stade du dveloppement ne
en circulation prochainement : selon quels principes une font pas lobjet dune confiscation par une petite caste de
voiture place dans une situation de dilemme thique de ce scribes (Antoine Garapon). Lchelle de dploiement des
type devrait-elle choisir de se comporter ? Le dilemme algorithmes lheure du numrique en fait une question
du tramway a lintrt de mettre en vidence le fait que dmocratique essentielle.

34 Cest--dire une rgle gnrale dvaluation de la conduite adopter face toute situation thique dontique ou thique consquentialiste ou un corpus de rgles
remplissant la mme fonction thique kantienne, thique bouddhiste, etc.
42 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
LES ENJEUX THIQUES

Lhybridation de lhomme et de la machine : aujourdhui quun leurre, une mtaphore destine styliser
repenser lidentit humaine ? un objet complexe et masquant finalement une respon-
sabilit et une action humaines certes dilues, clates,
mais bien relles.
Une faon denvisager la question thique applique
aux algorithmes et lintelligence artificielle peut tre de Si une premire hybridation entre lhomme et la machine
confronter ces derniers laffirmation prsente larticle sopre au plan de laction, la rflexion devra aussi nces-
premier de la loi Informatique et liberts selon laquelle sairement slargir lavenir pour prendre en compte lhy-
linformatique ne doit pas porter atteinte lidentit bridation physique parfois annonce entre algorithmes,
humaine . humains, voire animaux (avec ladjonction dimplants intel-
ligents et communicants). Cette hybridation physique est
Les pages prcdentes ont abord des problmes lis une tape supplmentaire de lvolution dj luvre dans
la faon dont lhomme agence son action avec des arte- linteraction permanente qui nous lie dores et dj une
facts, question ancienne mais renouvele par lmergence foule de processus algorithmiques.
dartefacts dots dune autonomie croissante lheure
des algorithmes et de lintelligence artificielle35. Ces propos Enfin, ce thme dune subversion ventuelle de la frontire
soulignent en effet que le dveloppement de ces technolo- entre lhomme et les choses (ou plutt, entre lhomme et la
gies, selon la manire dont il soprera, peut affecter lune machine) trouve dj une ralit extrmement concrte au
des composantes de lidentit et de la dignit humaines, plan phnomnologique dans certaines tentatives rcentes
savoir sa libert et sa responsabilit. La monte en puis- dapplications de la robotique qui sillustrent dabord dans
sance dune forme d autonomie machinique doit bien la forme humaine donne aux robots. On pense ici au robot
s r tre fortement nuance. Grard Berry, professeur au Pepper de la firme Aldebaran, destin tre dploy dans
Collge de France et titulaire de la chaire Algorithmes, des espaces commerciaux pour interagir avec les clients.
machines et langages rappelle ainsi : un jour, nous dit-on, Surtout, et ceci concerne directement le sujet des algo-
les machines parleront et seront autonomes, le numrique rithmes et de lintelligence artificielle, tout un cham de
donnera naissance une nouvelle forme de vie. La date pour recherche ise crer des ro ots em athiques ca a les
lautonomie des machines et leur capacit de parole cra- de erce oir les motions des humains (par lanalyse du
tive, personne ne la donne, et je ne la connais pas, loin de visage, de la voix, etc.) de faon sadapter leur interlo-
l. Surtout, de quelle vie parlons-nous ?36 . Nanmoins, on cuteur. La premire question pose par ces recherches
pourrait se demander si la trajectoire technologique dores est videmment celle de la limite entre, dune part, les
et dj luvre ne devra pas conduire questionner la apports bnfiques dune intelligence artificielle capable
pertinence de la notion mme d identit humaine , dans de comprendre et de sadapter aux tats motionnels de ses
la mesure o celle-ci implique une sparation tanche entre interlocuteurs et, dautre part, une forme de manipulation
humain et non-humain. La question du droit des robots appuye sur une ingnierie technique capable dexploiter les
dores et dj souleve par des juristes et rcemment exa- vulnrabilits affectives des personnes37. La seconde ques-
mine par le Parlement europen (rapport Delvaux) a pour tion, connexe la premire, est celle de savoir dans quelle
horizon ce brouillage possible des frontires de lhumain. mesure la capacit dillusion propre ces technologies et
de tels arguments post-humanistes, la tradition humaniste lasymtrie qui existera entre ces robots et les personnes
pourrait certes rtorquer que lautonomie machinique nest dont ils analyseront les motions les rendent moralement
acceptables ? Sherry Turckle, professeure au MIT, souligne
ainsi que les tres humains ont une grande propension
attribuer aux robots une subjectivit et une sensibilit38.
Or, la tentation est forte pour des socits vieillissantes de
Le dveloppement de confier de plus en plus le soin des personnes ges ce
type de robots. En France, Serge Tisseron dveloppe une
ces technologies peut a ecter rflexion critique sur ces technologies39 . Quelles que soient
lune des composantes de lidentit les rponses apportes ces questions, il semble essentiel
quelles noccultent nullement la dimension politique et de
et de la dignit humaines savoir choix de socit que recle le fait de recourir aux robots plu-
sa li ert et sa responsa ilit tt que dinvestir dans dautres types de ressources (temps,
ressources en personnel, etc.) pour laccompagnement des
membres vulnrables de nos socits.

35 La question de lhybridation entre lhomme et des artefacts nest pas nouvelle : les algorithmes participent au modelage de notre identit de la mme faon que
Socrate le remarquait dj dans le Phdre de Platon lcriture affecte notre capacit de mmorisation et constitue un artefact muet, incapable de la moindre explication.
Que lide dune identit humaine strictement distincte des objets soit remise en cause nimplique ainsi pas ncessairement une nouveaut radicale.
36 Grard Berry, Non, lintelligence artificielle ne menace pas lhumanit , interview donne au Point, 1 mai 2015.
37 Une problmatique trs similaire celle souleve par les logiciels de communication politique censs adapter le message du candidat aux attentes de chaque individu cibl
et profil.
38 Sherry Turckle, Seuls ensemble, Paris, LEchappe, 2015 2012 .
39 Serge Tisseron, Le Jour o mon robot maimera. Vers lempathie artificielle, Paris, 2015.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 43

ENQUTE

Algorithmes et IA : un objet mal connu des Franais


Un sondage men par lIFOP pour la CNIL en janvier 2017 (auprs dun chantillon de 1001 personnes,
reprsentatif de la population franaise ge de 18 ans et plus) a permis destimer le niveau de notorit
des algorithmes au sein de la population franaise.

83 %
Les algorithmes sont prsents dans lesprit des Franais mais de faon assez confuse.

Quelles rponses ?
Si 83 % des Franais ont dj entendu parler des algorithmes, ils sont plus de la moiti
des Franais ne pas savoir prcisment de quoi il sagit (52 %). Leur prsence est dj apprhende
ont dj entendu comme massive dans la vie de tous les jours par 80 % des Franais qui considrent,
parler des 65%, que cette dynamique va encore saccentuer dans les annes qui viennent.
algorithmes

e la rflexion thique la r ulation de al orith e


P.43

e que la loi dit d ur le al orith e et lintelli en e arti ielle


P.45

e li ite de len adre ent uridique a tuel


P.46
aut il interdire le al orith e et lintelli en e arti ielle dan ertain e teur
P.47

eux rin i e ondateur our le d elo e ent de al orith e


et de lintelli en e arti ielle lo aut et i ilan e
P.48

e rin i e din nierie intelli ibilit re on abilit inter ention hu aine


P.51

e rin i e aux re o andation ratique


P.53
44 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

Quelles rponses ?

e la rflexion thique la r ulation


des algorithmes

Faut-il rguler les algorithmes ? Par ailleurs, des sondages effectus loccasion du dbat
public initi par la CNIL ont mis en vidence une attente de
La question se trouve depuis quelques mois frquemment rgles et de limites en matire dalgorithmes et dintelligence
voque aussi bien dans la presse gnraliste que parmi artificielle. Ces rgles et ces limites peuvent tre conues
les experts du numrique et des politiques publiques. autrement que comme des normes contraignantes, par
Elle ne constitue que le prolongement de la question de exemple sous la forme de chartes adoptes par une
la rgulation du numrique lui-mme. On le sait, lunivers entreprise, par une profession, par une branche. Cest ce
numrique sest constitu en partie en opposition lide que montre par exemple le sondage ralis par la CFE-CGC
mme de normes, du moins de normes juridiques. De la auprs de 1263 de ses adhrents40.
contre-culture amricaine des annes 1 60 la mise en
avant par les entreprises numriques de la ncessit de La cration par le Parlement dune mission de rflexion
ne pas entraver linnovation par un systme de normes confie la CNIL sur les enjeux thiques et de socit
inadaptes un univers fondamentalement nouveau, cette soulevs par lvolution des technologies numriques sins-
mfiance lgard de la rgulation trace comme un fil rouge. crit dans ce contexte. Elle traduit videmment un souci de
Ce courant de pense a trouv une de ses manifestations rflexion sur les limites, sur les normes quelle que soit
les plus claires dans la fameuse Dclaration dindpendance la nature de ces dernires imposer des nouveauts
du cyberespace de ohn Perry Barlow en 1 6. Il se heurte techniques. Elle traduit tout autant une volont de la part
depuis de nombreuses annes aux efforts dploys par de la puissance publique de ne pas cder la tentation
les acteurs tatiques pour soumettre lunivers numrique de rguler trop vite et de manire inadapte. cet gard,
au droit commun, parfois de manire mcanique, parfois considrer que lmergence et la diffusion de technologies
en mettant en uvre de vritables innovations juridiques. nouvelles implique une rflexion sur ses limites ne signifie
nullement que la loi soit systmatiquement la forme adap-
De nombreux acteurs expriment aujourdhui lide quil ne te limposition de ces limites. Cest en tout cas ce qua
audrait as rguler les algorithmes et lintelligence artifi- considr la CNIL en souhaitant ouvrir la rflexion de la faon
cielle. Ces derniers soulignent en effet quil serait trop tt la plus large possible, non seulement aux acteurs publics
pour imposer des rgles qui savreraient ncessairement mais aussi aux praticiens, professionnels et grand public.
inadaptes et voues tre rendues rapidement caduques
par des volutions techniques progressant dsormais un Formuler des recommandations impliquait donc dabord
rythme incommensurable celui de linvention juridique. dexplorer les grands dveloppements des innovations
considres et les enjeux thiques et de socit soulevs
Une telle position nglige vrai dire une ralit juridique par ceux-ci. Les pages prcdentes y ont t consacres.
aussi massive que parfois inaperue : les algorithmes et Les pages suivantes viseront faire le point sur les grands
leurs usages se trouvent dores et dj encadrs, direc- principes susceptibles de rpondre ces enjeux ainsi que sur
tement ou indirectement, par de nombreuses rgles juri- les recommandations concrtes envisageables aujourdhui.
diques. Il est vrai que ces rgles, comme on le verra, se
trouvent en fait disperses dans divers lois et codes, la
mesure de la transversalit du numrique.

40 la question La dfinition dune charte thique autour de lusage des algorithmes dans le recrutement et la gestion RH vous semble-t-elle une priorit ? , 2 ont rpondu
positivement.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 45

e que la loi dit d ur le al orith e


et lintelli en e arti ielle

Tous les dfis identifis dans le prsent rapport ne sont droits de lhomme, ni la vie prive, ni aux liberts indivi-
pas nouveaux. duelles ou publiques .

La Commission Tricot, dont le rapport a constitu la base Ces trois principes se trouvent relays dans le Rglement
de la loi de 1 7 sur la protection des donnes caractre europen sur la protection des donnes personnelles
personnel, en avait dj identifi certains lissue dune (RGPD) entrant en vigueur en mai 201 . Ils sont les sui-
rflexion qui, au-del du traitement des donnes, portait vants :
sur les dfis soulevs par linformatisation de l tat et de la
socit franaise. Le risque de discrimination ou dexclusion Premirement, la loi encadre lutilisation des donnes per-
des personnes mais galement le risque dune confiance sonnelles ncessaires au fonctionnement des algorithmes,
excessive accorde lordinateur taient demble claire- au-del mme du traitement algorithmique proprement
ment identifis, ct des enjeux directement lis la parler. Autrement dit, elle encadre les conditions de collecte
capacit de collecter et de stocker de grandes quantits et de conservation des donnes41, ainsi que lexercice de
de donnes. Les dbats portant sur la ncessit ou non leurs droits par les personnes (droit linformation, droit
de rguler les algorithmes ignorent en fait purement et dopposition, droit daccs, droit de rectification) afin de
simplement le fait que les algorithmes sont encadrs par protger leur vie prive et leurs liberts.
la loi (loi Informatique et Liberts, notamment, mais pas
seulement) depuis une quarantaine dannes. Deuximement, la loi Informatique et Liberts interdit
quune machine puisse prendre seule (sans intervention
humaine) des dcisions emportant des consquences
cruciales pour les personnes (dcision judiciaire, dcision
Les dbats portant sur doctroi de crdit, par exemple)42.
la ncessit ou non de
Troisimement, la loi prvoit le droit pour les personnes
rguler les algorithmes dobtenir, auprs de celui qui en responsable, des informa-
ignorent le fait que les tions sur la logique de fonctionnement de lalgorithme43.

algorithmes sont encadrs Au-del de la loi Informatique et Liberts, dautres disposi-


par la loi depuis tions lgales plus anciennes constituent de fait un cadre
et une srie de limites lutilisation des algorithmes dans
une quarantaine dannes certains secteurs, dans la mesure mme o ils rgulent
ces secteurs44. La question de la collusion algorithmique
qui se pose aujourdhui aux rgulateurs de la concurrence,
par exemple, ne se pose pas dans un vide juridique : elle a
Aboutissement du travail de la Commission Tricot, la loi plutt trait leffectivit de la rgle de droit et la nces-
Informatique et Liberts de 1 7 contient en effet un certain sit dinventer de nouveaux moyens de prouver lexistence
nombre de dispositions que lon peut, de faon schma- dententes illgales45.
tique, rattacher trois principes, eux-mmes abrits sous
un principe gnral contenu dans larticle 1 : linformatique Les dispositions juridiques interdisant diffrentes formes
doit tre au service de chaque citoyen. Son dveloppement de discrimination, labores dans le sillage de larticle 7
doit soprer dans le cadre de la coopration internationale. de la Dclaration universelle des droits de lhomme, sap-
Elle ne doit porter atteinte ni lidentit humaine, ni aux pliquent naturellement aux algorithmes46.

41 Principes de finalit, de proportionnalit, de scurit, de limitation de la dure de conservation des donnes.


42 Article 10 de la loi de 1 7 . Article 22 du RGPD.
43 Article 3 de la loi de 1 7 . Larticle 15.1 (h) du Rglement europen sur la protection des donnes personnelles (RGPD) prvoit que la personne peut obtenir du responsable
de traitement des informations concernant the existence of automated decision making including profiling referred to in Article 20(1) and (3) and at least in those cases,
meaningful information about the logic involved, as well as the significance and the envisaged consequences of such processing for the data subject . Les limites juridiques
poses par le RGPD portent notamment sur le profilage (pas de dcision base uniquement sur un traitement sauf exceptions).
44 On pourrait envisager, en forant un peu le raisonnement, lapplication du code de la sant publique (qui rprime lexercice illgal de la mdecine par toute personne non
titulaire dun diplme) des dispositifs dintelligence artificielle dans le domaine mdical. On pourrait imaginer quune telle disposition aussi puisse fonder linterdiction de
ltablissement dun diagnostic par un algorithme seul. Lorigine de cette lgislation, au dbut du I e sicle, renvoie la proccupation des autorits de lutter contre le
charlatanisme . Les critiques des promesses excessives portes par certaines entreprises y verront sans doute un cho plaisant la situation actuelle.
45 http://internetactu.blog.lemonde.fr/2017/02/11/comment-prouver-les-pratiques-anticoncurrentielles-a-lheure-de-leur-optimisation-algorithmique/
46 Tous sont gaux devant la loi et ont droit sans distinction une gale protection de la loi. Tous ont droit une protection gale contre toute discrimination qui violerait la
prsente Dclaration et contre toute provocation une telle discrimination .
46 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

e li ite de len adre ent uridique a tuel

Un certain nombre des enjeux soulevs par les algo- sur des collectifs. Nous pensons ici par exemple aux
rithmes constituent cependant ce jour un angle mort du impacts des algorithmes utiliss des fins de marketing
droit et des diffrentes dispositions juridiques voques lectoral sur le fonctionnement dmocratique mme (Voir :
prcdemment. Atomisation de la communaut politique ). Si lon peut
considrer que la loi Informatique et liberts constitue de
fait un facteur limitant de tels impacts47, ce nest cependant
Focalisation sur les algorithmes traitant que de manire indirecte, sans que ce soit son objectif
des donnes personnelles et absence premier.

de prise en compte des effets collectifs


des algorithmes Les limites de leffectivit du droit

En premier lieu ces dispositions ne concernent les algo- Un autre type de limites de lencadrement des algorithmes
rithmes que dans la mesure o ils utilisent pour fonctionner et de l identifia le dans les dis ositions juridiques o-
des donnes caractre personnel et o leurs rsultats ques a trait leffectivit mme de ces dernires et des
sappliquent directement des personnes. Cest notamment principes quelles ont vocation mettre en uvre. Dans
le cas de la loi Informatique et liberts, la seule parmi celles un univers numrique caractris par une fluidit et une
voques qui vise directement les algorithmes (mentionns omniprsence des capteurs rendant difficile lexercice
comme traitement automatiss de donnes caractre des droits ainsi que par une forte asymtrie entre ceux
personnel ). Or, bien des algorithmes nutilisent pas de qui contrlent algorithmes et donnes et les personnes, ces
donnes caractre personnel. Cest par exemple le cas dernires rencontrent des difficults exercer leurs droits
des algorithmes boursiers. Les impacts de ces algorithmes (par exemple, le droit dobtenir une intervention humaine
traitant des donnes non personnelles sont tout aussi sus- dans le cadre dune dcision prise sur le fondement dun
ceptibles que les autres de soulever des questions. Si les traitement algorithmique, ou encore le droit dobtenir une
algorithmes boursiers relvent dun secteur par ailleurs information sur la logique sous-tendant le fonctionnement
fortement encadr, dautres exemples peuvent permettre de lalgorithme).
de comprendre les impacts que peuvent avoir des algo-
rithmes ne traitant pas des donnes caractre person- La prise en compte de cette ralit sest traduite par une
nel. Celui, dj voqu au dbut de ce rapport (Voir Une srie de rflexions rcentes, dont certaines se sont tra-
question dchelle : la dlgation massive de dcisions non duites dans de nouvelles dispositions lgales. Le Rglement
critiques ), de lalgorithme imagin par Cathy ONeil pour europen sur la protection des donnes caractre per-
composer les repas de ses enfants lui permet de mettre sonnel (entre en application en mai 201 ) apporte plu-
en lumire les enjeux spcifiques lis lchelle de limpact sieurs rponses cette question de leffectivit du droit
des algorithmes excuts par des systmes informatiques. dans lunivers numrique, y compris en ce qui concerne
On pourrait imaginer galement un algorithme tablissant les algorithmes48. Par ailleurs, la loi pour une Rpublique
les menus des cantines scolaires selon certains critres numrique (adopte en octobre 2016) sest inscrite dans
(optimisation du co t des denres, qualit nutritionnelle, cette mme perspective de renforcement de leffectivit
etc.) et qui pourrait tre utilis lchelle dun pays. Un tel de principes prexistants.
algorithme, sans traiter de donnes personnelles, serait Dune part, elle a renforc lobligation faite ceux qui
susceptible davoir des impacts sociaux et conomiques dploient des algorithmes den informer les personnes
du fait mme de son chelle de dploiement. Or, la loi na concernes. Dautre part, elle prvoit que les codes sources
jusquici pas pris en compte cette dimension nouvelle. des algorithmes utiliss par ladministration sont des docu-
ments communicables, approfondissant ainsi ( lexception
En second lieu, les dispositions lgales voques pr- notable du secteur priv) le droit dobtenir des informations
cdemment concernent les effets des algorithmes sur sur la logique mise en uvre par un algorithme prsent
les personnes, dans une perspective individualiste. En dans la loi de 1 7 .
revanche, elles ne visent pas directement leurs effets

47 La loi Informatique et liberts limite conditionne notamment au consentement des personnes lenrichissement de profils individuels par des donnes collectes sur les rseaux
sociaux.
48 Larticle 14.1a du Rglement europen, par exemple, renforce le droit linformation, en prvoyant une information claire et intelligible fournie spontanment par le responsable
du traitement algorithmique.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 47

Faut-il interdire les algorithmes


et lintelli en e arti ielle dan
ertain e teur

La question de savoir sil faut interdire les algorithmes et LE REGARD DU CITOYEN


lintelligence artificielle dans certains secteurs ou pour
certains usages ne saurait tre lude dune rflexion sur Les participants la concertation citoyenne
les enjeux thiques soulevs par ces technologies. Rand organise par la CNIL Montpellier le 14
Hindi voquait ainsi lors de lvnement de lancement du octobre 2017 (voir Lorganisation du dbat
dbat organis la CNIL le 23 janvier 2017 la question de public sur les enjeux thiques des algorithmes
savoir sil faudrait refuser dautomatiser certains mtiers et de lintelligence artificielle ont identifi
pour des raisons thiques. un certain nombre denjeux thiques soulevs
par les algorithmes et lintelligence artificielle.
Le caractre particulirement sensible dun certain nombre Si leur positionnement rvle des inquitudes
de secteurs et des dcisions qui y sont prises les dsigne et une conscience des risques, leur attitude
assez logiquement comme tant ceux o la question de gnrale ne traduit gure dhostilit de prin-
telles interdictions pourrait se poser. Ainsi, le secteur mili- cipe ce que des algorithmes et des outils din-
taire a rcemment fait lobjet dune ptition internationale telligence artificielle se dploient dans notre
demandant que soient bannies les armes autonomes. La quotidien, sous rserve que des rponses soient
mdecine ou la justice constituent dautres domaines o apportes.
la question pourrait tre pose. Certes, comme cela a t Parmi les avantages mentionns dans les
rappel, la lgislation prvoit dores et dj que le diagnostic diffrents ateliers de la journe de concerta-
du mdecin ou la dcision du juge ne puissent faire lobjet tion, figurent la personnalisation du diagnos-
dune automatisation. Devant le caractre toujours incer- tic mdical, la fluidification de processus de
tain de la frontire entre dlgation et aide la dcision, recrutement qui deviendraient plus neutres, la
la question dun rappel solennel de ces principes pourrait simplification de la rpartition des tudiants
tre pose. par rapport loffre de formation (APB) ou
encore lutilit des filtres sur les plateformes en
Certains secteurs la sensibilit moins immdiatement ligne pour grer la multitude dinformations .
vidente font galement lobjet de demandes dinterdiction. Beaucoup voient positivement les capacits
Ainsi, Serge Tisseron a rcemment pris position contre le nouvelles danalyse des donnes : 63% consi-
ciblage personnalis dans le domaine publicitaire et culturel, drent ainsi utile de partager les donnes
accus de condamner chaque spectateur tourner en pour le bien commun .
rond dans ce quil connat de ses go ts et ce quil ignore La monte en comptence des participants au
de ses a priori et de contribuer rduire les donnes cours de la journe de concertation se traduit
dont la majorit des humains disposent pour se faire une par un certain accroissement de la conscience
opinion sur le monde49. des risques : 32% des participants les consi-
draient comme plutt source derreur
Enfin, linterdiction applique tel ou tel usage des algo- lissue de la journe alors quils ntaient que
rithmes pourrait porter sur les donnes utilises, limage 23% ex-ante. Une volution certes modre
du moratoire mis en place par les assureurs franais ds lissue dune journe consacre aux enjeux
1 4 sur le recours aux donnes gntiques, relay en 2002 thiques mais qui saccompagne aussi dune
par la loi Kouchner. Dans ce mme secteur, une limitation forme de scepticisme quant la possibilit dun
du recours aux donnes ne serait-il pas une solution pos- encadrement effectif des algorithmes : est-ce
sible (lgale ou mise en place par les acteurs eux-mmes) que la loi sera suffisante pour tout contrler ?
pour maintenir le voile dignorance indispensable la Ne sera-t-on pas toujours dans la correction
prennit de la mutualisation du risque ? aprs drive ? .

49 http://www.huffingtonpost.fr/serge-tisseron/les-publicites-ciblees-cest-la-betise-assuree-interdisons-les a 23220 /
48 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

eux rin i e ondateur our le


d elo e ent de al orith e et de
lintelli en e arti ielle lo aut et i ilan e

La rflexion sur les enjeux thiques soulevs par les algo- bonne foi le service de classement ou de rfrencement,
rithmes et lIA a pour horizon deux dimensions distinctes sans chercher laltrer ou le dtourner des fins tran-
mais articules : les principes et les moyens concrets de gres lintrt des utilisateurs51 .
rendre ceux-ci effectifs.
Parmi les obligations des plateformes envers leurs utilisa-
Le lgislateur avait inscrit larticle 1 de la loi Informatique teurs dcoulant du principe de loyaut tel que dfini par le
et Liberts que linformatique doit tre au service de Conseil d tat figurent notamment, dune part, la pertinence
chaque citoyen . Il sagit aujourdhui dtablir les principes des critres de classement et de rfrencement mis en
permettant datteindre cet objectif gnral et de garantir uvre par la plateforme au regard de lobjectif de meilleur
que lintelligence artificielle soit au service de lhomme, service rendu lutilisateur et, dautre part, linformation
quelle laugmente plutt que de prtendre le supplanter. sur les critres de classement et de rfrencement mis
en uvre. La premire obligation pose donc une limite
Les principes inscrits dans la loi Informatique et Liberts la libert dtablissement des critres de lalgorithme par
et que lon a rappels prcdemment correspondent-ils la plateforme. La deuxime obligation fait de linformation
toujours aux enjeux qui ont t identifis et cet objectif sur la logique de fonctionnement de lalgorithme une obli-
gnral ? Faut-il en promouvoir de nouveaux ? Outre le gation incombant la plateforme (ce nest pas seulement
constat que ces principes ne couvrent pas la totalit du un droit que lutilisateur peut choisir ou non de mobiliser).
champ des algorithmes et de lIA, la circulation dans le
dbat public dune srie de notions reprsentant autant Avec la loyaut ainsi dfinie, on accorde par ailleurs moins
dexigences lgard des algorithmes (loyaut, redevabilit, un droit aux utilisateurs quon impose une obligation
intelligibilit, explicabilit, transparence, etc.) signale lvi- lgard des responsables de traitement.
dence le sentiment dune inadquation, voire dinquitudes.
Dune certaine faon, le principe de loyaut se trouve
Au terme du dbat public, sont ici prsents une srie de sous une forme embryonnaire dans la loi Informatique et
principes. Parmi ces derniers, deux en particulier, celui de Liberts de 1 7 . En effet, le droit linformation qui sy
loyaut et celui de vigilance, apparaissent comme tout par- trouve affirm apparat comme une exigence premire de
ticulirement fondateurs. loyaut lgard de la personne concerne quant au fait
mme quun algorithme traite ses donnes. cela sajoute
le droit pour toute personne dinterroger le responsable du
Le principe de loyaut fonctionnement de lalgorithme pour obtenir des informa-
tions quant la logique suivie par celui-ci ainsi que lobli-
Un principe formul par le Conseil dtat gation de recueillir le consentement de la personne dont
Dans son tude annuelle de 2014 sur le numrique et les les donnes sont traites. Laffirmation mme de ces droits
droits fondamentaux, le Conseil d tat a ainsi formul dans la loi de 1 7 suppose que ces informations soient
trois recommandations invitant repenser les principes fournies de manire loyale et que le comportement de
fondant la protection des droits fondamentaux . Parmi lalgorithme y corresponde effectivement.
celles-ci, la premire portait sur un principe d autod-
termination informationnelle garantissant la matrise de Lintrt du principe de loyaut tel quil est envisag par le
lindividu sur la communication et lutilisation de ses don- Conseil d tat rside dans la notion d intrt des utilisa-
nes personnelles et depuis introduit dans la loi pour une teurs . En effet, il ne sagit pas simplement que lalgorithme
Rpublique numrique. La troisime portait, elle, sur le prin- dise ce quil fait et fasse ce quil dise : le principe de loyaut
cipe de loyaut , appliqu non pas tous les algorithmes limite aussi la libert que le responsable de lalgorithme a
mais, de manire plus restreinte, aux plateformes50 . de dterminer les critres de fonctionnement de ce dernier.
Selon le Conseil d tat, la loyaut consiste assurer de Dautre part, alors que dans la loi Informatique et Liberts,

50 Il sagissait de soumettre les plateformes une obligation de loyaut envers leurs utilisateurs (les non professionnels dans le cadre du droit de la consommation et les
professionnels dans le cadre du droit de la concurrence) . Les plateformes apparaissent comme des acteurs classant un contenu quil na pas lui-mme mis en ligne.
51 Le Numrique et les droits fondamentaux, 2014, p.273 et 27 -2 1
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 49

linformation est un droit qui peut ventuellement tre mobi- critres de lalgorithme doivent aussi ne pas entrer trop
lis par lindividu auprs du responsable de lalgorithme, frontalement en opposition avec certains grands intrts
avec le principe de loyaut, cette information doit demble collectifs, lis notamment au troisime enjeu thique vo-
tre diffuse destination de la communaut des utilisa- qu prcdemment. Ces intrts collectifs peuvent tre
teurs52. Il nest pas question ici de droit des utilisateurs entendus de deux faons. Dune part, il peut sagir de lintrt
mais dobligation des plateformes algorithmiques. Dans de catgories, de segments constitus par la logique mme
cette mesure, la loyaut semble mme de constituer une du big data et de lanalyse algorithmique (des groupes ad
rponse au problme de lasymtrie entre les responsables hoc, constitus par le croisement de certains traits), qui sont
des algorithmes et les utilisateurs. susceptibles de faire lobjet de formes de discriminations.
Ces catgories font lobjet des rflexions actuelles portant
La notion de loyaut a notamment fait lobjet de rflexions sur la notion de group privacy54 . Dautre part, cet intrt
complmentaires menes par le CNNUM. Celui-ci a en effet collectif peut-tre pens comme celui dune socit tout
initi dans son rapport Ambition numrique (2015) une entire. Par exemple, lexposition la diversit culturelle ou
proposition tendant crer une agence de notation de la dopinions pourrait tre considre comme lie lintrt
loyaut des algorithmes appuye sur un rseau ouvert de des utilisateurs , entendus certes comme consommateurs
contributeurs, et ce dans un double objectif : rendre acces- mais aussi comme citoyens et parties prenantes dune
sible via un point dentre unique toute une srie dinforma- collectivit (il conviendrait dailleurs dvoquer directement
tions dj rassembles par les diffrents acteurs ainsi que lintrt des utilisateurs et des citoyens ).
les outils existants et ouvrir un espace de signalement de
pratiques problmatiques ou de dysfonctionnements. Cette
initiative pourrait, sous une forme ou sous une autre, parti-
ciper une meilleure connaissance citoyenne des enjeux,
une meilleure symtrie entre utilisateurs et plateformes Les critres de lalgorithme
algorithmiques, une meilleure circulation des bonnes pra-
tiques pour les entreprises ainsi qu un reprage facilit doivent ne pas entrer
des pratiques litigieuses par le rgulateur. trop frontalement
Un principe largir pour prendre en compte les effets en opposition avec certains
collectifs des algorithmes grands intrts collectifs
Toutefois, par rapport la dfinition fournie par le Conseil
d tat, on peut estimer souhaitable dlargir le principe,
au-del des seules plateformes, tous les algorithmes53.
Par exemple, un algorithme daide la dcision en matire
mdicale, ne devrait-il pas faire lobjet dune interdiction Le principe de loyaut des algorithmes, sil constitue lvi-
de recourir, ou du moins daccorder une place excessive, dence une rponse dimportants enjeux, se heurte avec
un critre li loptimisation de loccupation des lits dun la monte en puissance des algorithmes de machine
hpital ? learning une srieuse difficult. Ces algorithmes, on
la vu, peuvent se comporter de faon problmatique
Ds lors, le principe de loyaut des algorithmes aurait aussi pour les droits des personnes, y compris linsu de leurs
lintrt de concerner des algorithmes ou des enjeux que ne concepteurs (biais et discriminations cachs lis aux cor-
touchent pas la lgislation sur la protection des donnes rlations effectues par le systme). La notion de loyaut
personnelles. Il concernerait en effet aussi les algorithmes des concepteurs dalgorithmes (ce que lon entend habituel-
ne procdant pas un profilage de leurs utilisateurs des lement de fait par le vocable loyaut des algorithmes )
fins de personnalisation de leurs rsultats (par exemple, il perd une part de sa porte ds lors que lalgorithme se
voudrait pour un moteur de recherche qui ne fournirait pas comporte dune faon qui reste opaque ces mmes
des rsultats profils). concepteurs. Il faudrait pouvoir parler, au sens propre,
de loyaut des algorithmes (mais cela a-t-il un sens ?) ou
On pourrait enfin considrer lopportunit de reprendre la bien sassurer que lalgorithme ne se comportera pas dune
proposition du Conseil dtat en largissant, ou du moins faon non souhaitable, sans que lon soit bien en mesure
en prcisant la notion d intrt des utilisateurs , de faon de prciser a priori ce que lon entend par ce non souhai-
prendre en compte non seulement la dimension com- table . Autrement dit, un algorithme loyal ne devrait pas
merciale et conomique de cet intrt, mais galement avoir pour effet de susciter, de reproduire ou de renforcer
sa dimension collective. Il sagirait de considrer que les quelque discrimination que ce soit, ft-ce linsu de ses

52 Sans mconnatre le secret industriel, les plateformes devraient expliquer leurs utilisateurs la logique gnrale de leurs algorithmes et, le cas chant, la manire dont les
utilisateurs peuvent les paramtrer.
53 Prcisons pour couper court toute inutile querelle smantique que lemploi de lexpression de loyaut des algorithmes ne revient pas anthropomorphiser un fait
technique (lalgorithme) mais est un raccourci pratique pour dsigner la loyaut de ceux qui conoivent et dploient lalgorithme.
54 Brent Mittelstadt, From individual to group privacy in Big Data analytics, B. Philos. Technol. (2017) 30: 475. https://doi.org/10.1007/s13347-017-0253-7
50 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

concepteurs. Cette dernire piste est donc plus large que le professionnel qui ralise cet apprentissage, par celui qui
les premires rflexions voques plus haut sur la notion a achet une solution de machine learning quil va ensuite
de loyaut, dveloppes avant tout en rfrence des pr- dployer, etc.). Ce phnomne semblable celui qui peut
occupations dordre commerciales, concurrentielles, dans se dvelopper le long dune chane de sous-traitance favo-
la perspective du dveloppement de pratiques rsolument rise la dilution du sentiment de responsabilit, voire simple-
dloyales destines obtenir un avantage en manipulant ment de la conscience des impacts que peuvent gnrer
lalgorithme. ces outils. Par exemple, le data scientist, sil occupe une
position essentielle, en amont de la chane algorithmique,
ne saurait dtenir toutes les cls et ne possde pas nces-
Le principe de vigilance sairement la vision densemble de laction collective dont il
forme le premier maillon. Le Conseil National des Barreaux,
Si le principe de loyaut apparat comme un principe subs- dans le rapport remis la CNIL, souligne pour sa part que
tantiel fondateur, le principe de vigilance constitue quant le sens de lthique du lieu de mise en uvre du pro-
lui un principe plus mthodologique qui doit orienter la faon gramme peut tre trs diffrent de celui du concepteur du
dont nos socits modlent les systmes algorithmiques. programme . En outre, linformatique porte en elle-mme
le risque du dveloppement dune confiance exagre dans
Lun des dfis identifis consiste dans le caractre mouvant une machine souvent perue comme infaillible et exempte
et volutif des algorithmes lheure du machine learning. des biais charris par laction et le jugement humains. La
Cette caractristique est renforce par lchelle indite de commission Tricot, dans les annes 1 70, soulignait dj ce
limpact potentiel des algorithmes excuts par des pro- risque. Plusieurs des intervenants du dbat public lont men-
grammes informatiques et donc de lapplication dun mme tionn cette anne. Au total, donc, le dveloppement des
modle. Ceci accrot limprvisibilit, le caractre volutif systmes algorithmiques va de pair avec une rosion des
et potentiellement surprenant des algorithmes et de leurs vigilances individuelles. Or, il ne saurait tre question de lais-
effets. Comment donc apprhender et encadrer un objet ser se dvelopper ce type dindiffrence face aux impacts
instable, susceptible de gnrer des effets nouveaux au fur possibles des algorithmes et de lintelligence artificielle.
et mesure de son dploiement et de son apprentissage, Il est ncessaire dorganiser la vigilance collective, aussi
des effets imprvisibles au dpart ? bien lgard de phnomnes connus dont il sagit dviter
lapparition qu lgard de phnomnes ou dimpacts qui
La promotion dun principe d obligation de vigilance nont pas ncessairement pu tre envisags initialement
pourrait tre une faon daborder ce dfi en prvoyant la mais dont lchelle et le caractre volutif des nouveaux
prise en compte par les concepteurs et ceux qui dploient algorithmes rendent la survenue toujours possible.
lintelligence artificielle de cette caractristique indite. Par
ailleurs, ce principe dobligation de vigilance viserait aussi
contrebalancer le phnomne de confiance excessive
et de dresponsabilisation dont on a vu quil tait favoris
par le caractre de bote noire des algorithmes et de lIA.
Le dveloppement
Enfin, ce rinci e de igilance doit a oir une signification des systmes algorithmiques
collective. Plus que dalgorithmes, sans doute faudrait-il par-
ler de systmes algorithmiques, de complexes et longues
va de pair avec une rosion
chanes algorithmiques composes de multiples acteurs des vigilances individuelles
(du dveloppeur lutilisateur final, en passant par la socit
ayant collect les donnes utilises pour lapprentissage,
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 51

e rin i e din nierie intelli ibilit


re on abilit inter ention hu aine

Intelligibilit, transparence, De nombreux spcialistes proposent ainsi de prfrer, la


responsabilit transparence, lexigence dintelligibilit ou dexplicabilit des
algorithmes. Plus que davoir accs directement au code
source, lessentiel serait dtre mme de comprendre la
Face lopacit des systmes algorithmiques, la transpa- logique gnrale de fonctionnement de lalgorithme. Cette
rence est une exigence trs souvent affirme, non sans logique devrait pouvoir tre comprise par tous et donc non-
lien dailleurs avec le principe de loyaut. Selon le Conseil ce verbalement et non sous la forme de lignes de code.
national du numrique, ce principe implique premire- Cest ainsi la position de Daniel Le Mtayer, de lInstitut
ment et dune manire gnrale la transparence du com- national de recherche en informatique et en automatique
portement de la plateforme, condition pour sassurer de (INRIA), pour qui lintelligibilit passe travers le question-
la conformit entre la promesse affiche du service et les nement sur la logique globale de lalgorithme ainsi que sur
pratiques relles. Dans les relations entre professionnels, il des rsultats particuliers. Cest la position de Dominique
sapplique aux conditions conomiques daccs aux plate- Cardon : Que doit-on rendre transparent dans lalgorithme ?
formes et aux conditions douverture des services des Est-ce la technique statistique employe ? Faut-il rendre
tiers55 . Lopacit en question concerne autant la collecte le code visible? Mme si cest utile, il y a des raisons pour
que le traitement des donnes par ces systmes et donc le quil ne soit pas obligatoirement dvoil. Par exemple, dans
rle que ceux-ci jouent dans un certain nombre de prises de le march du search engine optimization , des acteurs
dcisions. Les algorithmes ne sont pourtant pas opaques cherchent influer sur les rsultats de lalgorithme : cela
seulement lgard de leurs utilisateurs finaux ou ceux permet de comprendre lune des raisons pour lesquelles
dont ils traitent les donnes. De plus en plus, avec laffirma- Google ne rend pas son code public. Rendre transparent
tion du machine learning, les concepteurs mmes de ces un calculateur, cela doit avant tout tre un travail pdago-
algorithmes probabilistes perdent la capacit comprendre gique, pour essayer de faire comprendre ce quil fait. Ce
la logique des rsultats produits. Cest donc un double qui est essentiel, ce nest pas que le code soit transparent,
niveau que se pose la question de lopacit. La transparence cest que lon comprenne ce qui rentre et ce qui sort de
exige face cette situation appelle des rponses lgales lalgorithme ainsi que son objectif. Cest cela qui doit tre
et de procdure mais elle soulve aussi un enjeu technique. transparent (CNIL, vnement de lancement du dbat
public, 23 janvier 2017).
Lide de transparence des algorithmes est considre
ar eaucou comme excessi ement sim lificatrice et Lide dintelligibilit (ou explicabilit), comme celle de
finalement insatis aisante une trans arence assimile transparence, sarticule de toute faon avec le principe de
la publication pure et simple dun code source laisse- loyaut, dont on peut considrer quelle est finalement une
rait limmense majorit du public, non spcialis, dans condition de dploiement.
lincomprhension de la logique luvre. Par ailleurs,
du moins en ce qui concerne le secteur priv, lide de Enfin, lintroduction dune obligation de redevabilit ou
transparence entre en tension avec le droit de la proprit dorganisation de la responsabilit pourrait constituer une
intellectuelle, les algorithmes sapparentant un secret rponse au phnomne de dilution de la responsabilit
industriel dont la divulgation pourrait mettre en danger un quont tendance favoriser les algorithmes et lintelligence
modle conomique. artificielle. Il sagirait de prvoir que le dploiement dun
systme algorithmique doit ncessairement donner lieu
Enfin, des entreprises peuvent avancer de bonnes raisons une attribution explicite des responsabilits impliques
de ne pas dvoiler le code source, ni les critres comman- par son fonctionnement.
dant le fonctionnement dun algorithme. Ainsi Google
cherche-t-il viter que les rsultats fournis par lalgo-
rithme de son moteur de recherche, PageRank, ne soient
fausss par des acteurs qui seraient mme den exploiter
la logique leur profit.

55 https://cnnumerique.fr/wp-content/uploads/2015/11/CNNum Fiche Loyaute-des-plateformes.pdf


52 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

Repenser lobligation dintervention Dans son tude annuelle de 2014, le Conseil d tat sou-
humaine dans la prise de dcision lignait la ncessit dassurer leffectivit de lintervention
humaine. Il est possible de considrer quassurer leffec-
algorithmique ? tivit de lintervention humaine lchelle de chaque dci-
sion prise revient de fait empcher ou limiter certaines
On a vu que la loi de 1 7 avait pos un principe dinterdic- applications des algorithmes et de lIA. En effet, quand
tion de toute prise de dcision entranant des effets juri- lautomatisation a pour fonction doptimiser et dacclrer
diques lgard dune personne sur le seul fondement dun un processus en remplaant lhomme, une intervention
traitement automatis de donnes caractre personnel humaine rellement effective pour chaque dcision risque
(autrement dit : sur le seul fondement du rsultat fourni dtre dissuasive. On pourrait en fait poser ainsi la question :
par un algorithme analysant des donnes personnelles). comment faire assurer par des machines des tches
Ce principe est repris dans le Rglement europen sur la auparavant accomplies par lintelligence humaine (cest
protection des donnes caractre personnel. Nanmoins, la dfinition de lIA) sans vacuer lhomme ? Une faon
lun et lautre de ces textes, immdiatement aprs avoir dy rpondre consiste avancer que lon pourrait envisa-
affirm ce principe, le vident en grande partie de sa subs- ger leffectivit de lintervention humaine autrement qu
tance par ladjonction dexceptions trs larges56. lchelle de chaque dcision individuelle. On pourrait, par
exemple, assurer que des formes de dlibration humaine
Il semble par ailleurs que le recours des juridictions larticle et contradictoire encadrent et accompagnent lutilisation
10 de la loi de 1 7 (dont il est ici question) soit devenu des algorithmes en examinant et en interrogeant le para-
moins frquent et que linterprtation dudit article soit deve- mtrage mais aussi tous les effets directs et indirects
nue moins stricte au cours des quarante dernires annes57. du systme. Cette supervision pourrait ainsi porter, non
Une volution de la Loi Informatique et Liberts interve- pas sur chaque dcision individuelle, mais de loin en loin
nue en 2004 a dailleurs facilit de fait la prise de dcision sur des sries plus ou moins nombreuses de dcisions.
automatise, dans le secteur bancaire (credit scoring) par
exemple : si lintervention humaine dans le processus est La protection des liberts serait ds lors pense moins
toujours requise, celle-ci prend la forme dun droit pour en termes individuels que collectifs. On voit dailleurs ici
la personne concerne de demander ce que, en cas de comment une telle piste sarticulerait aussi avec lide
dcision dfavorable, celle-ci soit rexamine par une per- dune obligation de vigilance voque prcdemment. Ce
sonne. Intervention humaine, donc, mais a posteriori et passage dune interprtation individuelle une interprta-
seulement sur demande. tion collective de lobligation dassurer une forme dinter-
vention humaine dans la dcision automatise pourrait
Sans que le terme implique un jugement de valeur, il semble faire lobjet dune modulation en fonction de la sensibilit
que lon puisse parler dune forme de drive ou dvo- des applications considres et de la configuration de la
lution du seuil de tolrance de la socit lgard de la balance avantages/risques (par exemple, dans la sant,
prise de dcisions automatise depuis les annes 1970. faut-il considrer que la sensibilit des enjeux dpasse
Lvolution du droit et de la jurisprudence seraient le reflet les gains et justifie donc un maintien de lobligation de
de cette volution. Ne faut-il pas ds lors revisiter le principe garantir une intervention humaine pour chaque dcision ?).
interdisant la prise de dcision par une machine seule et
impliquant donc la ncessaire intervention humaine ? Le
revisiter pour accueillir les nouveaux usages de lIA, sans
toutefois y renoncer ?

Comment faire assurer par des machines


des tches auparavant accomplies par
lintelligence humaine cest la dfinition
de lIA) sans vacuer lhomme ?

56 Sur ce point dans le RGPD, voir par exemple : Wachter, Sandra, Brent Mittelstadt, et Luciano Floridi. Why a Right to Explanation of Automated Decision-Making Does Not Exist in
the General Data Protection Regulation . Social Science Research Network, dcembre 2016
57 Voir par exemple la dlibration de la CNIL sur le projet GAMIN, en 1 1 : la Commission rejeta alors ce projet du ministre de la sant. Mme les garanties pourtant donnes par
le ministre pour assurer une intervention humaine effective dans la dtection de mineurs risques psycho-sociaux dont il tait question furent repousses. On peut pourtant
se demander la lecture du dossier si la position de la CNIL serait aujourdhui la mme, alors quil nous semble quune certaine accoutumance sest opre lide de voir des
algorithmes intervenir de plus en plus fortement dans des domaines de plus en plus importants. Par exemple, la dcision dliminer des candidats sur le fondement dun seul
traitement automatis ne parat gure relever de la science-fiction ni mme probablement de ce que beaucoup dans notre socit sont prts accepter.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 53

e rin i e aux re o andation


ratique

Comment donner une effectivit concrte aux principes cielle sont des objets socio-techniques complexes, models
abords prcdemment ? Les pages suivantes listent les et manipuls par de longues et complexes chanes dac-
principales recommandations qui ont merg du dbat teurs. Cest donc tout au long de la chane algorithmique
public organis par la CNIL de janvier octobre 2017, com- (du concepteur lutilisateur final, en passant par ceux
plt par la consultation de rapports dj mis par diverses qui entranent les systmes et par ceux qui les dploient)
institutions en France et ltranger (entre autres, lOPECST, quil faut agir, au moyen dune combinaison dapproches
la CERNA, le CNNUM, le Conseil d tat, la CGE, la Maison techniques et organisationnelles. Les algorithmes sont
Blanche, France IA, INRIA, AI Now). partout : ils sont donc laffaire de tous.

Une ide gnrale qui mane de la plupart des rflexions est La loi ne saurait tre le seul levier, la solution passant
que les solutions impliquent ncessairement une palette ncessairement par une mobilisation de tous les acteurs.
dactions diversifies concernant diffrents acteurs (les Un certain nombre des recommandations formules ci-
concepteurs dalgorithmes, les professionnels, les entre- dessous ne prcisent dailleurs pas si cest la loi ou linitiative
prises, la puissance publique, la socit civile, lutilisateur spontane des diffrents acteurs qui devrait tre privilgie
final). Les systmes algorithmiques et dintelligence artifi- pour les mettre en uvre.

LE REGARD DU CITOYEN
Les participants la concertation citoyenne organise par la CNIL Montpellier le 14 octobre 2017 (voir
Lorganisation du dbat public sur les enjeux thiques des algorithmes et de lintelligence artificielle
ont formul des recommandations. Ces dernires recoupent en grande partie celles recueillies ailleurs
dans le cadre du dbat public.

Le souhait que lhumain garde le contrle sur le dveloppement des algorithmes apparat prioritaire
(95% davis favorables), une dlgation excessive des dcisions aux algorithmes et lIA tant juge pr-
judiciable. Le constat des participants rejoint lide dun principe de vigilance prcdemment voqu :
97% souhaitent garder la dimension humaine, garder une dose de subjectivit, ne pas de dsinvestir
totalement et 1 considrent que lutilisateur devrait tre dans une posture dapprenant chaque
usage dun algorithme afin den cerner les limites et tre exigeant vis--vis des dveloppeurs chaque
fois que cela est ncessaire . Dans le champ de la mdecine par exemple, certains citoyens pensent
quune partie des dcisions devrait toujours tre discute en collge.

Ladaptation de la formation des concepteurs dalgorithmes est une option ayant merg dans plusieurs
groupes de travail, et ayant fait lobjet dun quasi-consensus : 97% des participants considrent que les
dveloppeurs doivent intgrer dans leurs pratiques une certaine thique et rsister aux demandes ten-
tantes du march qui peuvent affecter cette dimension . 4 en appellent ainsi au dveloppement de
chartes thiques et 56% souhaiteraient que des experts associs issus des sciences humaines et sociales
permettent aux dveloppeurs de mieux mesurer limpact de leur travail sur la socit. La formation
concerne galement les utilisateurs dalgorithmes : 82% des personnes prsentes sont favorables une
obligation de formation continue des mdecins utilisant des systmes daide la dcision. Plus gnra-
lement, ce besoin de savoir et de comprendre se matrialise par une forte demande pour plus dducation
au numrique tout au long de la vie. Notamment afin de lutter contre les ingalits face ces objets,
lintgralit des citoyens revendiquent une ducation populaire au numrique et le dveloppement
de programmes scolaires pour une alphabtisation au numrique tant sur lobjet que sur les enjeux .
54 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

LE REGARD DU CITOYEN (suite)

La ncessit de disposer de droits renforcs en matire dinformation, de transparence et dexplication


quant la logique de fonctionnement de lalgorithme a galement t vigoureusement affirme dans
chacun des groupes de travail. Cest dj la possibilit dtre inform ds quun algorithme est dploy
qui semble tre exige par les participants : des participants estiment en effet quun employeur qui
utilise un algorithme devrait imprativement lindiquer aux candidats. La mise disposition des codes
source est juge souhaitable par dentre eux, bien quelle soit considre comme insuffisante pour
comprendre les rsultats produits par un algorithme. Dans le cas dAPB par exemple, un accompagne-
ment plus effectif pour comprendre les ressorts de son utilisation est demand par 78% des citoyens
prsents. 85% voient dailleurs dans lexprience des utilisateurs un matriau prcieux pour amliorer
lergonomie de la procdure . Lorsquun critre de lalgorithme repose sur des choix politiques le tirage
au sort, par exemple), il convient galement de ne pas locculter mais bien au contraire de le rendre lisible
(selon 94% des participants). Notons que si un dsir de transparence se manifeste, il nest pas unanime
et saccompagne dune lucidit voire dun fatalisme sur lhypothse quelle puisse suffire.

Un effort tatique de rgulation pour identifier les biais, viter les abus, tablir des statistiques et impo-
ser un agrment pourrait constituer une solution selon une crasante majorit des participants .
Beaucoup prconisent la cration dun organisme indpendant pour effectuer des tests scientifiques
sur les algorithmes, limage des mdicaments avant la mise en vente sur le march 4 . Sur le
long terme, sassurer rgulirement que lalgorithme soit toujours en phase avec les objectifs viss
constitue galement une ide ayant merg des dbats (63% y sont favorables). Lintervention du lgis-
lateur est galement vivement souhaite 4 afin de mieux intgrer lthique dans les lois travers
des chartes et des rgles dontologiques, des formations, des concertations .

Limportance pour la socit civile de sorganiser face ces objets technologiques nouveaux a aussi t
avance par certains des participants travers notamment le rle du tissu associatif (associations de
patients dans le champ de la sant), la protection ncessaire des lanceurs dalerte, ou encore le soutien
apport des rseaux alternatifs aux plateformes du web dont les algorithmes utiliss poseraient question.

Enfin, les changes ont dmontr un fort attachement la protection des donnes caractre personnel
et la protection de la vie prive. La question de savoir qui appartiennent nos donnes et quels sont
les usages qui en sont faits a t juge prioritaire dans certains groupes de travail, sur la sant notam-
ment, ou encore sur lemploi (inquitude sur la possibilit que des algorithmes analysent des donnes
qui seraient collectes en dehors de lentreprise).

tant daborder de manire confiante, active et claire ces


RECOMMANDATION 1 nouvelles technologies est une ncessit qui correspond
par ailleurs une demande de sa part, ainsi que la rappel
Former lthique tous les maillons fortement la concertation citoyenne organise Montpellier
de la chane algorithmique : par la CNIL le 14 octobre 2017.

concepteurs, professionnels, citoyens Limpratif de constituer une nouvelle littratie numrique


intgrer ds lcole et jusqu luniversit fait lobjet dun
Formation des citoyens large consensus. Des acteurs comme le CNNUM ont dj
Le citoyen est lun des acteurs centraux des systmes algo- dvelopp des rflexions cet gard58. Cette littratie num-
rithmiques. Dune part car les algorithmes ont un impact rique comprendrait videmment une culture algorithmique
croissant sur son existence. Dautre part, parce quil est dont les fondements peuvent dailleurs tre poss trs tt,
particulirement bien plac pour en identifier les ventuels par des exercices qui nimpliquent pas ncessairement le
drives. Lui fournir les cls de comprhension lui permet- recours un matriel numrique.

58 https://cnnumerique.fr/education-2/
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 55

La diffusion de cette culture algorithmique trs largement trisme. La fminisation de ces mtiers devrait notamment
dans la population peut tre galement favorise par len- commencer par un effort douverture des filires de forma-
couragement aux initiatives de mdiation numrique dans tion aux femmes.
les territoires. Autrement dit, une forme dducation popu-
laire numrique incluant une dimension dappropriation Formation des professionnels utilisateurs
aux donnes et aux algorithmes. Citons par exemple les dalgorithmes
initiatives de la FING (Info Lab), de la Pniche Grenoble Pour considrer lensemble de la chane de dploiement
(Coop-Infolab), de Pop School Lille. des algorithmes, il est ncessaire denvisager galement
la formation des professionnels appels utiliser ces sys-
Formation des concepteurs dalgorithmes tmes dans le cadre de leur activit. Il sagirait notamment
Les concepteurs dalgorithmes (dveloppeurs, program- de les armer contre le risque de dresponsabilisation, de
meurs, codeurs, data scientists, ingnieurs) forment le pre- perte dautonomie que peut dvelopper le recours des
mier maillon de la chane algorithmique. Ils occupent ce outils fonctionnant parfois comme des botes noires pr-
titre une position particulirement sensible. La technicit sentes comme tant dune efficacit imparable. Prvenir le
de leurs mtiers est par ailleurs susceptible de rendre leurs dveloppement dune confiance excessive en sensibilisant
actions opaques (et donc difficilement contrlables) aux aux dimensions thiques dune prise de dcision qui ne
autres acteurs. Il est capital quils aient une conscience doit pas exclure lintervention humaine et en dveloppant
aussi claire que possible des implications thiques et lesprit critique savre crucial dans des secteurs particu-
sociales de leurs actions, et du fait mme que ces dernires lirement sensibles, comme peuvent ltre la mdecine, le
peuvent recouvrir la dimension de choix de socit quils ne recrutement, la justice, et peut-tre ds maintenant surtout
sauraient tre lgitimes arbitrer seuls. Or, lorganisation le marketing, o les catgories antismites rcemment
concrte du travail et de lconomie tend segmenter les gnres par les algorithmes apprenants de Facebook sont
tches et favoriser la tendance que peuvent avoir les venus illustrer la ralit des risques. Cette formation devrait
individus ignorer les implications de leur activit au-del notamment inclure, dans une optique pluridisciplinaire, la
de leur silo. Par consquent, il est ncessaire que leur for- prise en compte des enjeux spcifiques que posent ces
mation mme mette les concepteurs des algorithmes en outils chaque secteur. Un mdecin qui utilise un systme
capacit de saisir ces implications parfois trs indirectes daide au diagnostic recourant lintelligence artificielle,
sur les personnes mais aussi sur la socit, quelle les res- par exemple, devrait tre rendu spcifiquement attentif au
ponsabilise en veillant leur vigilance. dveloppement possible de biais et capable dune rflexivit
la hauteur de loutil quil maniera et des consquences
Lintgration, dans la formation des ingnieurs et data de ses erreurs.
scientists, de lapproche des sciences humaines et sociales On pourrait ainsi imaginer la cration de sorte de permis
(sociologie, anthropologie, gestion, histoire des sciences dutiliser les algorithmes et lIA dans certains secteurs,
et des techniques, sciences de linformation et de la com- acquis grce des modules de formations spcifiques que
munication, philosophie, thique) sur ces questions peut dlivreraient universits et coles spcialises.
cet gard avoir des effets positifs.
Sensibilisation des acteurs publics la ncessit
Le dveloppement de ces mmes enseignements bn- dun usage quilibr et symtrique des algorithmes
ficierait de lintgration des approches techniques et des De mme, il serait souhaitable de sensibiliser les acteurs
sciences humaines et sociales au sein de laboratoires publics la ncessit dun dploiement quilibr et sym-
interdisciplinaires. trique des algorithmes. Alors que ces derniers sont de
Certaines initiatives vont dj dans ce sens. Citons par plus en plus utiliss pour lutter la fraude et des fins de
exemple le cas de lENSC ( cole nationale suprieure de contrle, laisser se dvelopper dans le public la perception
cognitique, Bordeaux), grande cole intgrant les sciences errone selon laquelle ils ne peuvent servir quau contrle et
humaines et sociales au cursus de formation de ses ing- des finalits rpressives (par ailleurs utiles aux individus
nieurs ou encore le laboratoire Costech (Connaissance, mmes) risquerait de gnrer une forme de dfiance qui
organisation et systmes techniques), lUniversit serait terme nfaste leur dploiement et lexploitation
Technique de Compigne (UTC). de leurs avantages. Il serait donc hautement souhaitable
que les responsables administratifs et politiques soient
Enfin, il est essentiel de favoriser la diversification cultu- convaincus de lutilit dexploiter les potentialits des algo-
relle, sociale et de genre des professions impliques dans rithmes qui apparaissent immdiatement favorables aux
la conception des algorithmes afin de garantir que lintel- personnes et permettent damliorer laccs aux droits
ligence artificielle ne favorise pas des formes dethnocen- (dtection du non-recours aux aides sociales)59.

59 Dans une valuation des politiques publiques en faveur de laccs aux droits sociaux, les dputs Gisle Bimouret et M. ean-Louis Costes proposaient en 2016 de mettre
les outils de lutte contre la fraude au service de la diminution du non recours aux droits sociaux . Voir : Rapport dinformation du comit dvaluation et de contrle des politiques
publiques sur lvaluation des politiques publiques en faveur de laccs aux droits sociaux.
56 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

RECOMMANDATION 2 Le problme de lopacit des algorithmes tient aussi au fait


que les responsables des systmes algorithmiques ne
Rendre les systmes algorithmiques sont pas, dans limmense majorit des cas, concrtement
comprhensibles en renforant les droits joignables ou accessibles pour fournir ces informations et
explications. Ceci implique galement une irresponsabilit
existants et en organisant la mdiation de systmes auxquels les utilisateurs se trouvent dans
avec les utilisateurs limpossibilit de demander des comptes. Il est donc nces-
saire dorganiser une forme de joignabilit des systmes
Lopacit, pour les personnes, des algorithmes qui les pro- algorithmiques, notamment en identifiant systmatique-
filent et de la logique laquelle ceux-ci obissent, pour leur ment au sein de chaque entreprise ou administration une
attribuer un crdit bancaire par exemple, nest pas sans quipe responsable du fonctionnement dun algorithme ds
trouver de premiers lments de rponse dans le droit lors que celui-ci traite les donnes de personnes physiques.
existant. De mme, on a vu que celui-ci contient depuis Il est en outre ncessaire de communiquer dlibrment et
longtemps des dispositions ouvrant la voie une premire de faon claire lidentit et les coordonnes de cette per-
forme dintelligibilit et de transparence60. sonne ou de cette quipe de faon ce quelle puisse tre
contacte aisment et quelle ait les moyens de rpondre
En revanche, de nombreux diagnostics convergent pour rapidement aux demandes reues.
souligner linsuffisance de ces dispositions pour rsorber
de manire effective lopacit des systmes algorithmiques La joignabilit devrait tre aussi accompagne dun effort
et assurer intelligibilit, transparence et loyaut. Instaurer rsolu pour organiser la mdiation et le dialogue entre les
pour les responsables des systmes une obligation de com- systmes et la socit, conformment aux ides dvelop-
munication (et non pas sur la seule demande formule par pes par la Fondation Internet Nouvelle Gnration (FING)
les personnes concernes) claire et comprhensible des dans le cadre de linitiative NosSystmes . La FING
informations permettant de comprendre la logique de fonc- constate en effet que joindre le responsable technique
tionnement dun algorithme serait une faon de rpondre ne suffit pas . Elle propose ainsi, par exemple, la mise en
cet enjeu. Elle a dailleurs t dores et dj prvue dans place dquipes ddies la qualit du dialogue usager
la loi pour une Rpublique numrique pour les algorithmes ainsi que dun pourcentage mdiation . Alors que les
dploys par les administrations publiques61. algorithmes permettent des conomies dchelle, prendre
en compte le pourcentage du budget dun projet consacr
On peut galement considrer quil serait souhaitable que leffort de mdiation (mise en place doutils de visualisa-
cet impratif (quil soit fix par la loi ou librement adopt tion, quipe de mdiation, partenariat, contrle de la bonne
par les acteurs) concerne aussi les algorithmes nimpli- comprhension de linformation, etc.) pourrait permettre
quant pas le traitement des donnes personnelles de leurs via des procdures de certification de valoriser et de
utilisateurs, dans la mesure o ceux-ci sont susceptibles confrer un avantage concurrentiel (en termes dimage
davoir des impacts collectifs significatifs, mme si ceux-ci aux yeux des consommateurs) aux systmes vertueux.
ne portent pas directement sur des personnes (voir notam-
ment Les limites de lencadrement juridique actuel des
algorithmes et Le principe de loyaut ).
RECOMMANDATION 3
Une telle obligation, inscrite dans la loi, pourrait opportun-
ment tre prolonge par des initiatives prives enclenchant Travailler le design des systmes
une dynamique vertueuse. Pour les acteurs du web ayant algorithmiques au service de la libert
des sites sur lesquels les personnes disposent dun compte
auquel elles peuvent se connecter, linformation sur leur humaine
profil , les donnes traites et infres et la logique de
lalgorithme pourraient tre accessibles dans cet espace. Plus que lalgorithme seul, voire le programme excu-
Les personnes pourraient par ce biais corriger et actualiser tant lalgorithme, cest lensemble du systme algorith-
aisment leur profil et les donnes les concernant. mique quil sagit de sintresser pour en comprendre et en
contrler les effets. De nombreuses rflexions rcentes
Cette volution du droit pourrait tre relaye par le dve- mettent en avant limportance de prendre en compte le
loppement de bonnes pratiques par les acteurs, laide design des systmes algorithmiques, cest--dire linterface
doutils de droit souple. entre la machine et son utilisateur.

60 Notamment larticle 3 de la Loi Informatique et liberts, organisant le droit daccs.


61 Larticle 14.1a du Rglement europen va dans ce sens en prvoyant une telle information.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 57

Il convient ainsi dagir sur le design pour contrer le caractre en la dvoilant, la pratique de lastroturfing, cest--dire la
de botes noires que peuvent avoir les algorithmes ds manipulation leur avantage par des groupes trs orga-
lors quils se prsentent comme des systmes opaques niss des rseaux sociaux pour imposer certains thmes
prsentant des rsultats sans mise en perspective de leurs lordre du jour de la scne politique nationale. Il parti-
propres limites ni prsentation de la manire dont ils sont cipe ainsi un rquilibrage dans lutilisation des algo-
construits mais pars du prestige de la neutralit et de rithmes, dans le but de prserver un accs dmocratique
linfaillibilit si facilement prtes la machine. linformation.

linverse, il sagit de promouvoir un design propre renfor- travers le design, cest toute la relation entre lhomme
cer lautonomie et la rflexivit des personnes, remdier et la machine qui peut tre modifie, dans le sens dune
aux situations dasymtrie que peuvent tablir les algo- responsabilisation de lhomme et dune augmentation de
rithmes leur dtriment, leur permettre de prendre des sa capacit prendre des dcisions claires, au lieu dune
dcisions informes et de manire lucide. confiscation au profit de la machine de sa capacit faire
des choix. Cest en somme au principe de vigilance voqu
Par exemple, la mise en place de systmes de visualisation plus haut quil sagit ici de donner corps.
permettant de redonner plus de contrle lutilisateur en
lui donnant une meilleure information va dans ce sens. Des Le concept de jouabilit rcemment propos par la FING
outils de visualisation peuvent permettre des individus dans le cadre de son expdition NosSystmes pour-
de comprendre pourquoi des recommandations leur ont rait galement constituer un principe rgissant le design
t proposes voire, encore mieux, de gnrer en retour de systmes algorithmiques vertueux, mis au service de
des recommandations plus appropries. Les individus lindividu et de sa capacit dagir dans toute sa plnitude.
se trouvent par-l mme placs dans une posture active. Il sagit de permettre aux utilisateurs de jouer avec les
Il sagit de donner lindividu la main sur une partie au systmes en en faisant varier les paramtres. Permettre
moins des critres qui dterminent la rponse fournie par par exemple aux utilisateurs dAPB de pouvoir le tester
lalgorithme, lui permettant ventuellement de tester diff- blanc en voyant les rsultats fournis en fonction de dif-
rentes rponses en fonction de paramtrages diffrents. frents choix avant dentrer leurs vux dfinitifs. On pour-
Un exemple doutil de visualisation a t fourni au cours rait ainsi imaginer galement quun moteur de recherches
du dbat public par la prsentation du Politoscope62 . sur internet permette ses utilisateurs de lancer plusieurs
Dvelopp par lInstitut des Systmes Complexes de Paris- recherches en faisant varier les critres. Lide de jouabi-
le de France, le politoscope permet au grand public de lit repose sur le fait que toucher et manipuler est la cl
plonger dans des masses de donnes et de voir lactivit dune comprhension directe, bien davantage sans doute
et la stratgie des communauts politiques sur les rseaux que laccs un code source indchiffrable pour la grande
sociaux et notamment sur Twitter. Il aide contrebalancer, majorit dentre nous.

RECOMMANDATION 4
travers le design, Constituer une plateforme nationale
cest toute la relation daudit des algorithmes
entre lhomme et la machine
Dvelopper laudit des algorithmes de manire contrler
qui peut tre modifie leur conformit la loi et leur loyaut est une solution fr-
dans le sens dune quemment voque pour assurer leur loyaut, leur respon-
sabilit et, plus largement, leur conformit la loi.
responsabilisation de lhomme
et dune augmentation Dvelopper laudit des algorithmes signifie dabord dvelop-
per la capacit de la puissance publique assurer ce der-
de sa capacit prendre nier. Laudit des algorithmes nest pas une ralit nouvelle.
des dcisions claires La Commission des sanctions de lAutorit des marchs
financiers sest ainsi appuye sur lanalyse de lalgorithme
Soap pour rendre sa dcision du 4 dcembre 2015

62 https://politoscope.org/
58 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

lgard des socits Euronext Paris SA et Virtu Financial dune information proactive et adapte, conformment aux
Europe Ltd. De mme, la CNIL dispose, pour son activit de recommandations prcdentes, donc, et au-del mme
contrle, des comptences dauditeurs des systmes din- des strictes obligations lgales.
formation. LAutorit de la concurrence doit aussi appuyer
de plus en plus son activit sur une capacit auditer les
algorithmes. RECOMMANDATION 5
Il est donc essentiel que la puissance publique se donne Encourager la recherche de solutions
autant que possible les moyens douvrir le code source dal- techniques pour faire de la France
gorithmes dterministes. Or, ces moyens savrent de plus
en plus insuffisants face un besoin croissant. La CNIL se le leader de lIA thique
trouve ainsi dsormais sollicite par dautres rgulateurs
sectoriels dpourvus de toute capacit daudit. Un travail Favoriser lexplication sur le fonctionnement
de recensement des ressources de ltat, des diffrents et la logique des algorithmes.
besoins ainsi quune mise en rseau des comptences Fournir aux rgulateurs, aux entreprises et aux citoyens
et des moyens au moyen dune plateforme nationale est des outils robustes pour contrler, matriser et surveiller
donc aujourdhui une ncessit. les impacts des algorithmes et de lintelligence artificielle,
pour en comprendre la logique de fonctionnement devrait
Une telle plateforme devrait aussi avoir pour fonction de constituer un axe croissant des politiques de recherche.
relever le dfi que soulve le dveloppement du machine
learning. Celui-ci conduit certains souligner que lexa- Le dveloppement de techniques de rtro-ingnierie pour
men des codes sources savre peu raliste ds lors quil tester le caractre non discriminatoire, la capacit
sagit danalyser des millions de lignes de code. Or, auditer pr-traiter les donnes pour rduire les risques de dis-
ne signifie pas ncessairement ouvrir les codes sources. crimination en identifiant et rsolvant les biais des jeux
Cela peut aussi prendre la forme de contrles ex post des dapprentissage63, la gnration dexplications en langage
rsultats produits par les algorithmes, de tests aux moyens naturel par les machines algorithmiques recourant lap-
de profils fictifs, etc. Ces techniques daudit reposant sur la prentissage automatique des rsultats quelles produisent
rtro-ingnierie doivent faire lobjet dun effort de recherche mriteraient de faire lobjet dun investissement significatif.
significatif (cf. recommandation suivante).
En France, le projet TransAlgo, conduit par INRIA, a dores
Oprationnellement, la mise en uvre de ces audits pourrait et dj pour objectif de catalyser la dynamique sur ces
tre assure par un corps public dexperts des algorithmes questions travers llaboration dune plateforme scien-
qui contrleraient et testeraient les algorithmes (en vrifiant tifique. Le projet Algodiv (recommandation algorithmique
par exemple quils noprent pas de discrimination). Une et diversit des informations du web) vise quant lui
autre solution pourrait consister, notamment face lam- apporter des rponses aux questions poses par la notion
pleur du secteur contrler, ce que la puissance publique denfermement : les algorithmes nuisent-ils la diversit
homologue des entreprises daudit prives sur la base et la srendipit ? Ces projets ont en somme pour but de
dun rfrentiel. Certaines initiatives prives ont dailleurs fournir une meilleure comprhension dun certain nombre
dores et dj vu le jour. Par exemple, Cathy ONeil, plusieurs de problmes voqus dans le prsent rapport.
fois cite dans ce rapport, a cr la socit Online Risk
Consulting Algorithmic Auditing , une entreprise dont Des initiatives visant articuler interdisciplinarit, recherche
lobjectif est daider les entreprises identifier et corriger de pointe et dveloppement doutils devraient tre soute-
les prjugs des algorithmes quelles utilisent. nues en France, linstar de celle du Professeur Katharina
Anna weig en Allemagne qui a cr en 2017 le labora-
Indpendamment mme dune obligation de recourir la toire Algorithmic Accountability Lab . Ce dernier, outre
procdure daudit, il est souhaitable que les entreprises une activit danalyse appuye sur les sciences dures, les
et les administrations se tournent vers des solutions de sciences techniques et les sciences humaines (conform-
type label . Ces labels pourraient alimenter une dyna- ment lide que les systmes algorithmiques ne peuvent
mique vertueuse. Dune part, ils garantiraient la non-dis- tre compris, prdits et contrls que dans le contexte de
crimination et la loyaut des algorithmes. Dautre part, ils leur application), vise dvelopper un design transparent,
offriraient aussi une visibilit aux efforts en vue de la mise thique et responsable des systmes automatiss daide
en place dun design ainsi quen vue de la mise en place la dcision. Il propose en outre des outils didactiques

63 La construction dun jeu de donnes non-biaises a fait cette anne lobjet dun projet men par lassociation Open Law, partenaire du dbat public anim par la CNIL.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ? 59

concernant les risques et promesses des ADM64 pour, la Lancer une grande cause nationale participative
fois, le grand public et les preneurs de dcision65. pour dynamiser la recherche en IA
La capacit disposer de trs vastes quantits de don-
Un autre exemple est fourni par la constitution rcente aux nes constitue lun des fondements du dveloppement
tats-Unis de lInstitut de recherche AI Now (au sein de la dune recherche en IA. Contrairement une image trop
New ork University) dont lobjet est dexaminer les impli- souvent rpandue, les lgislations franaise et europenne
cations sociales de lintelligence artificielle. Limplication proposent un cadre suffisamment ouvert pour soutenir
dans cette structure du Partnership on AI , initiative une recherche et une politique industrielle ambitieuses en
notamment dAmazon, Apple, Google, IBM et Microsoft la matire. Au-del des possibilits voques ci-dessus,
amne toutefois souligner lattention toute particulire la cration par le Rglement europen de protection des
qui devrait tre attache la composition de telles institu- donnes (RGPD) dun droit la portabilit , qui permet
tions. Comme la rcemment soulign lancienne universi- aux personnes de rcuprer leurs donnes conserves par
taire Cathy ONeil, limportance de limplication du monde des acteurs privs, ouvre de grandes opportunits encore
de la recherche dans le travail dlucidation des impacts largement inconnues.
sociaux de lIA tient aussi la valeur toute particulire de
la libert acadmique66. La puissance publique pourrait jouer un rle moteur dans
la concrtisation de ces dernires. Elle pourrait ainsi lan-
Dvelopper des infrastructures de recherche cer une grande cause nationale ou un grand projet de
respectueuses des donnes personnelles recherche fond sur des donnes issues de la contribution
Le dveloppement dune IA respectueuse des donnes de citoyens exerant leur droit la portabilit auprs des
constitue un enjeu croissant alors que les citoyens en acteurs privs et rebasculant leurs donnes pour un projet
Europe, mais aussi plus largement dans le monde entier, au service dune cause dintrt gnral. LEtat se porterait
se montrent de plus en plus soucieux de la protection de garant du respect des liberts par le projet et pourrait, par
leurs donnes personnelles et aux risques gnrs. Diverses exemple, soutenir la mise en place dun tableau de bord
pistes peuvent ici tre voques dans la perspective de la (sur le modle du projet NosSystmes de la FING) la
construction dun nouvel quilibre, fond sur un renforce- main des personnes. Au-del de ce seul projet, la puissance
ment symtrique des capacits daccs des chercheurs publique amorcerait ainsi les potentialits ouvertes par la
dimportants jeux de donnes et de la scurit de ces cration du droit la portabilit.
mmes donnes
Les acteurs privs pourraient naturellement apporter leurs
Tout dabord le dveloppement despaces scuriss pour propres jeux de donnes ce projet et participer cette
laccs des donnes des fins de recherche et den- grande cause nationale.
tranement des algorithmes dintelligence artificielle. Par
exemple, des travaux comme ceux conduits dans le cadre
du projet OPAL, participent de cette dynamique. Ce pro- RECOMMANDATION 6
jet vise btir une infrastructure sur laquelle les donnes
doprateurs tlphoniques sont stockes et peuvent tre Renforcer la fonction thique au sein
analyses en toute scurit au moyen dalgorithmes cer- des entreprises
tifis mis disposition des utilisateurs et enrichissables
par la communaut. Avec de tels systmes, les donnes ne
sont pas directement accessibles ceux qui les exploitent, Identifier de possibles irrgularits ou effets nfastes en
garantissant la protection des personnes. La certification amont du dploiement dalgorithmes aux impacts signifi-
des algorithmes qui peuvent tre utiliss pour analyser catifs, mais galement assurer un rle de veille en continu
ces jeux de donnes a une fonction de filtrage thique des pour identifier les problmes mergents, imperceptibles ou
donnes, ce qui permet notamment de faire face aux dfis inaperus au dpart, en apportant un contrepoint la pers-
poss en termes de group privacy67 . pective des oprationnels savre aujourdhui une fonction
essentielle des entreprises. Il sagit aussi de dvelopper
Des bases la main dacteurs publics tels que le CASD une vision gnrale de chanes algorithmiques dont on a
(Centre dAccs Scuris aux Donnes) utilises pour la soulign la tendance la segmentation et la comparti-
mise disposition de bases de donnes de ladministra- mentation des fonctions et des proccupations. Du mme
tion des fins de recherche constituent galement une impratif participe la ncessit dorganiser des formes de
piste suivre. dialogue entre oprationnels, personnalits extrieures

64 Algorithmic Decision Making Systems.


65 Plusieurs projets ont dj merg de ce laboratoire, notamment, le projet de dons-de-donnes (en allemand Datenspende Projekte
https://datenspende.algorithmwatch.org/), dans lequel plus de 4000 utilisateurs ont observ, pendant plusieurs mois avant et jusqu llection parlementaire allemande,
les rsultats de recherches Google concernant les 16 principaux candidats. Lide sous-jacente de ce projet est de mesurer limpact de la personnalisation par Google
des rsultats de recherches afin de confirmer ou dinfirmer la thorie appele filter bubble .
66 https://www.nytimes.com/2017/11/14/opinion/academia-tech-algorithms.html
67 Des projets prcdents ont montr que lusage de donnes anonymises tait susceptible de gnrer des usages problmatiques du point de vue thique (ciblage de groupes
de population et non pas forcment dindividus sur une base ethnique dans des contextes de conflit, segmentation actuarielle, etc.).
60 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
QUELLES RPONSES ?

Cette animation de la fonction de rflexion thique dans le


secteur priv pourrait aussi prendre la forme de rseaux
constitus par secteurs ou branches professionnelles pour
Assurer un rle de veille
assurer la diffusion de bonnes pratiques ainsi que le rep-
en continu pour identifier rage prcoce de problmes mergents. On pourrait dail-
leurs mme considrer que des comits thiques sectoriels
les problmes mergents,
puissent organiser une forme de veille thique en lieu et
imperceptibles ou place de comits installs au niveau de chaque entreprise,
ce qui constituerait nanmoins une garantie moindre.
inaperus au dpart
savre aujourdhui Ce travail en rseau devrait avoir pour objectif la constitution
et la tenue jour de rfrentiels thiques sectoriels (chartes
une fonction essentielle
thiques, codes de conduite, chartes de dontologie etc.),
des entreprises mais galement la rvision des codes dthique profession-
nels prexistants pour prendre en compte lintroduction
des algorithmes et des systmes dIA.

lentreprise, acteurs et communauts impliques par le Ces rflexions devraient en retour dboucher sur lintgra-
fonctionnement des algorithmes ainsi que chercheurs en tion, dans les chartes de dontologie des entreprises, dun
sciences humaines et sociales. chapitre ddi aux enjeux soulevs par les algorithmes
(en explicitant par exemple les limites ne pas franchir en
Plusieurs modalits de mise en uvre de cet impratif concevant les paramtres des systmes, des obligations
pourraient tre envisages. de qualit et dactualisation des jeux de donnes utiliss
pour entraner les algorithmes, etc.).
Une solution pourrait consister dans le dploiement de
comits dthique au sein des entreprises dployant des Les diverses possibilits voques dans les paragraphes
algorithmes aux impacts significatifs. La composition et prcdents ont pour but de souligner que la formule exacte
les modalits dintervention de tels comits constituent un retenir mriterait sans doute de faire lobjet de dbats
point essentiel. Publicit ou non des comptes rendus, publi- spcifiques et que, lvidence, plusieurs positions peuvent
cit ou non de la composition du comit, degr ventuel exister.
dindpendance: la palette des options possibles est large.

Lattribution de cet impratif la fonction RSE ou aux don-


tologues pourrait galement tre envisage.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
CONCLUSION 61

CONCLUSION

Les principes et les recommandations formuls lissue tif humain infaillible et exempte de biais. travers le
de ce rapport constituent le rsultat de la synthse par la principe de vigilance, lobjectif poursuivi est en somme
CNIL des changes et des rflexions mens loccasion dorganiser ltat de veille permanente de nos socits
du dbat public national quelle a anim, grce au soutien lgard de ces objets socio-techniques complexes et
de soixante partenaires, de janvier octobre 2017. mouvants que sont les algorithmes ou, proprement
parler, les systmes ou chanes algorithmiques. Un tat
Les recommandations ont t formules de faon trs de veille, autrement dit un questionnement, un doute m-
large, mobilisant tout le spectre possible des acteurs thodique. Ceci concerne au premier chef les individus qui
publics ou privs. Les dfis soulevs par les algorithmes composent les maillons des chanes algorithmiques : il
appellent une mobilisation, une attention et un question- sagit de leur donner les moyens dtre les veilleurs, lu-
nement de la part de lensemble des acteurs de la socit cides et actifs, toujours en questionnement, de cette so-
civile (citoyens, entreprises, associations) pour piloter un cit numrique. Ceci concerne aussi les autres forces
monde complexe. Il ne sagissait donc pas davancer que vives de notre socit. Les entreprises, bien s r, pour mo-
le vhicule privilgier pour les appliquer ne pouvait tre deler des systmes algorithmiques vertueux, mais pas
que la loi. Au contraire, la plupart des recommandations seulement.
sont susceptibles dtre interprtes comme pouvant
donner lieu, ou bien une traduction juridique contrai- Ces principes, par la dmarche universelle dont ils pro-
gnante, ou bien une appropriation volontaire de la part cdent, pourraient bien sinscrire dans une nouvelle gn-
des acteurs, plusieurs degrs tant envisageables entre ration de principes et de droits de lhomme lre num-
ces deux extrmes. rique : cette gnration qui aprs celles des droits-liberts,
des droits patrimoniaux et des droits sociaux, serait
Deux principes fondateurs ressortent de cette rflexion. celle des droits-systme organisant la dimension sous-
Il convient dy insister tout particulirement, tant ils jacente notre univers numrique. Ne sont-ils pas sus-
sont susceptibles de subsumer quelques-uns des dfis ceptibles dtre ports au niveau des principes gnraux
thiques majeurs soulevs par lintelligence artificielle. de gouvernance mondiale de linfrastructure internet ?
lheure o se construisent les positions franaise et eu-
Dune part, un principe substantiel, le principe de loyaut ropenne sur lintelligence artificielle, la question mrite
des algorithmes, dans une formulation approfondissant dtre pose.
celle dj labore par le Conseil dEtat (voir section Le
principe de loyaut ). Cette formulation intgre en effet
une dimension de loyaut envers les utilisateurs, non pas
seulement en tant que consommateurs, mais galement
en tant que citoyens, voire envers des collectifs, des com-
munauts dont lexistence pourrait tre affecte par des
algorithmes, que ceux-ci dailleurs traitent des donnes
personnelles ou pas.

Dautre part, un principe plus mthodologique : le prin-


cipe de vigilance. Ce principe de vigilance doit tre en-
tendu, non comme une vague incantation mais comme
Les principes de loyaut et de
une rponse taye trois enjeux centraux de la soci- vigilance pourraient sinscrire
t numrique. Premirement, le caractre volutif et
imprvisible des algorithmes lre de lapprentissage
dans une nouvelle gnration
automatique (machine learning). Deuximement, le ca- de principes et de droits de
ractre trs compartiment des chanes algorithmiques,
induisant segmentation de laction, indiffrence aux im-
lhomme lre numrique :
pacts gnrs par le systme algorithmique dans son des droits-systme organisant
ensemble, dilution des responsabilits. Troisimement,
enfin, le risque dune confiance excessive accorde la
la dimension sous-jacente
machine, juge sous leffet dune forme de biais cogni- notre univers numrique
62 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES

ANNEXES

Les applications et les promesses


des algorithmes et de lIA

Les pages qui suivent nont pas vocation dvelopper une vision critique. Il sagit plutt ici de dcrire les grands usages
des algorithmes et de lIA dj luvre ainsi que, dans un ordre plus prospectif, certaines promesses aujourdhui vo-
ques principalement par des acteurs dont la posture nest pas toujours neutre. Il convient de garder lesprit quune
part non ngligeable du discours public sur les algorithmes et lIA souvent la plus irnique et parfois la plus catastro-
phiste est dtermine par des intrts commerciaux.

Sant en consquence (grce des campagnes de prvention


cibles). Ltablissement de profils biologiques affins per-
Loutil algorithmique fait lobjet de larges promesses. mettrait galement de personnaliser les traitements et
Comme dans chaque secteur, les opportunits dans le stratgies thrapeutiques.
champ de la sant doivent cependant tre apprhendes
avec prudence, notamment du fait des immenses capacits
marketing des organisations qui les dploient68. Le rle
Lintelligence artificielle se dveloppe notam-
annonc et parfois dj effectif des algorithmes et de lIA
ment en cancrologie. Lun des exemples les
dans le domaine de la sant est indissociable de lexistence
plus frquemment mentionns cet gard est
de bases de donnes de plus en plus massives, tant en
celui de atson, dIBM. atson analyse en
termes dindividus concerns quen terme de quantit de
effet les donnes gntiques des patients, les
donnes disponibles sur chacun deux. Lalgorithme et lIA
informations les concernant recueillies lors de
permettent justement de tirer parti de cette quantit in-
leur admission, leur historique mdical et les
dite de donnes disponibles aujourdhui (donnes issues
compare avec 0 millions de donnes issues
des grandes bases mdico-administratives rassembles
dtudes doncologie clinique pour tablir un
dans le SNDS69 mais aussi des objets de sant connecte,
diagnostic et proposer un traitement. Lcole de
des dossiers de patients, etc.) pour btir des modles au
mdecine de lUniversit de Caroline du Nord a
sein desquels un profil trs prcis de chaque individu peut
ainsi conduit en octobre 01 une exprience
tre dessin, ce profil pouvant constituer le soubassement
montrant que les prconisations de atson
dune prvision.
recoupaient les traitements prescrits par les
cancrologues dans des 1000 cas de cancer
Ces promesses, qui concernent les grands objectifs de
tudis. Cette exprience a aussi dmontr que
sant publique, concernent dabord lide dune mdecine
dans 0 des cas, atson tait mme de pro-
la fois prdictive, prventive et personnalise. Lanalyse
poser davantage doptions thrapeutiques que
et la confrontation de mon profil gnomique celui dindivi-
les mdecins. Il convient toutefois de consi-
dus similaires et leurs parcours de sant peuvent aider au
drer avec prudence ces rsultats annoncs,
diagnostic prcoce. Elles peuvent aussi permettre dvaluer
par ailleurs promus avec dimportants moyens
mes chances de dvelopper telle ou telle maladie (cancer,
de communication et de relations publiques.
diabte, asthme etc.), de prdire en quelque sorte ma
sant future et ds lors minciter prendre des mesures

68 Grard Friedlander, doyen de la facult de mdecine de lUniversit Paris Descartes, la notamment soulign (vnement organis par lHpital Necker et lInstitut Imagine,
le 15 septembre 2017)
69 Systme national des donnes de sant.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES 63

Outre la capacit dune mdecine de plus en plus appuye ducation


sur les algorithmes et sur lIA faire fonds sur lensemble
des variables biologiques, comportementales et environne- Lapplication dsormais la plus connue des algorithmes
mentales, son intrt rside aussi dans sa capacit traiter dans le domaine de lducation a trait laffectation des
une masse din ormations scientifiques et de recherche immenses effectifs que doit grer chaque anne ladminis-
quaucun mdecin naurait matriellement la possibilit tration de lEducation nationale et lattribution de places
de matriser ( titre dexemple, on dnombre pas moins en lyce et dans le suprieur en fonction des vux formuls
de 160 000 publications par an en cancrologie) dans la par les candidats.
perspective de formuler un diagnostic.
Le cas de lalgorithme APB (Admission post-bac) a t
Lintelligence artificielle est aussi susceptible de fournir un particulirement voqu depuis lt 2016. Dploy depuis
appui la dtection de risques sanitaires. Les algorithmes 200 afin de faciliter et de fluidifier lappariement entre
peuvent tre utiles pour reprer llvation de lincidence les souhaits des lves mis sous la forme de vux et
de maladies ou de comportements risque, et dalerter les les places disponibles dans lenseignement suprieur, il
autorits sanitaires70 . Par exemple, en France, les liens concernait en 2017 environ 0 000 inscrits dont 607 000
entre lutilisation dune pilule contraceptive de 3me gnra- lves de Terminale ayant candidat aux 12 000 formations
tion et le risque dAVC a pu tre tudi grce au traitement disponibles sur le logiciel. Pour que le systme fonctionne,
algorithmique de la base du Systme national des donnes des critres de priorit ont t tablis, pour tre appliqus
de sant (SNDS). La mise en uvre dun algorithme peut tous. Lobjectif poursuivi par APB, et sans voquer ce stade
aussi permettre de prdire des risques de maltraitance. Il les critiques auxquelles il a pu donner lieu, tant double.
faut dailleurs souligner que ce nest pas l un fait nouveau. Dune part, il sagissait dautomatiser une tche immense
Dj en 1 1, la CNIL avait eu connatre dun projet du et donc doptimiser un processus administratif particulire-
Ministre de la Sant et des Affaires sociales visant auto- ment co teux en temps. Dautre part, APB est aussi crdit
matiser le signalement denfants prsentant des risques davoir amlior un fonctionnement qui laissait auparavant
psycho-sociaux (fichier GAMIN) : sur la base de lanalyse la place des formes darbitraire. Roger-Franois Gauthier,
de 70 donnes diffrentes, le systme devait reprer les expert des politiques ducatives, explique ainsi que les algo-
cas examiner en priorit. Ctait bien un modle, mat- rithmes tels quAPB ou AFELNET (pour la rpartition des
rialis par une srie de critres, que lalgorithme permettait lves en lyce) ont fait quelque chose de remarquable :
dappliquer automatiquement de trs vastes cohortes. ils ont mis fin un fonctionnement mafieux. Auparavant,
ces dcisions de rpartition se prenaient dans le secret
Dans la pratique mdicale, les algorithmes sont certains des bureaux des proviseurs et des inspecteurs dacadmie
gards dj bien implants pour automatiser des tches avec des piles de recommandations .
du quotidien. Les logiciels daide la prescription (LAP),
une fois une maladie dj diagnostique, sont dj de En plus dtre efficace, lalgorithme est donc prsent
prcieux outils daide la dcision pour les mdecins au comme assurant lquit et la non-manipulabilit (chaque
moment de la saisie dordonnances. Ils permettent dutiliser lycen devant effectuer ses choix sans autocensure)
le dossier dun patient pour reprer des contre-indications, puisque la dcision est prise de faon automatique, en
des allergies ou des interactions mdicamenteuses dan- fonction des donnes du candidat, de ses vux daffec-
gereuses. Autres applications dj bien inscrites dans le tation et selon des critres identiques pour tous puisque
paysage mdical : lanalyse dimage (imagerie mdicale, programms une fois pour toutes lors du paramtrage de
anatomo-pathologie, dermatologie), lanalyse de signaux lalgorithme.
physiologiques (lectro-cardiogramme, lectro-encpha-
logramme) ou biologiques (squenage de gnome) 71. Lautre grand champ dapplication des algorithmes (y com-
Lutilit de lIA est galement mise aujourdhui en avant pour pris de lIA) dans lducation concerne directement les pra-
optimiser la mise en place dessais cliniques grce une tiques pdagogiques elles-mmes. On sy rfre souvent
automatisation de la slection des patients. sous le titre de learning analytics. Ici encore le recours aux
algorithmes est indissociable de la capacit indite collec-
En somme, sous rserve de prcautions, lalgorithme en ter des donnes extrmement nombreuses et diversifies :
sant permettrait de mieux rpondre certains besoins donnes dapprentissage (sur les rsultats aux exercices
pour les mdecins (plus de scurit), pour les patients mais potentiellement aussi sur la manire dont llve sy
(plus de personnalisation), et pour les instances publiques confronte, dure de rsolution), donnes sur les interactions
(plus de rationalisation) 72. avec lenseignant et avec les pairs, donnes socio-dmo-
graphiques, etc.

70 INSERM, dossier dinformation Big data en sant (disponible en ligne)


71 Evnement organis par le Conseil dpartemental du Rhne de lOrdre des mdecins, le 2 septembre 2017.
72 Evnement organis par le Conseil dpartemental du Rhne de lOrdre des mdecins, le 2 septembre 2017.
64 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES

Lanalyse des donnes sur lapprentissage des lves Au cours des dernires annes, dabord aux Etats-Unis, des
laide dalgorithmes et de systmes dintelligence artificielle offres de logiciels daide la stratgie lectorale se sont
est aujourdhui conue comme le moyen de dvelopper dveloppes. Beaucoup de ces solutions reposent en fait
des stratgies de personnalisation de lenseignement. On sur la mise en uvre dalgorithmes prdictifs qui analysent
retrouve ici, comme dans le domaine mdical abord pr- les donnes lectorales. On retrouve ici, une fois encore,
cdemment, la possibilit de la dtermination dun profil lassociation entre la capacit des grandes quantits de
trs fin de chaque lve mis profit pour diagnostiquer donnes et celle prcisment par le biais de lalgorithme
une situation dapprentissage, pour dtecter un ventuel les exploiter, les faire parler en construisant un
dcrochage scolaire mais aussi pour permettre llaboration modle partir de lanalyse des donnes passes qui est
de stratgies individuelles dapprentissage et de formation, ensuite appliqu aux donnes actuelles pour laborer enfin
adaptes au profil de chaque lve. La consultation en ligne des recommandations, une aide la dcision stratgique.
organise dans le cadre du dbat public par le NumriLab
(au sein du Ministre de lEducation Nationale) aborde les Le logiciel 50 1 dploy depuis 2012 par la socit LMP sur
intrts que pourraient revtir les learning analytics pour le fondement dune expertise acquise pendant la campagne
la communaut ducative. Dans un contexte franais o lectorale amricaine de 200 en offre un bon exemple.
la diffrenciation pdagogique par groupes de besoin Son objet est daccompagner les stratgies lectorales des
est loin dtre effective, certains contributeurs voient dans candidats aux lections politiques en leur indiquant les
lalgorithme la possibilit de mettre en uvre des situa- zones faire cibler en priorit par leurs quipes de militants
tions individuelles et collectives qui tiennent compte des pour des actions de porte--porte. Lalgorithme intervient
diffrentes difficults rencontres par les lves, leur per- pour analyser les donnes des lections passes (rsultats
mettre davoir des parcours individualiss, rendre compte lectoraux bureau de vote par bureau de vote, donnes
de leur volution et les faire partager lensemble de la socio-dmographiques), en infrer un modle qui, appli-
communaut ducative . qu la circonscription faisant lobjet de la campagne du
candidat utilisateur du logiciel, permette in fine de formu-
Vie de la cit et politique ler une prdiction sur la tendance dans laire de chaque
bureau de vote. Outre lintrt que peut prsenter ce type
Les algorithmes et lintelligence artificielle investissent ga- de logiciel pour les candidats aux lections, ses promo-
lement le champ de la politique, au double sens du terme, teurs le prsentent galement comme un moyen de lutter
cest--dire tant en ce qui concerne lorganisation de la cit contre labstention dans le cadre dune stratgie visant
(les politiques publiques) que les pratiques de conqute remobiliser les abstentionnistes.
du pouvoir, la vie lectorale.
Si la lgislation franaise sur la protection des donnes
Le cas, prcdemment voqu, de lalgorithme APB en four- personnelles ne permet pas le dploiement de logiciels qui
nit un exemple. Dautres exemples sont peut-tre moins cibleraient individuellement les lecteurs ( lexception de
attendus dans la mesure o il peut sagir dalgorithmes ceux y ayant consenti), le terrain lectoral amricain est un
dploys non pas par des administrations mais par des observatoire dapplications des algorithmes et de lintelli-
entreprises prives dont lactivit peut avoir un impact gence artificielle des fins de profilage individuel73. Les deux
direct sur des domaines relevant gnralement de lau- campagnes prsidentielles menes par Barack Obama ont
torit publique. Des applications de golocalisation et de vu se dployer de telles campagnes de marketing cibl. La
guidage routier mises disposition des automobilistes stratgie lectorale de Donald Trump en 2016 semble avoir
peuvent modifier sensiblement les flux de circulation dans vu le franchissement dun nouveau seuil dans le recours
une ville et illustrent donc pleinement limpact des algo- ce type doutils de communication cible74, appuys sur
rithmes sur la vie collective. Dans un autre ordre dides, le recours des donnes issues des rseaux sociaux et
la place cruciale que prennent dsormais les algorithmes des courtiers en donnes. Mme si de fortes incertitudes
dans la recherche et le filtrage de lin ormation les situent demeurent sur la ralit de ces pratiques, lenvoi de milliers
un point nvralgique de la vie dmocratique. Les algo- de messages extrmement individualiss (en fonction des
rithmes de reconnaissance et le machine learning am- proccupations et attentes infres du profil de chaque
liorent galement lefficacit de la modration automatique lecteur) au cours dune mme soire a pu tre voqu75.
de propos dplacs sur les rseaux sociaux ou autres sites
hbergeant des contenus : la DGMIC voque louverture par
des sites de presse de leurs articles aux commentaires,
lalgorithme permettant ici de favoriser le dbat et lexer-
cice du pluralisme.

73 Une autre manire de prsenter ces applications est de souligner quelles permettent une prdiction de ce que pourrait tre le comportement dun lecteur ou encore
une recommandation adresse lutilisateur du logiciel quant au type daction requise en fonction du profil (envoi de tel message, utilisation prfrentielle de tel canal de
communication).
74 En France, les prdictions et recommandations dun logiciel tel que 50 1 concernent des cohortes de 1000 personnes et ne relvent donc pas doutils de ciblage individuel.
75 https://www.theguardian.com/politics/2017/feb/26/robert-mercer-breitbart-war-on-media-steve-bannon-donald-trump-nigel-farage
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES 65

Culture et mdias culturelles. A titre dexemple, la startup Prizm commercia-


lise des enceintes qui, en combinant des informations sur
Lutilisation dalgorithmes et dintelligence artificielle produit le moment de la journe, lambiance ou le nombre de per-
dj de forts impacts sur la structuration de loffre de pro- sonnes dans la pice, diffusent la playlist la plus adquate.
duits culturels et, partant, probablement aussi sur les pra-
tiques de consommation culturelle. Diffrents services de Ces algorithmes agissent sur le fondement de trois types
recommandation facilitent la hirarchisation de linforma- de donnes : des donnes personnelles attaches aux
tion afin de rpondre au besoin de lutilisateur de sorien- profils des utilisateurs (lhistorique dusage par exemple),
ter dans la surabondance des contenus accessibles 76. des donnes attaches aux uvres (mots-cls indexs
Le recours ces services de matching concerne, tantt manuellement tantt, depuis peu, de manire auto-
des degrs de dveloppement variables selon la DGMIC, matique) et, plus rarement, des donnes contextuelles
des secteurs trs divers au sein de lindustrie culturelle : la (lheure dcoute ou la mtorologie, par exemple). La
vido la demande par abonnement ( 0 des contenus recommandation peut sexercer selon trois logiques dif-
visionns sur Netflix seraient issus de recommandations frentes : tout dabord, un filtrage smantique peut viser
personnalises), la musique (la fonctionnalit de recom- placer lutilisateur sur la cartographie des contenus
mandation apparat comme un rel enjeu de diffrenciation (DGMIC) sur la base notamment de son historique ou de
pour des services de streaming tels que Spotify ou Deezer), questionnaires visant mieux comprendre ses go ts. Une
les services gratuits (pour Facebook, outube ou encore autre approche plus souvent privilgie, celle du filtrage
Google, lalgorithme participe la maximisation du nombre collaboratif, consiste recommander en partant de lhy-
dutilisateurs et ainsi leur exposition augmente la publi- pothse que deux utilisateurs partageant un avis sur un
cit) ou encore les sites de commerces en ligne (30 des contenu sont plus susceptibles dtre galement en accord
ventes dAmazon rsulteraient de ses recommandations sur un autre contenu plutt que deux utilisateurs choisis
algorithmiques). alatoirement. Le filtrage collaboratif peut se fonder autant
sur le comportement des utilisateurs, leurs consommations
Lintrt de tels services est triple : tout dabord, ils per- passes ( les utilisateurs ayant aim le contenu A ont aussi
mettent de proposer au client une relation plus indivi- aim le contenu B ) que sur lobjet directement ( si Alice
dualise qui accompagne ventuellement la dcouverte aime les contenus a, b, c et d, et que Benoit aime a, b et c,
dautres offres. Ils peuvent galement profiter lindustrie il est cohrent de recommander d ce dernier ). Enfin, un
audiovisuelle ou culturelle dans la mesure o ils facilitent filtrage h ride permet de combiner ces deux mthodes
la dcouverte duvres audiovisuelles qui ne seraient pas pour optimiser la performance de recommandation. Ainsi,
par ailleurs programmes en raison de leur petit budget, ou lalgorithme de recommandation de Spotify opre de la
en raison de labsence dun distributeur ou dun budget de faon suivante78 :
promotion . En effet, grce aux moteurs de recomman- En premier lieu, les contenus couts (style, tempo) sont
dation, certains films peuvent trouver un public m me si ces analyss (soit plutt une approche base sur les conte-
films ne sont pas programms par les chanes de tlvision nus) ;
traditionnelles 77. Enfin et peut-tre, surtout lenjeu co- Ensuite, les genres musicaux les plus apprcis sont
nomique est indniable pour fournisseurs et plateformes regroups en fonction de ceux des autres utilisateurs
qui, en orientant les usagers, augmentent la satisfaction ayant consomm les mmes contenus ;
et ainsi lutilisation de leur service. Enfin, lutilisateur est circonscrit par rapport ses propres
comportements et son profil (type de consommation,
Toutefois, il convient de nuancer les implications de lal- frquence dcoute etc.).
gorithme sur le secteur. La DGMIC, qui sappuie sur les
auditions dune quinzaine dacteurs du secteur, indique Autre exemple dalgorithmes dans le champ de la culture :
que la recommandation personnalise na pas tenu toutes bien quembryonnaire, la gnration automatique de conte-
ses promesses et que, bien que cette fonction apparaisse nus culturels, afin de produire et imiter les contenus qui
aujourdhui incontournable lutilisateur, ce nest pas celle qui plaisent, constitue une ide qui sduit. La DGMIC prcise
guide majoritairement la consultation et la consommation nanmoins que les nombreuses tentatives de prdiction
des contenus , le travail des quipes ditoriales demeurant du succs dun livre ou dun scnario dj crit grce des
fondamental. En fonction du perfectionnement futur des algorithmes nont pour linstant pas permis de dcouvrir le
algorithmes, la recommandation pourrait nanmoins occu- secret le plus convoit des industries culturelles, industries
per une place encore plus prpondrante dans les industries de prototypes et de risques .

76 DGMIC (Ministre de la Culture), Les algorithmes dans les mdias et les industries culturelles
77 Rapport du CSA Lab, p.14
78 CNIL, Les donnes, muses et frontires de la cration , Cahier IP n 03, octobre 2015
66 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES

Justice relle et srieuse ou les prestations compensatoires en cas


de divorce. Si ces outils se gnralisent au sein des diff-
Des volutions majeures sont luvre dans lexercice rentes professions du droit, ils contribueraient au dessein
des mtiers du droit et de la justice. Si la plupart nen sont plus gnral dune smartjustice , savoir une justice
qu un stade de dveloppement anticip, lintrt suscit anime par des impratifs de meilleure rentabilit avec
par les outils technologiques recourant aux algorithmes le minimum de moyens, grce aux technologies. Lavocat
est grand. Lalgorithme peut tout dabord permettre pour pourrait bnficier dun gain significatif de temps et ainsi
lavocat ou le juge dobtenir un appui pour des tches trs se consacrer des tches plus gratifiantes danalyse juri-
varies dsormais automatisables, souvent rptitives dique et de contact humain , tandis que le justiciable pour-
voire laborieuses : lvaluation des lments de preuve rait viter certains co ts, en faisant le choix de sentendre
selon diffrentes mthodes (fiabilit des tmoins oculaires, lamiable plutt que de saisir le juge dans des cas o
distinction des rumeurs et des tmoignages, procdures les chances du succs dun procs sont rduites. Pour le
de discovery, constructions dexplications alternatives), la fonctionnement du systme de justice franais dans son
modlisation du travail des jurys, lextraction dinformations ensemble de surcrot, un recours grandissant ces solu-
contenues dans des documents (data mining), linterprta- tions annoncerait une diminution du nombre de saisines
tion des informations (mise en lumire de modles ou das- et un certain dsengorgement des juridictions, ventualit
sociations possibles, hirarchisation des informations...), la plus quattrayante dans le contexte actuel.
recherche dinformations, la construction dune argumenta-
tion (modlisation de structures dargumentations, utilisation Paralllement, les algorithmes prdictifs peuvent tre une
darbres de raisonnements permettant de lier une demande, ressource utile au juge : sinspirer des recommandations de
aux ustifications et ob ections dont elle peut faire lob et), la machine , fondes sur les jurisprudences prcdentes,
llaboration de documents, de formulaires juridiques et lui permettrait dclairer ses dcisions. Cest lambition dune
de contrats, ou encore la rsolution de diffrends 79. Cest qualit de la justice augmente et de lharmonisation des
cependant les promesses de la justice dite prdictive ou dcisions qui serait au cur de ce modle. En dautres
prvisionnelle qui mritent le plus dattention tant elles termes, dans la continuit de mesures rcentes telles que
pourraient bouleverser la conception humaniste de la les barmes, la justice prvisionnelle rduirait lhorizon
justice. Elle peut tre dfinie comme l outil informatique, dincertitude et participerait lvaluation interne des juri-
reposant sur une base de donnes jurisprudentielles, qui, dictions et magistrats.
laide dalgorithmes de tri et (pour les plus perfectionns)
de rseaux neuronaux , va permettre danticiper quelles
seront les statistiques de succs de tel ou tel argument
juridique 80.

La possibilit dune justice prvisionnelle a t conditionne


par la prsence de bases de donnes jurisprudentielles tou- Laide la dcision fonde sur des algorithmes
jours plus fournies. Si elles ntaient auparavant pas mises au service du juge a fait lobjet dune expri-
la disposition de tous, la loi dite Rpublique Numrique mentation cette anne par les cours dappel de
a favoris la diffusion des dcisions de justice administra- Rennes et Douai en partenariat avec le minis-
tive et judiciaire par le mouvement douverture des donnes tre de la ustice. Par un communiqu du
publiques (open data) quelle consacre. De nombreuses octobre 01 , le ministre a annonc que loutil
start-ups81 se saisissent ainsi depuis plusieurs mois de dvelopp par la start-up Predictice ne stait
cette nouvelle masse de donnes pour dvelopper leurs pas avr satisfaisant. De futures exprimenta-
outils de justice prvisionnelle dont lobjectif principal tions sont nanmoins prvues, aux prochains
est de reprer des rcurrences des fins de prdiction. stades du dveloppement de loutil.
Les intrts et exploitations potentiels sont multiformes et
recouvre diffrents champs des mtiers du droit, du juriste
lavocat en passant par le juge.
Le mouvement dopen data nen est qu ses premiers fr-
Pour le justiciable et les professionnels du droit, les logi- missements : toutes les conditions sont ainsi runies pour
ciels algorithmiques peuvent tre dune utilit stratgique que la justice prvisionnelle prolifre, dans un contexte o
en optimisant lidentification des solutions statistiquement 1,5 million de dcisions seront dsormais anonymisables
les plus probables pour un contentieux donn ou le mon- chaque anne et ainsi mises disposition sur urinet (base
tant prvisible des dommages-intrts. Cette mthode est interne de la Cour de cassation) et Lgifrance.
notamment adapte aux contentieux particulirement pro-
pices aux rcurrences, tels que le licenciement sans cause

79 Contribution au dbat public dun groupe de travail du Conseil National des Barreaux.
80 BOUCQ Romain, La justice prdictive en question , Dalloz Actualit, 14 juin 2017.
81 Predictice, Case Law Analytics ou encore Doctrine.fr constituent des exemples de telles legaltech.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES 67

Banque, Finance Lalgorithme dans le champ de la finance, cest galement


lmergence de robo-advisors visant automatiser les
Plusieurs vnements rcents ont contribu accrotre ser ices financiers fournis aux clients et la gestion de leurs
lattention publique accorde lutilisation dalgorithmes portefeuilles. Leur niveau de maturit semble nanmoins
dans le champ financier. Mme si le rle effectif jou par ce stade assez faible selon lAutorit des marchs finan-
lalgorithme dans le flash crash du 6 mai 2010 pose dbat, ciers. Plus facilement mobilisables aujourdhui, des outils
la chute historique du Dow ones (environ ) a largement bass sur des algorithmes visent automatiser la ges-
interpell quant aux risques demballement, de manipula- tion des risques et le contrle de la conformit (la lutte
tion et de comportements moutonniers associs ce qui anti-blanchiment, par exemple). Enfin, la personnalisation
est aujourdhui dsign sous lappellation trading haute permise par lalgorithme pourrait mener des mutations
frquence (THF). Un autre exemple est celui du piratage importantes des services financiers proposs aux clients :
du compte Twitter de lagence Associated Press en avril et si, terme, une segmentation soprait entre une clientle
2013 : en surveillant les mots-clefs figurant sur le rseau rduite qui aurait accs des produits trs sophistiqus
social, les algorithmes ont conclu un attentat la Maison comparativement une autre qui se verrait proposer un
blanche, prcipitant ainsi le retrait de milliards dordres sur ventail trs rduit de produits simples ?
les marchs en quelques secondes.
Scurit, dfense
Aussi appel speed trading ou trading algorithmique, le THF
dsigne lautomatisation darbitrages boursiers qui connat Le recours aux algorithmes dans le domaine de la scu-
une ascension fulgurante depuis la fin des annes 1 0. rit et de la dfense a pour finalits principales annonces
La directive dite MIF II 82, qui encadre cette tendance lidentification de suspects, la prdiction de commission
et qui entrera pleinement en application en janvier 201 , dinfractions et lautomatisation doprations de maintien de
dfinit le THF comme la ngociation dinstruments finan- lordre voire de guerre, jusqu lacte de tuer, cette dernire
ciers dans laquelle un algorithme informatique dtermine finalit faisant lobjet dun vif dbat international.
automatiquement les diffrents paramtres des ordres [...]
avec une intervention humaine limite ou sans intervention Les annes 2000 ont vu converger accroissement de la
humaine (article 4, paragraphe 3 ). Ce ngoce financier menace terroriste dans le sillage du 11 septembre 2001 et
dun genre nouveau voit ainsi des robots traders dune rapi- de lexplosion du nombre de donnes disponibles (lie la
dit remarquable se substituer aux traditionnels teneurs numrisation globale des socits). Le problme, classique
de marchs . Prendre des dcisions dinvestissement et pour le renseignement, de lanalyse et de lexploitation des
organiser les liquidits ne constituent dsormais plus lapa- donnes disponibles sen trouve accru. Dans un contexte
nage de lhumain : le robot serait impliqu dans prs de dexigence politique trs forte lgard des services de
70 des transactions aux Etats-Unis et environ 40 de renseignement, les algorithmes sont prsents tort
celles en Europe. Lalgorithme jalonne dsormais le proces- ou raison comme une solution permettant didenti-
sus dinvestissement, dabord en amont par lidentification fier les suspects en tirant pleinement partie des donnes
des opportunits, puis en aval par les rgles opratoires disponibles. Le systme API-PNR ou les botes noires
dexcution qui prennent position lachat ou la vente83. voques lors de la discussion de la loi sur le renseigne-
Peu de problmatiques indites semblent finalement avoir ment de 2015 relvent de cette logique. Les donnes des
merg depuis une quinzaine dannes, et le THF a dj fait passagers ariens, dans un cas, celles de lensemble de la
lobjet dun important effort de rgulation et de responsa- population, dans lautre, sont filtres par des algorithmes
bilisation des acteurs84. la recherche de signaux faibles , de profils considrs
comme suspects en fonction de critres tenus secrets.
Si un tel intrt pour lautomatisation sest manifest depuis
1 5, anne de cration du THF, cest parce quil redfinit Lessor de lide de police prdictive correspond lide
radicalement la temporalit de la bourse : dans ce sec- de prdire la commission dinfractions au moyen de lana-
teur, lampleur de lcart entre performance humaine et lyse massive de donnes concernant la commission passe
performance technologique est incontestable. Cette vlo- de crimes et de dlits afin de rpartir plus efficacement les
cit implique un second intrt de taille pour les acteurs patrouilles. La promesse porte par exemple par le logiciel
du THF (gestionnaires de fonds, institutions bancaires)85 amricain Predpol est dadosser les mthodes policires
qui, en mettant en uvre des stratgies dinvestissement traditionnelles juges trop subjectives par des mthodes
irralisables manuellement, voient leurs profits et leur com- considres comme objectives .
ptitivit crotre de manire substantielle.

82 Directive 2014/65/UE du Parlement europen et du Conseil du 15 mai 2014 concernant les marchs dinstruments financiers.
83 Benghozi P.- ., Bergada M., Gueroui F., Les temporalits du web, 2014, chapitre 3 Trading haute frquence : larbitre sans sifflet .
84 Directive 2014/65/UE du Parlement europen et du Conseil du 15 mai 2014 ; loi n 2013-672 du 26 juillet 2013 de sparation et de rgulation des activits bancaires.
85 Getco, Flow traders, IMC, Quantlab, Optiver...
68 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES

Ces initiatives soulvent pourtant dimportantes critiques. Si tout invite modrer lenthousiasme des promoteurs de
Le sociologue Bilel Benbouzid conteste ainsi propos du la police prdictive, des perspectives intressantes rsident
logiciel PredPol la pertinence de lapplication la cri- dans lappui la contextualisation, linterprtation et ainsi
minalit de logiques empruntes la sismologie. Lattrait lorganisation. Hunchlab, projet de lentreprise Azavea,
prsent par Predpol aux yeux de dcideurs tiendrait en uvre ainsi en ce sens en accentuant leffort dintelligibilit
revanche ce que ce type doutils permet de grer, selon quant ce que la prdiction permet ou ne permet pas, par
des critres gestionnaires, loffre publique de vigilance quo- une rtroaction plus solide et une interaction plus forte
tidienne 86. Par ailleurs, leurs rsultats concrets semblent entre lhumain et loutil. Dans tous les cas, sil est difficile
pour lheure dcevants aux praticiens eux-mmes. Par de prciser les contours des futures solutions privilgies
exemple, lexprimentation PredVol visant la prdiction et malgr des rserves au sein de la communaut scienti-
des actes de dlinquance commis sur les vhicules aboutit fique, les pouvoirs publics nexcluent pas dy avoir recours
faire ressortir toujours les mmes spots, les mmes pour la constitution dune aide la dcision ( analyse
points chauds aux mmes endroits selon le Colonel dcisionnelle ), au profit du commandant dunit territoriale,
Philippe Mirabaud. Aussi, ltude des vols avec violence notamment des fins de prvention de la dlinquance 90.
sans arme contre les femmes sur la voie publique Paris87
rvle la forte rgularit de ces actes aussi bien en termes Extrmement sensible est enfin la question pose par le
de localisation que dhoraires mais les possibilits pr- dveloppement darmes ltales autonomes (robots tueurs)
dictives restent limites. Ce constat repose en partie sur qui pourraient prendre elles-mmes la dcision de tuer sur
les difficults faire parler des jeux de donnes encore le champ de bataille ou des fins de maintien de lordre.
disparates. La plupart des outils dits prdictifs sappuient De tels systmes sont dj dploys la frontire entre
sur les donnes des prfectures de police plaintes des les deux Core et les armes de divers pays rflchissent
victimes et/ou arrestations notamment dont lutilisation actuellement la mise en service de drones tueurs capables
des fins de prdiction est loin dtre naturelle. Le perfection- dengager et dliminer une cible sans intervention humaine.
nement de ces logiciels implique de les complter par des En 2015, une ptition signe par plus dun millier de per-
donnes externes concernant autant le terrain des actes sonnalits, dont une majorit de chercheurs en IA et en
(densit de bars ou commerces, prsence dune station de robotique, ont rclam linterdiction des armes autonomes,
mtro etc.) que les conditions mtorologiques ou encore capables de slectionner et de combattre des cibles sans
les vnements organiss au sein dune ville par exemple. intervention humaine . Cette initiative a donn de la visibilit
un dbat international dj engag lONU.
Les experts invitent ne pas sombrer dans le ftichisme
technologique en pensant que lalgorithme aurait la capacit Assurance
dapporter une solution magique aux enjeux de scurit.
Gilles Dowek explique ainsi que mme avec un systme Les algorithmes offrent tout dabord au secteur assuran-
dune performance extrmement leve, il y aura toujours tiel la possibilit dacclrer et de uidifier des ratiques
beaucoup plus dinnocents que de coupables accuss. quotidiennes telles que la gestion des sinistres, le suivi du
Supposons un algorithme dune super-qualit qui na quune comportement des assurs, leur indemnisation ou encore la
chance sur 100 de se tromper. Sur 60 millions de personnes, lutte contre la fraude. La reconnaissance dimages permise
a fait 600 000 personnes dtectes tort, plus les 1 000 par lIA pourrait mener systmatiser, grce lanalyse des
vrais positifs quon a bien dtects. Donc lalgorithme images de sinistres, les processus dindemnisation auto
dtecte 601 000 personnes, parmi lesquelles en ralit 1 et habitation . Autre exemple : lintelligence artificielle, en
000 seulement sont de vrais terroristes . Le risque est donc rvlant des liens insouponns, peut se rvler utile pour
de dmultiplier la suspicion et de confronter les services de retrouver les titulaires de contrats dassurances-vie en
renseignement une masse de cibles impossible traiter. dshrence (non rclams) ou leurs hritiers. Mais, plus
quun instrument dautomatisation au service de pratiques
Au-del de lidentification de zones risque, lalgorithme dj bien implantes, lalgorithme annonce un nouveau
peut servir daide la rsolution des enqutes. En sap- paradigme de lassurance et du mutualisme au sens o il
puyant sur les connexions entre lensemble des pices dune pourrait modifier la manire dapprhender les risques et
enqute dont celles au caractre trs technique comme de les valoriser, transformer les techniques et les pratiques
procs-verbaux, appels tlphoniques ou encore informa- de mutualisation (Franois Ewald92).
tions bancaires , des logiciels offriraient aux gendarmes
la possibilit didentifier des relations que lhumain ntait Certes la donne a toujours constitu la matire premire
jusquici pas parvenu effectuer89. pour lassureur pour prvenir les risques. Assurer, cest pro-

86 Bilel Benbouzid, A qui profite le crime ? , La Vie des Ides. PredPol prtend sinspirer des mthodes de prdiction des tremblements de terre pour offrir
une analyse du crime en temps rel qui prend la forme dun tableau de bord .
87 Le gostaticien ean-Luc Besson la expose lors du mme vnement organis par lINHES .
88 http://tempsreel.nouvelobs.com/rue /rue -internet/20150415.RUE 66 /l-algorithme-du-gouvernement-sera-intrusif-et-inefficace-on-vous-le-prouve.html
89 Le loigiciel AnaCrime a ainsi permis il y a quelques mois de relancer l affaire Gregory .
90 Rponse du Ministre de lIntrieur la question n 16562, publie dans le O Snat du 2 dcembre 2016.
91 Evnement organis par la Fdration Franaise de lAssurance, le 5 juillet 2017.
92 Franois Ewald, After Risk, vers un nouveau paradigme de lassurance. LAssurance lge du Big Data , septembre 2013.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES 69

poser des services financiers de protection diffrents selon source du risque pour tenter dviter quil survienne (par
des profils de risque, grce au traitement de donnes des incitations relatives lactivit physique, la nutrition
caractre prdictif. Florence Picard (Institut des actuaires)93 etc.), comme lexplique Fabrice Faivre (MACIF)96. Argument
explique ainsi comment lactuaire a toujours eu pour rle de de sant publique en faveur des assurs, lindividualisa-
de calculer la probabilit et limpact financier des risques. tion annonce aussi des modles rengocis en assurance,
Loin de lapprciation globale fonde sur les dclarations fonds sur la dtection des profils haut risque et sur une
des clients, lalgorithme annonce une valuation plus fine nouvelle relation possible des assureurs au client.
sappuyant sur des donnes comportementales en masse.
La porte de cette personnalisation mrite toutefois dtre
Objets connects, rseaux sociaux, donnes de sant : de nuance : une segmentation tarifaire trop fine ne serait pas
nouveaux horizons souvrent vers une personnalisation sans ncessairement dans lintrt dun assureur, du fait des
prcdent. Ce sont des corrlations indites et individua- consquences potentielles quimpliquerait une erreur en
lises qui sont ici recherches. A titre dexemple, certains absence de volumes significatifs. Il reste encore savoir si
assureurs auraient constat que les clients achetant des le cadre lgal actuel est adapt un tel mouvement. Celui-ci
feutres placer sous les pieds de table et de chaise, pour tend restreindre lutilisation de donnes par les assureurs
la prservation du bon tat de leur parquet, ont un com- au nom de principes tels que la protection des donnes
portement automobile bien plus prudent que la moyenne, caractre personnel (le SNDS cr par la loi de modernisa-
et quune rduction de prime apparatrait ainsi comme jus- tion de notre systme de sant limite laccs des assureurs
tifie94. Le risque peut ds lors tre bien plus subjectivis, aux donnes de sant) ou la lutte contre les discriminations.
individualis. Cest, selon Franois Ewald, le passage de la A titre dexemple, la Cour de justice de lUnion europenne
notion de risque comme vnement celle de risque de interdit lutilisation du genre comme variable au sein dun
comportement : les risques [...] taient dabord apprhen- modle statistique en assurance au nom du principe dgalit
ds par leurs caractristiques objectives, partir des vne- de traitement entre les hommes et les femmes97. Florence
ments qui en marquent la ralisation [...] on peut dsormais Picard (Institut des Actuaires)98 met des rserves quant la
les observer comme caractristiques du comportement des pertinence dcarter un tel critre qui pourrait trouver toute sa
agents . Lassurance comportementale concerne dj les place dans certains modles. Ccile Wendling (A A)99 men-
comportements des automobilistes travers les coefficients tionne comment cette obligation du droit europen pourrait
de rduction-majoration (plus connus sous le nom de bonus toutefois tre mise mal si les algorithmes de machine lear-
ou malus) fondement du pay as you drive (qui se fonde ning venaient se dployer, infrant ainsi par eux-mmes les
sur les antcdents des conducteurs notamment en termes critres permettant didentifier le genre (couleur dun vhicule
de vitesse moyenne). Plus encore, ladaptation du co t des etc.). En somme, lavenir de ces pratiques semble aujourdhui
offres selon le style de conduite (acclrations, freinages dpendre, dune part, du degr de dveloppement futur des
brusques) est galement possible grce aux capteurs dont objets connects et, dautre part, de la volont quauront
certains vhicules sont quips ( pay how you drive ). les citoyens de transmettre volontairement et consentir
lutilisation de certaines des donnes les concernant pour
En sant, lindividualisation ne mne pas encore une seg- amliorer leur sant par exemple.
mentation tarifaire explicite, mais le programme Vitality
de la socit Generali rvle comment un systme de Emploi, RH, recrutement
rcompenses peut indirectement permettre de sadapter
aux comportements des clients. Vitality se prsente comme Alors que chmage et conditions de travail sont au centre
un programme visant amliorer le bien-tre en mettant des proccupations socitales, les initiatives convoquant
disposition des recommandations et des outils pour [...] des algorithmes foisonnent pour rpondre aux grands
encourager mener une vie plus saine et en rcompensant enjeux du march de lemploi.
ceux qui atteignent leurs objectifs plutt quen pnalisant
ceux qui ne les atteignent pas grce des rductions et Les particuliers, dune part, peuvent recourir des agr-
des offres avantageuses chez des partenaires95. Likes gateurs doffres demploi qui se perfectionnent. LAPEC
mis sur les rseaux sociaux et donnes de profil sur (Association pour lemploi des cadres) dispose par exemple
Facebook, par exemple, pourraient galement servir dun algorithme smantique permettant non seulement de
proposer des tarifs automobile avantageux. rechercher les offres demploi selon des mots-cls, mais
galement dinduire automatiquement dun CV le rfrentiel
Qui dit risque individualis dit possibilit de services de de comptences et de talents qui permettra de suggrer
prvention augments qui vont agir directement sur la ensuite les offres demploi le plus finement possible100. Ple

93 Evnement organis par la Ligue des Droits de lHomme, le 15 septembre 2017.


94 Dominique Cardon, quoi r vent les algorithmes, Paris, 2015, p.52
95 Site officiel de Vitali.
96 Evnement organis par la Ligue des Droits de lHomme, le 15 septembre 2017.
97 C UE, 1er mars 2011, affaire C-236/0 dite Test-Achats
98 Evnement organis par Fotonower, le 22 septembre 2017.
99 Evnement organis par la Chaire IoT de lESCP Europe, le 20 septembre 2017.
100 Le Directeur des systmes dinformation de lAPEC a prsent cet outil lors de lvnement organis par FO-Cadres, le 1 avril 2017.
70 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
ANNEXES

Emploi dispose galement de sa propre solution algorith- Cest bien la donne qui constitue ici le matriau faire
mique dagrgation des offres demploi. fructifier pour rsoudre certains dfis du march de
Dans le cadre dune rflexion thique, cest surtout lappro- lemploi, commencer par linsuffisance de mthodes
priation par les entreprises et notamment les directions traditionnelles de recrutement (CV, entretiens) consid-
des ressources humaines (DRH) qui interpelle. Sans res lacunaires pour atteindre lintimit de lindividu.
impliquer une relle rupture des missions traditionnelles Aptitudes comportementales et cognitives ( soft skills )
du DRH, lalgorithme faciliterait latteinte des objectifs de sont dsormais plus activement recherches : lalgorithme
recrutement et de gestion des ressources humaines, capitalise sur la donne rpartie au sein voire lextrieur
savoir : rpondre aux attentes de rapidit dans la mobilit de lentreprise pour uvrer en ce sens.
et le recrutement, accentuer lemprise des collaborateurs
sur leur propre parcours et, enfin, mettre la disposition des Ce sont dabord les donnes internes une organisation
managers la ressource adquate pour latteinte des objec- qui peuvent alimenter lalgorithme, condition quelles
tifs101. Cest notamment le co t de la mauvaise embauche puissent tre rassembles et fiabilises. Si ces donnes
qui pourrait tre vit, voire la rduction une chelle plus existent, elles sont dtenues pour partie par les colla-
large du chmage. Prdire pour mieux satisfaire collabo- borateurs, pour partie par les fonctions RH et pour partie
rateur et manager, en tirant profit dune masse de donnes pour les managers 102 et elles sinscrivent plus dans une
pertinentes : telle est la promesse de lalgorithme. logique de rendre compte que dexploitation pour des
motifs prcis 103.

Parfois juges insuffisantes, la collecte de donnes


Recrutement : Lalgorithme peut constituer un externes (telles que les informations relatives aux par-
in tru ent de at hin a nitaire bas cours professionnels publies sur les rseaux sociaux) est
sur la smantique, mobilis par le DR pour galement attrayante pour de nombreuses organisations.
prqualifier le volume parfois consquent de
CV reus pour une offre demploi donne. Au Les traitements algorithmiques semblent encore
vu de la dure moyenne trs rduite de qualifi- aujourdhui limits104, les quelques exemples existants
cation dun CV par un humain, nombreux sont aujourdhui ne recourant pas lintelligence artificielle
ceux qui invoquent la plus grande rigueur et au machine learning. Le frmissement est cependant
de lalgorithme. La arvard Business Revie tangible : le nombre de start-ups ayant pour objet les
publiait ainsi une tude en 014 affirmant quun RH est pass de 200 600 en lespace de deux ans105.
algorithme peut surpasser le recruteur humain Il est trop tt pour valuer de manire certaine limpact
et viter des prsupposs frquents che ce quauront ces technologies sur les pratiques de recru-
dernier, tels que la tendance corrler sys- tement et la gestion des talents106. Nest-il pas, par
tmatiquement prestige dune universit et exemple, trop ambitieux daffirmer quun algorithme
performance future. pourrait se substituer lhomme pour effectuer le tra-
Gestion des RH : Lalgorithme pourrait identi- vail consquent quimplique lvaluation annuelle des
fier les collaborateurs les plus mme dtre collaborateurs ? En matire de recrutement, labandon
performants dans un rle dtermin, en allant par Google de son systme de tri automatis des candi-
chercher ceux qui nauraient pas candidat datures semble rvler certaines limites de lalgorithme.
une offre de poste donne. La mobilit interne Le perfectionnement des outils pourrait maner de nou-
serait galement optimise par le ciblage de veaux dveloppements en intelligence artificielle des
formations appropries pour un collaborateur algorithmes qui construiraient leurs propres rfrentiels
afin desquisser pour lui un nouveau chemine- ou encore dun recours grandissant la robotique
ment de carrire. (lanalyse de lexpressivit motionnelle lors dun entre-
Qualit de vie : Dautres applications, pour les- tien de recrutement en constitue une illustration107).
quelles la rflexion thique est plus que de rigueur, Ces nouveaux outils pourraient engendrer de nouveaux
concernent la comprhension de certains risques : comment distinguer en RH les dcisions simples
phnomnes sociaux au sein de lentreprise : facilement automatisables des dcisions complexes pour
analyse des facteurs justifiant labsentisme, lesquelles la dimension humaine de la profession devra
prdiction des risques psychosociaux, calcul tre prserve ?
du risque de dpart dune organisation etc.

101 Analyse de ean-Cristophe Sciberras, directeur des RH France et directeur des relations sociales corporate chez Solvay, lors de lvnement organis par la CFE-CGC.
102 Sabine Frantz lors de lvnement de FO-Cadres.
103 Batrice Ravache lors de lvnement de la CFE-CGC.
104 Le service des questions sociales et RH de la CNIL ne recense aujourdhui aucune demande dautorisation pour de tels traitements dimension prdictive
et nest consult qu titre informationnel afin de connatre lavis de la Commission.
105 rmy Lamri, fondateur du LabRH, lors de lvnement de la CFE-CGC.
106 Batrice Ravache, lors de lvnement de la CFE-CGC, voque au sujet de la fonction de DRH que le savoir nest plus la mmoire, nest plus lorganisation des donnes,
ni aller les chercher, cest encore autre chose qui nest pas forcment vident pour le RH aujourdhui .
107 Laurence Devillers, vnement CFE-CGC.
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
REMERCIEMENTS 71

REMERCIEMENTS

La CNIL adresse ses plus vifs remerciements aux personnes et aux institutions qui ont apport leur participation
cette rflexion collective.

Les partenaires du dbat public


Acadmie des technologies Groupe V V (MGEN IST A Harmonie)
Agence Franaise de Dveloppement (AFD) Hpital Necker
Association franaise de droit du travail et de la scurit INNOvation Ouverte par Ordinateur (INNOOO)
sociale (AFDTSS) Institut des Hautes Etudes de Dfense Nationale (IHEDN)
Association franaise pour lintelligence artificielle (AFIA) Institut des Systmes Complexes de Paris Ile-de-France
Caisse des dpts et consignations (CDC) (ISC-PIF)
Centre de recherche de lcole des officiers Institut Imagine
de la gendarmerie nationale (CREOGN) Institut Mines-Tlcom (IMT), Chaire de recherche Valeurs
Collge des Bernardins et Politiques des Informations Personnelles
Comit consultatif national dthique (CCNE) Institut National des Hautes tudes de la Scurit
Comit dthique du CNRS (COMETS) et de la ustice (INHES )
Commission de rflexion sur l thique de la Recherche en Institut National des Sciences Appliques (INSA)
sciences et technologies du Numrique (CERNA) dAllistene Laboratoire pour lIntelligence Collective et Artificielle (LICA)
Communication Publique Le Club des Juristes
Confdration franaise de lencadrement Confdration Ligue de lEnseignement
gnrale des cadres (CFE-CGC) Ligue des Droits de lHomme (LDH)
Conseil dpartemental du Rhne de lOrdre des Mdecins Microsoft
Conseil National des Barreaux (CNB) Ministre de lducation nationale, via la direction
Conseil Suprieur de lAudiovisuel (CSA) du numrique pour lducation (DNE) et son Numrilab
Conservatoire National des Arts et Mtiers (CNAM) Ministre de la Culture, via la direction gnrale des mdias
Cour administrative dappel de Lyon et des industries culturelles (DGMIC)
Cour dappel de Douai OpenLaw
cole des Hautes Etudes en Sciences Sociales (EHESS) Ordre des avocats de Lille
cole Nationale Suprieure de Cognitique (ENSC) Randstad
ESCP Europe, Chaire IoT Renaissance Numrique
Etalab Sciences Po Lille
Facult de Droit de lUniversit Catholique de Lille, Centre Sciences Po Paris
de recherche sur les relations entre le risque et le droit Socit informatique de France (SIF)
Facult de Droit de lUniversit Catholique de Lyon The Future Society at Harvard Kennedy School, AI Initiative
Familles rurales Universcience
Fdration Franaise de lAssurance (FFA) Universit de Bordeaux
FO-Cadres Universit de Lille 2
Fondation Internet Nouvelle Gnration (FING) Universit Fdrale de Toulouse
Fotonower Universit Paris II
Gnotoul societal Visions dEurope

Les autres contributeurs


Arbre des connaissances rme BERANGER Nozha BOU EMAA
Autorit de contrle prudentiel et de rsolution (ACPR) Dominique CARDON ean-Philippe DESBIOLLES
Autorit des marchs financiers (AMF) Paul DUAN Flora FISCHER Antoine GARAPON
Montpellier Mditerrane Mtropole et son prsident, Roger-Franois GAUTHIER Hubert GUILLAUD
M. Philippe Saurel Rand HINDI acques LUCAS
Ville de Montpellier Camille PALOQUE-BERGES Bruno PATINO
Antoinette ROUVRO Ccile WENDLING
Les 37 citoyens ayant pris part la concertation citoyenne
organise Montpellier le 14 octobre 2017.
72 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
VNEMENT

LISTE DES MANIFESTATIONS ORGANIS ES


DANS LE CADRE DU DBAT PUBLIC
De fin mars dbut octobre, la CNIL a assur lanimation et la coordination de 45 vnements sur les algorithmes et
lintelligence artificielle. Certaines initiatives ont t imagines spcifiquement loccasion du lancement du dbat public,
dautres sinscrivaient dj dans les projets dacteurs institutions publiques, associations, centres de recherche
dj proccups par ces enjeux.

De nombreux acteurs ont fait le choix dapprhender les algorithmes dans un secteur spcifique (sant, emploi ou
ducation par exemple) alors que dautres ont abord lobjet technologique dans sa globalit. Enfin, ce sont autant des
ateliers dexperts public restreint que des manifestations orientes vers lappropriation du grand public (citoyens,
tudiants etc.) qui ont jalonn ce processus.

Plus dinformations sur ces manifestations sont disponibles sur le site de la CNIL.

23/01/2017 EVNEMENT DE LANCEMENT :


TABLES-RONDES Des algorithmes et des hommes
et Loyaut, transparence et pluralit des algorithmes
> CNIL

23/03/2017 COLLOQUE Vers de nouvelles humanits ?


25/03/2017 > Universcience

31/03/2017 CONFRENCE Les algorithmes et le droit


> Universit de Lille II

06/04/2017 CONFRENCE Le choix lheure du Big Data


> Sciences Po Lille et Visions dEurope

08/04/2017 DBAT The governance of emerging technosciences


> German American Conference at Harvard University

18/04/2017 DBAT Transatlantic perspectives on: AI in the age of social media;


privacy, security and the future of political campaigning
> The Future Society at Harvard Kennedy School

18/04/2017 TABLES-RONDES Big Data, ressources humaines : les algorithmes en dbat


> FO-Cadres

04/05/2017 CONFRENCE Loyaut des dcisions algorithmiques


> Universit Toulouse III Paul Sabatier

16/05/2017 DBAT Le numrique tuera-t-il lEtat de droit ?


> Collge des Bernadins

19/05/2017 COLLOQUE La justice prdictive


> Cour dAppel de Douai, Ordre des Avocats de Lille et Facult de Droit de lUniversit Catholique de Lille

02/06/2017 ATELIERS Loyaut des traitements et dcision algorithmiques


> LabEx Centre International de Mathmatiques et Informatique de Toulouse
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
VNEMENT 73

08/06/2017 DBAT Algorithmes en sant : quelle thique ?


> Groupe VYV (MGEN ISTYA Harmonie)

14/06/2017 TABLE-RONDE ntelligence artificielle lthique la croise des et du ig ata


> Confdration franaise de lencadrement Confdration gnrale des cadres (CFE-CGC)

16/06/2017 DBAT Algorithmes, emploi et thique


> Association franaise de droit du travail et de la scurit sociale (AFDT)

19/06/2017 JOURNE Les algorithmes thiques, une exigence morale et un avantage concurrentiel
> CERNA dAllistene et Socit Informatique de France (SIF)

19/06/2017 COLLOQUE umain non humain l re de lintelligence artificielle


> Universit Paris II

21/06/2017 COLLOQUE ntelligence artificielle autonomie dlgation et res onsa ilit


> Ecole Nationale Suprieure de Cognitique (ENSC)

22/06/2017 ATELIER Ethique des algorithmes : enjeux pour la sant


> Genotoul (plateforme thique et bioscience)

22/06/2017 ATELIER DE CROWDSOURCING ntelligence artificielle et droit


> OpenLaw

22/06/2017 COLLOQUE The many dimensions of data


23/06/2017 > Institut Mines-Tlcom, Chaire de recherche Valeurs et Politiques des Informations Personnelles

27/06/2017 COLLOQUE curit et justice le dfi de lalgorithme


> Institut national des hautes tudes de la Scurit et de la Justice (INHESJ)

28/06/2017 PROCS FICTIF ET TABLE-RONDE Ethique, algorithmes et justice


> Facult de Droit de lUniversit Catholique de Lyon et Cour administrative dappel de Lyon

28/06/2017 JOURNE DTUDES Admission Post-bac, cas dcole des algorithmes publics
> Fondation Internet Nouvelle Gnration (FING) et Etalab

03/07/2017 JOURNE Algorithmes et souverainet numrique


> CERNA dAllistene

05/07/2017 JOURNE thique et intelligence artificielle


> Comit dthique du CNRS (COMETS) et Association franaise pour lIA (AFIA)

22/08/2017 DBATS sur les algorithmes dans le champ de lducation.


24/08/2017 > Ligue de lEnseignement

05/09/2017 MATINE-DBAT Le travail lre des algorithmes : quelle thique pour lemploi ?
> Renaissance Numrique et Randstad

11/09/2017 COLLOQUE Convergences du droit et du numrique


13/09/2017 > Universit de Bordeaux

14/09/2017 JOURNE Algorithmes et Politiques. Les enjeux thiques des formes


de calcul numrique vus par les sciences sociales
> Ecole des Hautes Etudes en Sciences Sociales (EHESS) et Institut des Systmes Complexes Ile-de-France
74 COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
VNEMENT

15/09/2017 JOURNE sur la recherche en sant dans ses aspects thiques et rglementaires
(donnes, algorithmes)
> Hpital Necker et Institut Imagine

15/09/2017 TABLES-RONDES Algorithmes et risques de discriminations dans le secteur de lassurance


> Ligue des Droits de lHomme

20/09/2017 COLLOQUE Enjeux thiques des algorithmes


> INNOvation Ouverte par Ordinateur (INNOOO)

20/09/2017 MATINE-DBAT Lthique des algorithmes et de lIA est-elle compatible avec la cration
de valeur dans lIoT ? : Internet of Things et/ou Internet of Trust ?
> ESCP Europe (Chaire IoT)

20/09/2017 COLLOQUE Ethique et numrique


> Collge des Bernardins

21/09/2017 DBAT Opportunities and challenges of advanced machine learning algorithms


> The John F. Kennedy Jr. Forum at Harvard Kennedy School

21/09/2017 COLLOQUE Lex o otica la ronti re de la ro otique et du roit


penser lhumanode de 2017)
> Conservatoire National des Arts et Mtiers (CNAM)

22/09/2017 TABLE-RONDE IA et thique des algorithmes


> Fotonower

26/09/2017 COLLOQUE Algorithmes prdictifs : quels enjeux thiques et juridiques ?


Centre de recherche de lcole des o ficiers de la gendarmerie nationale C

28/09/2017 CONSULTATION uel a enir our la mdecine lheure de lintelligence artificielle


> Conseil dpartemental du Rhne de lOrdre des Mdecins

29/09/2017 TABLES-RONDES Ethique des algorithmes et du big data


> Agence franaise de dveloppement (AFD) et Caisse des dpts et consignations (CDC)

04/10/2017 COLLOQUE Algorithmes et champ de bataille


orum d at ers une ntelligence rtificielle ien eillante
> Institut des hautes tudes de dfense nationale (IHEDN)

06/10/2017 FORUM-DBAT ers une ntelligence rtificielle ien eillante


Laboratoire dintelligence collecti e et artificielle L C

12/10/2017 TABLE-RONDE roit et intelligence artificielle quelle s res onsa ilit s


> Club des Juristes et Microsoft

14/10/2017 CONCERTATION CITOYENNE sur les enjeux thiques des algorithmes


> CNIL

07/09/2017 CONSULTATION PUBLIQUE sur la gou ernance de lintelligence artificielle


31/03/2018 > The Future Society at Harvard Kennedy School
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? LES ENJEUX THIQUES DES ALGORITHMES ET DE LINTELLIGENCE ARTIFICIELLE
GLOSSAIRE 75

GLOSSAIRE

Algorithme
Description dune suite finie et non ambige dtapes ou dinstructions permettant dobtenir un rsultat partir
dlments fournis en entre.

Apprentissage machine (ou apprentissage automatique, machine learning)


Branche de lintelligence artificielle, fonde sur des mthodes dapprentissage et dacquisition automatique de nou-
velles connaissances par les ordinateurs, qui permet de les faire agir sans quils aient tre explicitement program-
ms.

Apprentissage machine supervis


Lalgorithme apprend de donnes dentre qualifies par lhumain et dfinit ainsi des rgles partir dexemples qui
sont autant de cas valids.

Apprentissage machine non supervis


Lalgorithme apprend partir de donnes brutes et labore sa propre classification qui est libre dvoluer vers
nimporte quel tat final lorsquun motif ou un lment lui est prsent. Pratique qui ncessite que des instructeurs
apprennent la machine comment apprendre.

Big data
Dsigne la conjonction entre, dune part, dimmenses volumes de donnes devenus difficilement traitables lheure
du numrique et, dautre part, les nouvelles techniques permettant de traiter ces donnes, voire den tirer par le
reprage de corrlations des informations inattendues.

Chatbot
Agent conversationnel qui dialogue avec son utilisateur (par exemple, les robots empathiques disposition de
malades, ou les services de conversation automatiss dans la relation au client).

ntelligence artificielle
Thories et techniques consistant faire faire des machines ce que lhomme ferait moyennant une certaine
intelligence (Marvin Minsky). On distingue IA faible (IA capable de simuler lintelligence humaine pour une tche bien
dtermine) et IA forte (IA gnrique et autonome qui pourrait appliquer ses capacits nimporte quel problme,
rpliquant en cela une caractristique forte de lintelligence humaine, soit une forme de conscience de la machine).
Conception & ralisation graphique : LINAL - 03 20 41 40 76 / www.lineal.fr
Crdit illustration : eo re htt geo re dorne com
DCEMBRE 2017
COMMENT PERMETTRE LHOMME DE GARDER LA MAIN? Les enjeux thiques des algorithmes et de lintelligence artificielle
Commission Nationale de lInformatique et des Liberts
COMMENT PERMETTRE LHOMME
3 place de Fontenoy
DE GARDER LA MAIN?
TSA 80715
75334 PARIS CEDEX 07
e en e t i e de alg rit e et de lintelligence artificielle
Tl. 01 53 73 22 22
Fax 01 53 73 22 00 SYNTHSE DU DBAT PUBLIC ANIM PAR LA CNIL DANS LE CADRE DE LA MISSION
DE RFLEXION THIQUE CONFIE PAR LA LOI POUR UNE RPUBLIQUE NUMRIQUE
www.cnil.fr

DCEMBRE 2017