Professional Documents
Culture Documents
Reinoud Kaasschieter
Dilemma's van de IT
professional (W7)
KIVI-jaarcongres Wet,
Wetenschap en Werkelijkheid
27 november 2020
© Capgemini/Altran
2
Disclaimer
• Deze presentatie is onvolledig en kan misleidend zijn. Rechtvaardig uw
ethische beslissingen voor uzelf en anderen niet met deze presentatie.
Gebruik je eigen kennis, intellect, oordeel en geweten.
• Hoewel de grootst mogelijke zorg is besteed om de huidige stand van zaken
rond ethiek rondom AI te beschrijven, zullen omissies, afkortingen en
fouten waarschijnlijk aanwezig zijn.
• Deze presentatie toont mijn persoonlijke opvattingen en niet
noodzakelijkerwijs die van Capgemini. U mag van mening verschillen.
• Ik ben niet verantwoordelijk voor eventuele verwarringen of andere
mentale problemen die voortvloeien uit het bijwonen van deze
presentatie.
4
ontwerper
«Als ontwerper: voor zover je Opdracht-
Natuur
gevers
dat nog niet deed ben je
bewust van je macht en
verantwoordelijkheid. Je kunt
onmogelijk alle consequenties
overzien van je ontwerp,
maar het is je morele plicht je Maat-
Economie
schappij
flink in te spannen om er
zoveel mogelijk te bedenken
en zo nodig bij te sturen.» Ontwerpen
https://www.nieuwemuze.nl/2018/02/ethiek-in-het-ontwerpen/
➢ https://level-level.com/nl/blog/ethische-dilemmas-voor-
ontwerpers/
6
gebruik
Het gebruik van producten en diensten Neven-
Context
kunnen ook tot ethische dilemma’s effecten
leiden.
Misbruik, ander gebruik en onvoorzien
gebruik zijn voorbeelden hiervan.
Tot nu toe proberen we daarom alle
consequenties van mogelijk gebruik te
inventariseren…
Ergonomie Kennis
…en mogelijk daartegen maatregelen
nemen, analoog aan risicomanagement.
➢ Maar kunnen we dit bij kunstmatige
intelligentie en autonome machines Gedrag
ook op deze wijze doen?
8
Deterministisch Stochastisch
De werking van deze technologie niet te doorgronden zijn, zodat daartegen ook geen formeel
bezwaar kan worden gemaakt.
«De kern van de uitspraak is dat er in dat geval te weinig waarborgen zijn voor burgers: zij kunnen niet uitzoeken of hun
gegevens wel juist zijn verwerkt en weten niet waartegen ze precies bezwaar moeten maken.»
NRC - Schimmige algoritmes bij UWV en SyRI zijn topje van de ijsberg (6 maart 2020)
12
Data-gedreven en intelligentie technologieën, zoals autonome machines, dringen de openbare ruimte
binnen, zonder dat individuen de keuze hebben wel of niet hiermee geconfronteerd te worden.
«…burgers en andere betrokken partijen vaak pas achteraf met digitale oplossingen worden geconfronteerd, wanneer er geen
andere inbreng dan accepteren of protesteren mogelijk is.»
Rijksoverheid – Essaybundel “Behoorlijk datagebruik in de openbare ruimte”
De werking van deze technologie niet te doorgronden zijn, zodat daartegen ook geen formeel
bezwaar kan worden gemaakt.
«De kern van de uitspraak is dat er in dat geval te weinig waarborgen zijn voor burgers: zij kunnen niet uitzoeken of hun
gegevens wel juist zijn verwerkt en weten niet waartegen ze precies bezwaar moeten maken.»
NRC - Schimmige algoritmes bij UWV en SyRI zijn topje van de ijsberg (6 maart 2020)
Deel 2 – Verantwoordelijkheden
➢ Wie is er verantwoordelijk
wanneer een (autonoom)
beslissend systeem een
goede, foute, briljante,
onverwachte, stomme,
gevaarlijke of zelf
dodelijke beslissing
neemt?
16
De mens is altijd
verantwoordelijk
Wensdenken: willen we, moeten
we, kunnen we de mens altijd
verantwoordelijk laten zijn?
De ethische vraag: «Wanneer is een
persoon verantwoordelijk voor zijn
daad?»
Juridische aansprakelijkheid ≠
ethische verantwoordelijkheid.
Het probleem van “many hands”:
als er verschillende mensen bij
betrokken zijn, is het onmogelijk om
«Morele verantwoordelijkheid is het hebben van de
één persoon te identificeren die
verplichting tot het verantwoorden van het eigen gedrag.»
verantwoordelijk is.
Rob van Es
➢ https://www.managementimpact.nl/artikel/morele-
verantwoordelijkheid-wat-is-het/
17
Automatisering
Human-out-the-loop
Volledige automatisering geeft ons
de mogelijkheid om:
• Veel meer dingen te doen;
• En ze sneller te doen;
• En ze goedkoper te doen;
• En ze beter te doen (?)
Maar dingen kunnen fout gaan,
Augmented AI
Human-in-the-loop
Autonome AI en ethiek zijn een
gebrekkige combinatie
Mensen blijven aan het roer. En
hebben de uiteindelijke beslissings-
bevoegdheid.
Empowerment: mogen we afwijzen, «Toch kunnen personen, die belast zijn met de
zelfs als onze beslissing slecht, verantwoordelijkheid om toezicht te houden op de werking van
illegaal of zelfs immoreel is? deze systemen, begrijpelijkerwijs terughoudend zijn om in te
Menselijke factoren: zijn we grijpen. Dit dreigt de mens in ‘morele kreukelzones’ te veranderen,
opgeleid als operators van grotendeels totemisch mens wiens centrale rol wordt het opnemen
industriële installaties of piloten van van schuld, hoewel ze slechts gedeeltelijke controle hebben over
vliegtuigen. het systeem, en die kwetsbaar zijn om de zondebok te worden voor
techontwikkelaars en organisaties die de verantwoordelijkheid voor
➢ Big Tech houdt van onbedoelde nadelige gevolgen willen vermijden.»
augmentation, het verduidelijkt Karen Yeung, De Raad van Europa
verantwoordelijkheden
19
Controleerbare AI
Human-on-the-loop
Waarden uit AI-richtlijnen kunnen
worden geïnterpreteerd als human-
on-the-loop-scenario's, zoals:
• Transparantie
• Verantwoording
• Uitlegbaarheid
Achteraf gezien proberen we uit te
zoeken hoe een autonoom besluit is
genomen.
➢ Maar zijn we in staat om de
gemaakte fouten te corrigeren? «De rol van de mens in de huidige robotica ecosysteem zal,
Zowel technisch als waar robots worden ingezet, verschuiven van het “in the
organisatorisch? loop” naar “on the loop”.»
Kunnen we de AI voorspellen? Prof. Saeid Nahavandi, director of IISRI
20
Autonomous
vehicles as moral
machines
Ik gebruik zelfrijdende auto's als
voorbeeld van machines die
autonome beslissingen moeten
nemen. «De bestuurder is verantwoordelijk, als hij zelf het voertuig
bestuurt. Maar als het systeem niet goed werkt, is de
Deze beslissingen kunnen gaan over
producent verantwoordelijk. De wetgeving is voor de testfase
morele of ethische dilemma’s.
voldoende.»
We hebben algoritmes nodig om te Rijksoverheid
beslissen over deze dilemma’s.
➢ Welke ethische regels moeten ze
volgen? Welke regels moeten we
programmeren in de code?
➢ http://www.moralmachines.net
➢ https://www.rijksoverheid.nl/onderwerpen/mobiliteit-
nu-en-in-de-toekomst/vraag-en-antwoord/aansprakelijk-
bij-ongeluk-met-zelfrijdende-auto
21
Ethiek
③ ①
Design for Ethische
Values teams
①
Ethics in teams
Het is een moeilijke taak om teams in
staat te stellen ethische beslissingen
te nemen:
• Creëer een ethische, inclusieve
omgeving
• Waardeer nieuwsgierigheid
• Huur een divers
personeelsbestand in
• Heroverweeg het
personeelsbestand
Hoe worden maatschappelijke
waarden vertegenwoordigd in de «Een manier om ethiek praktisch te maken is onderzoekers en
teams? ontwikkelaars in staat te stellen relevante deugden te cultiveren -
➢ Zal het werken? bijvoorbeeld rechtvaardigheid, zelfbeheersing, beleefdheid of
moed - zodat ze deze deugden kunnen toepassen en uitdrukken
https://warontherocks.com/2020/03/creating-a-curious- tijdens het onderzoek- en ontwerpproces.»
ethical-and-diverse-ai-workforce/ Marc Steen, TNO
26
Ethische
commissies &
ethische auditeurs
Een ethische commissie is een
orgaan dat ervoor moet zorgen dat
medisch experiment en onderzoek
naar menselijke proef op een
ethische manier worden uitgevoerd
in overeenstemming met het
nationale en internationale recht.
Kunnen we hetzelfde doen voor
kunstmatige intelligentie en
autonome voertuigen?
➢ Ethische commissies faalden bij
Big Tech. Waarom?
②
Governance
Governance is gebaseerd op codes,
richtlijnen en regelgeving.
Richtlijnen zijn gebaseerd op
(universele) principes.
Deze principes zijn afgeleid van
maatschappelijke waarden.
Richtlijnen worden opgesteld om
ethische waarden te
operationaliseren
... maar ze zijn meestal als vaag
meetbare eisen geformuleerd.
➢ Moet je richtlijnen vertalen naar
tooling en checklists?
28
Ethische codes,
richtlijnen etc.
Richtlijnen worden steeds meer de
manier om de controle over de
ethiek van AI en AV's te pakken.
Richtlijnen zijn negatief, ze stoppen
ongewenste gevolgen.
Richtlijnen zijn nooit compleet, ze
kunnen geen garanties geven.
Toch zal Europa zijn richtlijnen in
regelgeving omzetten.
https://europa.eu/!VV67my
Misschien zijn regels de enige
manier om ethiek af te dwingen ...
➢ Richtlijnen gebruiken voor
naleving van AI Ethics?
29
Ethiek is geen
compliance
«Als je denkt over ethiek als
compliance of compliance officers
of auditeurs, dan krijg je eigenlijk
het absolute minimum aan ethiek.
Ethiek gaat over... hoe na te denken
over het verantwoordelijk doen van
dingen. Waar denk ik aan als ik
ontwerp en niet “is de compliance
officer aan het toekijken.”»
https://fcw.com/articles/2020/10/22/ai-defense-ethics-
compliance.aspx
«Ethiek is geen compliance en als we denken over ethiek als
compliance dan falen we als morele individuen.»
30
③
Design for Values
‘Design for Values’ is een
overkoepelende term die een
diversiteit aan
ontwerpbenaderingen, theoretische
achtergronden, weloverwogen
waarden en toepassingsdomeinen
omvat.
https://www.delftdesignforvalues.nl/design-for-values-an-
introduction/
Waardes zijn
aanwezig
Ontwerpen, waarin onze waarden zijn
opgenomen, kunnen deze waarden
niet teniet doen.
Voorbeeld: het ontwerpen van een
schaar om de veiligheid van een kind
te waarderen, kan impliceren dat uw
ontwerp niet zo goed zal knippen als
een ander (gevaarlijkere) schaar.
Ontwerpen voor waarden betekent
verantwoordelijkheid nemen als
ontwerper en die
verantwoordelijkheid niet overdragen
aan de gebruiker. U moet de
gebruiker beschermen.
Waardes
opdringen?
Vaak leggen de ontwerpers hun
waardes onbewust en intrinsiek op
aan de gebruikers van hun
systemen, zoals:
• antwoordmogelijkheden op
formulieren, bijv. gender
• sociale media
Maken we onze waardes expliciet,
dan ontstaat er een dialoog over:
• ontwerpkeuzes
• waardeconflicten
➢ https://www.businessnews.com.au/article/Big-data-big-
potential-big-challenges «Technologie is niet waarde-neutraal.»
Rachel Cardell-Oliver, University of Western Australia
36
«In de loop der tijd is Value Sensitive Design een bewuste poging
geworden om technologieën zodanig te ontwerpen dat ze de
menselijke waardigheid, rechtvaardigheid, welzijn en mensenrechten
behouden.»
37
Waarden en AI
Value Sensitive Design wordt gezien als
de beste methode om waardes in de
ontwerpen op te nemen.
Maar AI-systemen zijn lerend en kunnen
hun gedrag veranderen.
Hoe gaan we controleren of AI wel
ethisch blijft?
1. Ethische filters toepassen
2. Terugkoppelingen inbouwen
3. Uitleggen/verantwoorden
4. Audits uitvoeren
➢ http://www.personifiedsystems.com/Which-Ethics-
Consequentialism.html
38
https://www.youtube.com/watch?v=oL5I5orMDIM
42
Designing for
humans
Human-centered design (HCD)
• Design Thinking
Begin met empathie voor de gebruiker
• Behavioural design (Stanford)
Wetenschappelijke inzichten gebruiken om
nieuwe ideeën te genereren
• Value Sensitive Design
Neem de gemeenschappelijke waarden
van de stakeholders als uitgangspunt
Menselijke
waarden in HCD
• Waarden, geen gevolgen of
intenties, vormen de basis voor
ethisch ontwerp.
• Stakeholders en gebruikers zijn
in staat om persoonlijke, groeps-
en maatschappelijke waarden in
te brengen.
• Waarden kunnen worden
Scoping Society
• Social Contract,
Ethics
and the why?
• De ethiek van het product, niet
alleen van AI, moet worden
• Business
geëvalueerd. Organisation Ethics
• Waarden van de AI moeten
worden afgeleid vanuit de
context van het gebruik.
• Design for
• Waarom moeten we AI in de Product Values
eerste plaats gebruiken?
• Hoe gebruiken we AI in dit
product?
AI
• Wat kunnen we doen om het
ethisch te laten gedragen?
➢ KISS: kunnen we het systeem
bouwen met eenvoudigere, meer
controleerbare middelen?
45
Scoping Society
• Social Contract,
Ethics
and ethics?
• Richtlijnen en regelgeving voor
AI en AV’s zijn vertalingen van
• Business
maatschappelijke normen en Organisation Ethics
waarden.
• Ze pretenderen universeel te
zijn.
• Design for
• Maar ethiek is situationeel. Voor Product Values
iedere ontwerpopdracht moet
de evaluatie opnieuw gedaan
worden.
• Bijv. gender-gebaseerde privacy AI
in medische onderzoeken versus
selectie van kandidaten bij
recruitment.
46
Drawkit
➢ https://uxdesign.cc/human-values-matter-why-value-sensitive-design-should-be-part-of-every-ux-
designers-toolkit-e53ffe7ec436
47
belanghebbenden."
48
Wees ethisch
nu...
«Mijn hoop is dat we ernaar streven
niet verrast te worden door
onbedoelde gevolgen die de belofte
die baanbrekende technologie biedt
kunnen ontsporen, alleen maar
omdat we geen moment hebben
geanticipeerd op hoe we ermee om
konden gaan. Goed en kwaad
Vragen
«Ik heb liever vragen die niet
kunnen worden beantwoord
dan antwoorden die niet
kunnen worden bevraagd.»
Richard Feynman
50
Contact
Ir. Reinoud Kaasschieter
ECM & AI-expert bij Capgemini
█████████████████
in █████████████████
█████████████████
██████████████████████████████████
██████████████████████████████████
██████████████████████████████████