You are on page 1of 24

http://dx.doi.org/10.18850/JEES.2017.44.

01

도덕적 인공 지능에 관한 비판적 고찰 (추병완) 1

도덕적 인공 지능에 관한 비판적 고찰


추 병 완*

<목 차>
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

Ⅰ. 서론 Ⅳ. 도덕적 인공 지능의 문제점


Ⅱ. 도덕적 향상의 필요성과 방법 1. 실현상의 난점
1. 도덕적 향상의 필요성 2. 윤리적 문제점
2. 전통적ㆍ생명 의학적 향상 수단의 한계 Ⅴ. 결 론
Ⅲ. 도덕적 인공 지능의 구체적인 기능 참고문헌
1. 지속적인 기능
2. 상황 특수적인 기능
3. 부가적인 기능

국문초록
www.earticle.net

최근 도덕적 향상의 새로운 방법으로 도덕적 인공 지능에 관한 관심이 학계의 주


목을 끈다. 사부레스쿠(Savulescu)와 매즈린(Maslen)은 인간의 도덕적 의사결정을 돕
고, 타인의 잠재적인 비도덕성으로부터 행위자를 보호할 수 있는 약한 도덕적 인공
지능의 필요성을 강력하게 역설한다. 그들은 인간의 타고난 도덕 심리의 한계를 극복
하고, 세계화된 인류가 직면한 기후 변화와 자원 고갈과 같은 긴박한 문제를 해결하
기 위해 생명의학적인 수단과 더불어 도덕적 인공 지능을 개발할 필요가 있음을 강
조하면서, 도덕적 인공 지능이 수행해야 할 구체적인 기능 목록을 제시하였다. 이 논
문에서는 도덕적 향상 수단으로서 도덕적 인공 지능 논의가 지닌 이론적ㆍ실제적 문
제점을 분석하였다. 도덕적 인공 지능은 실현상의 난점과 더불어 상당한 윤리적 문제
를 내포하고 있으므로 이에 대한 신중한 접근을 필요로 한다.

주제어 : 도덕적 인공 지능, 도덕적 튜링 테스트, 도덕적 향상, 인간의 도덕 심리, 인


공 지능

* 춘천교육대학교 윤리교육과 교수(bwchu@cnue.ac.kr)


2 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

Ⅰ. 서 론
기술이 눈부시게 발전하고 그 기술에 대한 인간의 의존이 더욱 심해짐에 따라

서 인간과 기계 사이의 간극이 점점 줄어드는 추세다. 이러한 간극의 축소를 가

장 잘 보여주는 것이 바로 인공 지능이다. 일반적으로 인공 지능은 이제껏 인간

에게만 고유한 것이라 여겨졌던 능력(예: 시각적인 지각과 언어 인식)과 지적인


[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

행동(예: 가용한 정보를 평가하여 설정한 목표를 달성하기 위한 최상의 민감한 행

동을 취하는 것)을 통하여 세계와 상호작용하도록 설계된 컴퓨터 시스템을 뜻한

다. 쉽게 말해 인공 지능은 컴퓨터가 사고, 학습, 자기 계발 등 인간 특유의 지능

적인 행동을 모방할 수 있도록 만들어진 것이다. 오늘날 인공 지능은 4차 산업혁

명을 이끌어갈 핵심 기술 중의 하 나 로서 차세대 성장 동력이라는 각 광 받 을 고 있

다. 인공 지능 기술은 개인 비서 영 역, 자 율 주행 자동차, 군
사용 드론, 이상 금융
거래 탐 지 시스템 등에 이 미 되사용 고 있으 며 , 향후 인간 삶의 여러 분야에 더욱

빠르 게 접목ㆍ 확 될산 것이다.
www.earticle.net
인공 지능 기술의 인간 중심적인 응 용인 앰엔 m 텔
비 트 인 리전스(a bient intelligence)

는 다 양 센
한 서를 통해 정보를 수집하고, 환경 맥락 과 사용자의 을 인식하여 수집

된 정보의 기능적인 중요성을 처 리하는 시스템을 앰 엔 텔 뜻한다.1) 비 트 인 리전스

는 유비 쿼 터스 컴퓨 팅 쿼 , 유비 터스 커뮤니케 션 갖
이 친
, 지능을 춘 사용자 화적인

인터페 이스 기술의 융합 을 통해 인간의 상호작용을 더욱 효율 준 적으로 지원해 다.

앰 엔 텔비 트 인 리전스 환경 에서 인공 지능 기술은 환경 태 환의 상 를 해석하는 것,

경 련 과 관 된 지식과 정보를 표상하는 것, 환경 델속의 실체를 모 링ㆍ모사ㆍ표상

하는 것, 결정이 나 행동을 계 획 하는 것, 환경 및 련 측 그와 관 된 면에 관해 학습하

는 것, 인간과 상호작용을 하는 것, 환경 함
에서 행동을 수행하는 것을 포 한다.2)

이러한 기술은 주로 인간의 삶 을 더욱 쉽고 편 효율 증


리하게 만들어 성을 진하

1) M. C m
harala pidou, S. Mouroutsos & G P
"I fy
. avlidis, f m
denti ing aspects o a bient
intelligence through a review o f m " f Advanced Computer
recent develop ent , J ournal o
Science & Technology , 1-3(2012), p. 82.
2) C Rm
. a os, J. C A . ugusto &D "Am I
. Shapiropp, T
bient f
ntelligence: he next step or
A f I " I EEE I ntelligent Systems
rti icial ntelligence , 6
, 23-2(2008), pp. 1 -17.
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 3

는데초 맞 었 점을 추 다. 최근 인공 지능 연구자들은 인간의 도덕적 선택 에서 유

형 견 을 발 하여 그것을 인공 지능 시스템에 주 입하는 시도를 통해 도덕적 인공 지

혈 울
능 개발에 심 을 기 인다. 이를테면 자 율 주행 자동차의 도덕적 기 준 군
설정,


사용 로 투 칙 의 인도주의적 전 원 을 설정하는 것 등이 대표적인 사 례
에 속한다.

이러한 시도는 인공 지능의 의사결정이 도덕적 원 칙 입 에 각하여 이 루


어지게 함 으

로써 져
인간에게 가 악 거나
다 줄 수 있는 해 을 사전에 예방하 최소화하 려는 의도

에서 비롯 런 맥락 미
된 것이다. 이 I 에서 국 전기 전자 학회( EEE)는 인공 지능 설

거버넌 칙 권 책임 투
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

계를 위한 윤리적 스의 4가지 원 으로 인 , , 명성, 교육과 인식을

제시하였다.3)권 책임 칙 인 과 앞 원 은 인공 지능의 제작에 서 인공 지능이 인 권 을

침 판
해할 가능성 여부를 며 했 경우 책임
단해야 하 , 문제가 발생 을 그 정도를 물
을 수 있는척 함 투
도가 있어야 칙 을 강조한다. 명성과 교육/인식 원 은 인공 지능

이 무슨 투
일을 하고 있는지 제작 과정부터 며 명성을 유지해야 하 , 인공 지능 발

전 과정에서 잘못 려 혹
된 오용을 방지하 면 국가 은 사회적으로 인식을 공유할 수

있는 장치 마련되 함 가 어야 을 강조한다.

런데그 최근 인간의 도덕적 향상 필요성을 역설하는 일부 학자들은 인공 지능


www.earticle.net
기술을 인간의 삶 데
을 더욱 도덕적으로 만드는 사용해야 한다고 주장한다. 특 히
사부레스쿠(Savulescu)와 매즈린(Maslen)은 약한 도덕적 인공 지능(weak m oral

f
arti icial intelligence)을 통해 인간의 도덕적 향상을 시도해야 함
을 강조하면서,

도덕적 인공 지능이 수행해야 할 구체적인 기능을 제시하였다.4) 그들은 도덕적

인공 지능은 행위자의 도덕적 의사결정을 돕고 타인의 잠재적인 비도덕성으로부

터 행위자를 보호하는 역할을 수행 함 써으로 인간의 도덕적 향상에 실 질적으로 기

여할 수 있다고 단언한다. 물 론 그들 스스로가 인정하 듯 이 이러한 도덕적 인공

지능의 활용이 단기간에 가능할 것 같지는 않


지만, 그것이 우리에게 미칠 윤리적

파 장을 사전에 면 밀 하게 고 려 할 필요성은 매 우크 다. 이에 이 논문에서는 도덕적

인공 지능이 인간의 도덕적 향상을 위한 새 대 안 으로 과연 바 람


직하고 타당한 것

인지의 문제를 살펴 보고자 한다.

3) T I
he EEE G I
lobal nitiative, Ethicall y aligned design ( W ashington, DC I 6
: EEE, 201 ), p. 5.
4) J. Savulescu &H . Maslen, " m f
Moral enhance ent and arti icial intelligence: Moral AI" , J.
Rm
o portl et al., eds., By A f I
e ond rti icial N Y
ntelligence ( ew 9
ork: Springer, 2015), p. 7 .
4 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

Ⅱ. 도덕적 향상의 필요성과 방법


1. 도덕적 향상의 필요성
왜 인류는 지 금 도덕적 향상을 필요로 하는가 ? 도덕적 향상을 주장하는 학자들

이 언 급
하는 대표적인 찬 성 논 거는 다음의 다 섯 가지 사 항 첫째
이다.5) , 대부분 인

품 되 못 거나 본 함
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

간의 도덕적 성 은 최적화 어 있지 하 심지어는 성상 결 이 있기에,

인간은 도덕적으로 더 나 은 사 람 되 이 어야 할 타당한 이유를 갖 둘째 는다. , 인간

의 타고난 도덕 심리와 현대 사회에서 인간의 삶 의 조 건 본


이 근 적인 부조화를 이

루 고 있기 때 문에 생명 의학과 유전자적인 수단을 통해 인간의 도덕 심리를 현대

사회에 맞 게 바 꾸 어야 한다. 6 ) 셋째 , 교육과 종 처럼


교 전통적인 도덕적 향상 수단

은 생 물학적 수단과 유전자적인 도덕적 향상 수단보다 효 과적이지 않 넷째


다. , 인

지적으로 향상된 사 람 이 타인에게 가할 수 있는 해로 움 이 상존하기에 인지적 향

상에 버금 가는 도덕적 향상이 이 루 져 어 야 한다. 다 섯째 , 도덕적 향상은 강간, 살


인, 고문과 같은 범죄 행위를 감소시 킴 써 본
www.earticle.net 으로 근 적으로 인간의 악 행을 크 게 줄

이는 데 기여한다.

이러한 찬성 논 거 밑 탕
의 바 을 이 루
는 하 나의 중요한 사실은 바로 인간의 도덕

심리가 현대 인류가 직면한 문제를 해결하는 데 본 근 적으로 한계가 있다는 것이

다. 일 찍 이 생명 의학적인 수단에 의한 도덕적 향상을 주장 했 피 슨P


던 어 ( ersson)

과 사부레스쿠(Savulescu)는 인간의 도덕 심리는 설계상에 있어 여러 가지 한계

를 갖 고 있음을 분명하게 밝힌 바 있다.7) 이를테면, 인간의 도덕 심리는 편 향

(bias)에 매 우 취약하다는 근 본 갖 적인 한계를 는다. 그러한 편 향은 낯선 람 사 과

비교하여 친밀 하게 아 람 나치 염려
는 사 을 지 게 하고, 먼 미래 보다는 가 까 미래 운

에 발생하는 것에 더 많 울
은 주의를 기 이는 것이다. 그 편 향은 자신이 속한 인 종
5) J. Specker,FF q KR . oc uaert, . aus, S. Sterckx & m "T
M. Scher er, y f
he ethical desirabilit o
m m A f
oral bioenhance ent: review o reasons , " BMC Medical Ethics , 15-1(2014), p. 4.
6 B W C "W m
) eong- an hu, here m
oral enhance ent goes wrong , " J ournal of Ethics 9 , 8(2014), p.
71.
7) I P. &
ersson " J. Savulescu, m m" The J ournal of Medicine and
Moral transhu anis ,
P hilosophy, 6 66
35- (2010), p. 1.
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 5

ㆍ민 족 ㆍ문화 집단 외 부에 있다고 여겨지는 사 람 을 불신하고 심지어 해로 움 입


히 고자 하는 것에서도 드러난다. 또 우 합한 리는 리적이고 심사 숙고하여 문제를

처 리하고 해결하고자 하지만, 사실상 우 리의 도덕적 관점과 결정은 즉 각적인 직

관, 정서 반 응 , 직감적인 반 응 에 근 거 한다. 기껏해야 도덕적 추론은 우리가 직관적

으로 믿는 것을 정당화하는 데 사용될뿐 이다.8)

도덕적 향상을 주장하는 학자들은 이러한 제한된 인간의 도덕 심리는 기후 변

화와 자원 고갈, 테러리스트에 의한 대 량 살 학 과 같은 궁극적 위해(ulti ate m


m 우 때 루 않 머
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

har )에 매 취약하기 문에, 인간의 도덕적 향상이 이 어지지 는 한, 지

않아 인류는 파멸 에 이를 것이 분명하다고 예측한다.9 첨 ) 단 과학 기술은 인류에

게 전 세계적으로 그리고 미래 에도 영 향을 줄 수 있는 엄청 난 행동력을 제공해

주 었 기에, 그것의 오용은 인류에게 큰 앙 재 을 가 져 마련


오기 이다. 핵 무 기와 생화

학 무 량살기와 같은 대 될 경우
상 수단이 일부 테러 집단이 나 국가에 의해 사용

인류의 생존은 매 우 태롭 위 게 된다. 기후 변화와 자원 고갈 문제를 해결하기 위

해서는 전 세계적인 협 환경 협 나
력이 필요하지만, 문제 해결을 위한 국제 력이

개도국에 대한 원조 활 www.earticle.net
루 못 년 O CD
동이 제대로 이 어지지 하고 있다. 2008 E 에 속

한 국가 중 UN GDP % 이 정한 했 의 0.7 를 개도국에 지원한 국가는 5개국에 불과

으며경 , 미 본 저 준 % 치 았
제 대국인 국과 일 은 최 수 인 0.2 에 그 고 말 다는 사실이

이를 잘입증 준 해 다.10)

멸망
그러므로 인류 앙 이라는 대재 을 예방하기 위해서는 도덕적 향상을 통해 인

간의 실재적인 도덕적 의식의 지평을 확 첨 장하는 것이 반드시 필요하다. 단 과학

기술이우 엄청 리에게져 준 큼우 응난 행동력을 가 다 만 리는 그에 상 하는 도덕적

향상을 이루 또 어야 한다. 한 도덕적 향상은 인지 향상, 기분 향상, 신체 향상과 같

은 여타 유형 책 우선순
의 향상보다 정 져 왜냐 결정에서 위를 가 야 한다. 하면 도덕

적 향상이 없 데 형 는 가운 루 질 경우 여타 유 태 의 향상만이 이 어 그것은 인류를 위

롭 때
게 할 수도 있기 문이다.11) 도덕적 향상을 주장하는 학자들은 도덕적 향상이

&
8) Savulescu Maslen, op. cit., p. 80.
9 IP
) . &ersson J. Savulescu, "The turn f m mA
or ulti ate har : y F
repl to "
enton , J ournal o f
Medical Ethics , 37(2011), p. 441.
I m P
10) ng ar & ersson Julian Savulescu, 추병완 역, 『미래 사회를 위한 준 비: 도덕적 생명 향
』 울 우
상 (서 : 하 , 2015), p. 95.
6 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

없 는 가운 데 인류가 직면한 위기를 타개하기 위한 유일한 방법은 사실상 인간의

자유와 권 리를 극단적으로 제한하는 조 치 데 인 , 대부분의 자유 민주 사회에서 그

제한 조 치 않
를 수용하지 을 것이 분명하므로, 현재로서는 도덕적 향상만이 유일

한 대 안 될 밖 없
이 수 에 다고 단언한다.

2. 전통적ㆍ생명 의학적 향상 수단의 한계



[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

도덕적 인공 지능을 통해 도덕적 향상을 모 하는 학자들은 전통적인 그리고

생명 의학적인 향상 수단이 갖 는 한계에도 주목한다. 그들은 인간의 도덕적 능력

이 도덕교육, 도덕적 설 득 처벌 두려움


, 의 과 같은 전통적인 도덕적 향상 수단에

의해 더 좋아질 것이라는 생각은 지극 히낙 관적인 것이라고 폄하한다. 석가모 니 ,

공자, 소 크 라테스와 같은 최 초 의 위대한 도덕적 스 승 래


이 로 2,500년 안 동 전통적

인 도덕적 훈련 방법을 통해 실현된 도덕적 진보는 사실상 너무 미 약하다는 것이

그 이유에 해당한다.

지 금까 험
지의 과학 실 결과는 생명 의학적인 수단에 의한 도덕적 향상이 어 느
정도 가능 함 준 www.earticle.net
을 보여 항우울 프 다.12) 이를테면 제인 로 프 놀롤
라 (propranolol)은 암
묵 편견적 키을 감소시 판 고, 공리주의적인 단의 가능성을 줄여 준 다. 주의력 결 핍
및 애 치료
과다 행동 장 탈 R 충 제인 리 린( italin)은 동 조 절 증
능력의 가 그리고 폭
력적인 공 격 뉴 피 백
행동의 감소에 기여한다. 로 드 f
(neuro eedback) 기법은 새로운

정서 반 응 훈련 망
의 신속한 코패 에 유 하기에 사이 스를 치료 데 잖 움
하는 적 은 도 을

줄 수 있다. 옥 토 Oy 시 뢰 증
신( x tocin)은 신 행동을 진할 수 있고, 선택 토 적 세로 닌

재흡 억 수 RI제제(SS 마 협 증
)는 공정한 음과 력 의지 진에 효 경두
과적이다. 개 자기

T m 뇌
자극( ranscranial Magnetic Sti ulation), 심부 D B
자극( eep m rain Sti ulation),

경두 T D C
개 직류 자극( ranscranial m irect urrent Sti ulation), 광 O
유전학 기술( ptogenetics)

은 행동을 직접적으로 수정할 수 있으 며 히 종 , 특 각 중 독 행동을치 데효 유하는 과

적이다. 하지만 이러한 생명 의학적 개 입 에 의한 도덕적 향상 효 아 미 과는 직은

11) IP
. ersson & "G
J. Savulescu, etting m m
oral enhance ent right: T
he desirabilit y fm
o oral
m " Bioethics
bioenhance ent , 9
, 27-3(2013), p. 12 .
12) 추병완, 「 도덕적 생명 향상의 오류 분석 」『
, 도덕윤리과교육 』 44호(한국도덕윤리과교육
6
학회, 2014), p. 2 .
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 7

약하고 단기적이 며옥 토
, 시 신의 경우 에서 볼 수 있는 바와 같이 상당 히 맥락 적인

특 징 갖을 고 있으므로 사실상 더 많 은 연구와 개발이 필요한 상 태 다.

도덕적 인공 지능에 의한 도덕적 향상의 필요성을 역설하는 사부레스쿠와 매즈

린은 전통적인 도덕적 향상 수단으로서 도덕교육, 그리고 생명 의학적 개 입 에 의

한 도덕적 향상은 여전 히 한계가 있으므로 새로운 탐구의 대상으로 도덕적 인공

지능을 고 려 해야 한다고 주장한다. 전통적인 도덕교육을 보완하기 위해 한 편 으

로는 생명 의학적인 개 입 에 의한 도덕적 향상이 더욱 확 실한 효과를 낼 수 있도

른 편
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

록 지속적인 연구를 수행하면서, 다 한 으로는 새로운 도덕적 향상 수단으로

도덕적 인공 지능을 모 색 해야 한다는 것이다. 그들은 전통적인 도덕교육에 덧붙


여 생명 의학적 개 입 , 도덕적 인공 지능에 의한 도덕적 향상이 병행적으로 이 루
어 질 경우 인류는 실제적인 도덕적 향상을 경험 할 수 있다고 믿 는다.

Ⅲ. 도덕적 인공 지능의 구체적인 기능


www.earticle.net
그렇 다면 우
리는 어 느 정도의 도덕적 능력을 갖춘 도덕적 인공 지능을 필요로

하고, 도덕적 인공 지능은 구체적으로 어 떤 기능을 수행하는가 ? 이 2가지 질 문에

대해 사부레스쿠와 매즈린은 분명한 입장을 보여 준 첫 번째 질


다. 문과 관 련 하여

그들은 약한(weak) 도덕적 인공 지능의 개발을 강조한다. 강한(strong) 도덕적 인

공 지능은 앰 엔 텔
비 트 인 리전스 패 임 러다 과는 달리 향상된 인공 도덕 행위자를

만드는 것을 함 며 의하 , 그 행위자는 사실상 우 리 인간보다 도덕적 능력 면에서

우월 한 존재일 것이다. 그러 나 인간의 도덕적 향상을 위해 강한 도덕적 인공 지

능을 활용하는 것은 인간의 자유를 훼손 하는 것이기에, 필자의 입장과 마찬 가지

로 사부레스쿠와 매즈린은 약한 도덕적 인공 지능의 개발에 초 점을 맞


춘다. 약한

도덕적 인공 지능은 새로운 인공 행위자를 창


조하는 것이 아니 라 그리고 인간의

자유를 침 해하는 것이 아니 라, 오 히려 인간 행위자의 도덕적 의사결정을 돕기 위

해 데 이터를 수집하고 분석하 며 데 업 이트 해 주는 일 종의 도 우미 이다.13) 여기서

13) Savulescu & Maslen, op. cit., p. 84.


8 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

말하는 데 이터는 개 별 행위자와 그의 환경 , 그 개 별 행위자의 도덕적 원리와 가

치 , 도덕적 의사결정에 영 향을 주는 인지적 편 향에 관한 정보를 모 두 괄 포 한다.

약한 도덕적 인공 지능은 잠재적인 영 편


향과 향에 관해 행위자가 계속 주의를 기

울 이도록 그 데 이터를 활 용하고, 그 영 편 향과 향을 개 선하기 위한 전 략을 행위자

에게 제 안 며 하 , 행위자의 요구가 있을 때 에는 특정한 행동 방 안 을 행위자에게 직

접 조언한다. 그 렇 다면 인간 행위자의 도덕적 의사결정을 돕는 도 우미 로서 약한

도덕적 인공 지능은 구체적으로 어 떤 기능을 수행하는가 ? 이에 대한 사부레스쿠

견 살펴
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

와 매즈린의 해를 상세하게 보기로 하자.

1. 지속적인 기능
약한 도덕적 인공 지능이 인간 행위자를 위해 지속적으로 수행하는 기능은 도

덕적 환경 니 m 모 터( oral environ ent m m onitor)와 도덕적 조직자( oral organi er) m z


이다. 첫째 , 약한 도덕적 인공 지능은 행위자의 생리 기능, 정신 상 태 , 그의 환경
을 지속적으로 모 니 터하는 기능을 수행한다. 그 렇 함 써게 으로 , 도덕적 인공 지능

은 도덕적 의사결정과 행동에 영향을 주는 경향이 있는


www.earticle.net 특정한 요인에 행위자가

세심한 주의를 기 울 이게 한다. 시간이 지 나 면서 도덕적 인공 지능은 특 히 떤 어

요인이 행위자에게 영 향을 주는지를 기계적으로 학습한다. 그러면서 도덕적 인공

지능은 바이오 피 백 f 드 (bio eedback) 설비로서 기능을 수행하여, 행위자의 생리적ㆍ

심리적ㆍ 환경 데 적 이터를 최적의 도덕적 기능 수행이라는 관점에서 분석한다.

이 때 약한 인공 지능이 수집하는 데 이터는 행위자의 수면 시간, 식사 시간, 생

리적 각성 유 형 아 , 자 소모, 호 르몬 과 신 경 전달 물질 물 섭 , 약 취와 신진대사, 환
경 요인이다. 이러한 요인은 행위자의 도덕적 의사결정과 행동에 영 향을 줄 수

있다. 이를테면 수면 부 족 군은 장교의 원리 지향적인 도덕적 추론 능력을 방해

하고14), 최 종 식사를 한 이후로부터 시간이 멀 질 어 수록 판 사들이 우호적인 판 정

을 내 릴 가능성은 크 게 줄어 든 다.15) 남 성의 경우 높 은 테스 토 스테론(testosterone)

14) OKO
. . P &
lsen, S. "T m allesen J. Eid, he i pact o f partial sleep deprivation on moral
m y ff " Sleep
reasoning in ilitar o icers , , 33-8(2010), p. 108 . 6
15) S. D z L &L A mP "
an iger, J. evav . vnai - esso, Extraneous f actors inj "
udicial decisions ,
P f N
roceedings o the ational A my f cade o Sciences, 108-17(2011), p. 6 9
88 .
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 9

수준 은 행위자를 더욱 공 격 적으로 만들고1 ), 공리주의적인 6 판 단을 내 릴경 향성을

높 인다.17) 도덕적 인공 지능은 행위자의 수면 시간과 최종 르 식사를 한 시점, 호

몬 태 상 피 준 나 배 픔 르몬 준
등을 분석하여 로 수판 영 이 고 , 호 수 이 도덕적 단에

향을 줄 수 있음을 행위자에게 사전에 알려 준 또 아 f 다. 한 자 소모(sel depletion)

에 관한 연구는 자기 통제가 한정된 자원임 준 저항 을 보여 다.18) 최근에 행위자가

했 혹 많
던 유 이 혹 굴 을수록 이후의 유 커 에 복할 가능성은 더욱 진다. 도덕적 인공

지능은 행위자가 수행한 자기 통제의 사 례 니 혹 저항 를 모 터하여, 유 자극에 계속

려워 미 경
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

하는 것이 어 보이는 시점을 행위자에게 리 고한다.

무 온 군 밀
더운 돈 태
도, 중 환경 집, 소음, 정 상 와 같은 요인도 행위자의 의사결

정에 영 무 온 군 밀
향을 줄 수 있다. 이를테면 더운 도, 중 집, 소음은 모호한 상황에

서 적대적인 해석의 경 높 책 향성을 태 깔끔 경우 여주는 반면에, 상의 정리 상 가 할

에는 심의 능력과 타인에 대한 지각 능력이 좋아 9 돈 되 진다.1 ) 반면에 잘 정 이 지

않 은 실내환경 벗 나려 창
은 인습에서 높 준 청 환 어 는 자유와 의성을 여 다.20) 결한

경 범죄 저 르 않거나
은 를 지 지 좋 촉
관대한 행위와 기부 행동 같은 은 행동을 진하

돈되 않www.earticle.net
는 반면에, 다소 정 환경 창 높지 은 규 은 혁신과 의성을 일 수 있다. 이것은

칙 나 선례
이 때
를 따라야 할 과업을 수행할 청 돈 효 는 주변을 결하게 정 하는 것이

과적이지만, 창 나 담 의적인 과제 견 대 하고 새로운 것을 발 해야 할 과제를 수행할

때 히려
는 오 돈되 않 환경다소 정 훨씬 함 지 은준 을 조성하는 것이 유리 을 보여 다.

도덕적 인공 지능은 행위자의 주변 환경 니 환경 을 모 터하여 이러한 요인이 행위

자의 도덕적 판 영 단과 의사결정에미 알려 준 향을 줄 수 있음을 리 다.

둘째 , 도덕적 인공 지능은 행위자가 특정한 도덕적 목표를 설정하고 그것을 달

성할 수 있도록 돕는 도덕적 조직자 기능을 수행한다. 행위자는 특정 금액 을 매

6 A B K B zy & V L Q y "T
1 ) . S. ook, . . Star k . . uinse , he relationship between testosterone and
aggression: a m y " Aggression and Violent Behavior 6 6
eta-anal sis , 9 , - (2001), p. 57 .
17) E. R y
. Monto a et al., "T m m
estosterone ad inistration m j m odulates oral udg ents depending
f
on second-to- ourth digit ratio ," P sychoneuroendocrinology 6 , 38-8(2013), p. 13 2.
18) RFB m "
. . au eister, f f
Ego depletion and sel -control A ym f
ailure: n energ odel o f'
the sel s
f " Self and I dentity
executive unction , 9
, 1-2(2002), p. 12 .
9
1 ) S. Sitton, "T m yhe ess ff H
desk e ect: ff f
ow tidiness a ects the perception o "
others ,
J ournal of P ersonality: I nterdisciplinary and Applied 9 6
, 117-2(1 84), p. 2 3.
20) New York Daily News A , ugust 7, 2013.
10 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

년 선 자 단체에 기부하기 또 는 특정 시간을 이타적 동인을 위한 자원 봉사에 할 애


하기 등과 같은 도덕적 목표를 설정할 수 있다. 도덕적 인공 지능은 행위자가 그

의 목표를 충족 할 기회를 찾아 내어 그 목표를 최상으로 달성하는 방법에 관해 제

안 을 해 주 며 , 행위자가 도덕적 목표로부터 멀 질때 어 에는 행위자에게 미 경 리 고

를 해 준 다. 이를테면, 도덕적 인공 지능은 현재 행위자의 기부 금액 미


이 목표에

달해 있다는 것을 알려준 든 또 다 지 는 자원 봉 활 사 동을 전개할 수 있는 자 선 단

체가 어 디 알려
에 있는지를 주고, 행위자의 능력과 특성을 고 려 봉
한 최상의 자원

안 또 멀 않
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

사 방법을 제 한다. 한 행위자가 설정한 도덕적 목표로부터 어지지 도록

끊임없 이 행위자의 도덕적 목표를 상기시 킨 다.

2. 상황 특수적인 기능
도덕적 인공 지능의 상황 특수적인 기능은 도덕적 프롬프 m m
터( oral pro pters)

m 첫째
와 도덕적 조언자( oral adviser)이다. 도덕적 인공 지능은 행위자의 도덕적

성찰 촉 을 립 프롬프
진하는 중 적 터 기능을 수행한다. 행위자는 그가 직면한 도덕

적 선택 나 딜 마 범 www.earticle.net
이 레 의 련
주를 지시하고, 도덕적 인공 지능은 행위자에게 관 된

질 써
문을 던짐으로 울 때
행위자의 도덕적 심의를 도 수 있다. 이 도덕적 인공 지

능이 제기하는 질 옳 문은 양 출
은 행동을 구성하는 것에 관한 다 한 설명에서 추 된

여러 윤리적 고려 항 사 을 통해 동기화된다. 도덕적 인공 지능은 행위자에게 행위

자가 내린 결정이나 영 깊
동기 그리고 행동의 함 써 향에 관해 이 생각해보게 으로

행위자가 자신의 선택 많 휘 에 더 은 통제력을 발 하도록 돕는다.

사부레스쿠와 매즈린은 행위자가 당면한 상황을 반사회적인딜 마 친 레 와 사회적

딜 마 양레 로 딜 마
분한다.21) 반사회적인 련 률 나 규칙 레 는 행위자가 관 된 법 이 을 위

반하는 가운데 거짓되 며 고 비도덕적이 욕 불공정하게 행동하면서 자신만의 구와

욕망 충족 획득 득 , 자원 색 려 충 , 이 루 함 딜
추구를 모 하 는 동을 다 는 것을 포 한 레

마 급 친를 언 딜 마
한다. 사회적 않 레 는 행위자에게 일관적이지 은 상이한 요구를

하고 있는둘혹 람 은 그 이상의 사 련 람 과의 관계를 잘 유지하면서 관 된 사 의 요

구 사항 루
을 제대로 다 떤 람 책임
는 것 그리고 행위자에게 중요한 어 사 을 돕는 을

21) Savulescu & Maslen, op. cit., p. 87.


도덕적 인공 지능에 관한 비판적 고찰 (추병완) 11

수용할지의 여부를 결정하는 미 딜 마 레 를 의 한다.

이러한범 거 주에 근딜 마 형 하여 반사회적 레 유 에 직면한 행위자는 도덕적 인공

지능의 프롬프 질
트 기능을 통해 다음의 문을 접한다. 이 행동의 결과는 자신과

타인에게 어 떤영 ? 향을 주는가욕망 욕 충족함 행위자 자신의 과 구를 에 있어 문제

점이 훨씬 ? 규칙
적은 방식이 실제로 존재하는가 함 위반을 포 하고 있는 그 행동

은 행위자 자신과의 약속인가 ? 치 느끼거나 그 행동을 계속하면 수 심을 후회를 할

것 같다고 생각하는가 ? 편친 딜 마 형 한 , 사회적 레 유 에 접한 행위자는 도덕적 인

프롬프 질 너 둘 느 쪽
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

공 지능의 트 기능을 통해 다음의 문을 접한다. 는 중 어 한

에 더 많 했 ?
은 것을 약속경 른 는가 한 행동많 로가 다 것보다 전반적으로 더 은

이 득 져 ? 종 나젠
을 가 오는가 인 혀무
이 영 받
더와 같은 상황과 전 관한 요소의 향을

고 있지는 않 ? 움 는가 람 울도 이 필요한 그 사 너 을 도 시간과 능력이 있다면, 는

반드시 그 사 람 울 을 도 ? 것이라고 생각하는가

이에덧붙 두 형 딜 마
여 도덕적 인공 지능은 편 나무 유 의 레 에서 행위자가 향이

관한 외 영 적 치우치 않 종 별 치 려
향력에 지 울
게 모 의 특 조 를 고 하도록 도 수도 있

다. 이것의 한 사 례 젠
는 정의/공정의 결정에서 작동한다. 예를 들어,
www.earticle.net
더(gender)는

의사결정에 왜곡 영 된 피아니 젠
향력을 가할 수 있다. 심사위원은 여성 스트의 더

를 확 때확
인할 수 있을 때 낮
인이 불가능할 었 보다 더욱 은 점수를 주 다는 연구

결과가 이를 잘 입증 준 하여 다.22) 인공 지능은 정의/공정 결정에서 행위자가 가능

하면 젠 려 않
더를 고 함 써젠 편
하지 게 유도 프롬프으로 더 향을 감소하도록 돕는 터

역할을 수행할 수도 있다.

도덕적 인공 지능의 두 번째 상황 특수적인 기능은 행위자에게 이 상황에서 그

가 취할 수 있는 최상의 행동 방 안 에 관하여 도덕적 조언을 해 주는 것이다. 조

언을 해 주기 전에 먼저 인공 지능은 행위자에게 그가 생각하는 도덕적으로 중요

한 가 치 칙
와 원 의 목록을 간단 히 말하도록 요구할 수 있다. 이 때 중요한 것은 행

위자가 개 별 치 가 에 0과 1 사이의 수 치 로 그 중요성을 표현하게 하는 것이다. 만

약 행위자가 해 악금 지를 매 우 강하게 고 려 하고 있다면 1, 법을 위반하지 않 는 것

에 신 경을 약간쓴 다면 0.5 그리고 환경 보전에 전 혀 경 쓰 않


신 을 지 는다면 0으

22) J. WD . &R avidson . Edgar, "G ender and race bias in the j m
udg ent o fW estern art
m f m "
usic per or ance , Music Education R esearch 5-2(2003), p. 1 69.
12 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

로 표현하도록 한다. 이 때 행위자가 도덕적 인공 지능에게 말할 가능한 가 치목

록은 타인의 자 율 성(간 섭 배 주의 제), 박 애 입(타 돕기), 해 악금 지, 정의/공정, 준


성, 환경 보전, 가 족 /중요한 관계, 의 무 이행/헌신/약속, 순 효


수 용 극대화(비용 대

비 최대 이 득) 등을 포 함
한다.

예를 들어, 행위자가 직면한 어 떤 상황에서 도덕적 인공 지능은 행위자가 표현

한 가중치 에 근 거 하여 행위자에게 열려 안
있는 행동 방치 이 이러한 가 를 지지하

거나 확 장하는지 혹 쇄 은 상 하는지 그리고 위 태롭 거나 키 게 하 감소시 는지의 정도

때 벽 경우 + 벽 태롭
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

를 계산한다. 이 완 하게 지지할 에는 1 그리고 완 하게 위 게 할

경우 에는 -1을 부여한다. 그 후에 인공 지능은 행위자에게 최상의 행동 방 안을

제안 하기 위해 계산된 가 치를 사용한다. 행위자는 그가 조언을 수용해야 하는지

의 여부 그리고 점수로 평가된 그의 가 치 를 변 경해야 하는지의 여부에 관한 피드

백 기회를 가 질 수 있다.

환경 니
상황 특수적인 조언은 지속적인 합될 모 터링과 도덕적 조직화에 통 수도

높 준
있다. 예를 들어, 토 은 수 족
의 테스 순 효 스테론과 수면 부 은 개인이 수 용을 극

대화하는 것에 지나치 치www.earticle.net


두 게 가 릴
를 임
는 공리주의적 결정을 내 수 있는 요인 을

고려 런 때
하여, 도덕적 인공 지능은 행위자에게 이 안 이유 문에 조언한 행동 방 에


대한 행위자의 현재 평가는 그가 지 왔었 칙 껏 소중하게 여겨 던 도덕적 원 과 일

치 않 하지 경
을 수도 있음을 련고한다. 도덕적 조직화와 관 하여 도덕적 인공 지능

은 특정 상황에서 행위자의 장기적인 도덕적 목표를 달성하기 위해서는 특정 가치


에 더우선순 두 위를 안
어야만 한다는 것을 제 할 수도 있다. 이를테면, 행위자가 그

해에 탄 량 큼
소 발자국을 일정 수 했 나 렇 만 못했 경우
감소하기로 으 그 게 하지 을 ,

인공 지능은환경 치 보전에 가높 권 런
의 비중을 더 일 것을 고할 수 있다. 이 식으


로 도덕적 인공 지능의 도 치 치
을 통해 국소적인 가 가 행위자의 전반적인 가 와

목표에 더욱 민감해지고, 행위자는 그것에 대해 더욱 잘 알 되 게 는 것이다.


도덕적 인공 지능에 관한 비판적 고찰 (추병완) 13

3. 부가적인 기능
사부레스쿠와 매즈린은 도덕적 인공 지능이 행위자를 더욱 도덕적인 사 람 되

도록 돕는 기능을 수행할 뿐 아니
만 라 타인의 잠재적인 비도덕성으로부터 보호할

수 있는 부가적인 기능도 수행할 수 있음을 강조한다.23) 예를 들어, 타인의 미 세

표현과 심지어 의심스러운 생리 지표를 탐 지하여 해석할 수 있는 인공 지능 기술

움 데 악
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

은 행위자를 잠재적인 해로 으로부터 보호하는 기여할 수 있다. 타인의 사

한 의도와 관 련 하여 인공 지능 기술은 상대방의 안 움 임면 직 과 정신적/정서적 상

태 간의 상관관계에 관한 정보에 근 거 하여 하 나 측 의 예낸 을 만들어 다. 그리고 행

위자가 그 예 측 을 최상의 행동을 선택 하기 위한 계산에 통 합 한다면, 행위자는 타

인의 잠재적인 비도덕성으로부터 보호를 받 을 수 있다.

Ⅳ. 도덕적 인공 지능의 문제점


www.earticle.net
사부레스쿠와 매즈린은 도덕적 인공 지능의 기능은 인간의 의사결정을 대체하

는 것이 아니 라, 오 히려 그것은 행위자가 홀로 할 수 있는 것보다 더 많 은 관 련


정보를 획득 하여 분석하는 능력을 가진 도 우미라고 강변한다. 도덕적 인공 지능

은 행위지가 도덕적으로 더 나 삶 영
은 을 위하게 하는 도 우미 그리고 타인의 잠재

적인 비도덕성으로부터 행위자를 보호하는 도 우미 로서 기능한다. 그리고 그들은

우 리의 제한된 도덕 심리를 고 려 때 런
할 , 이 식으로 우 리를 도 울 수 있는 모 종 의

도덕적 인공 지능 기술의 발전을 환영 해야 한다고 주장한다.24) 여기서는 이러한

주장이 담 고 있는 문제점을 실현상의 난점과 윤리적 문제점의 측 면에서 살펴 보고

자 한다.

23) Savulescu & 9


Maslen, op. cit., p. 8 .
24) I bid., p. 9
3.
14 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

1. 실현상의 난점
사부레스쿠와 매즈린이 제시하는 약한 도덕적 인공 지능은 지극 히 사변적이라

기술적 구현의 어 려움 봉착 에 한다. 그들은 약한 도덕적 인공 지능이 구체적으로

어떤 형태 급 않 웨 블 팅 치
인지를 분명하게 언 하지 는다. 그것이 어러 컴퓨 장 인지

아니 별 휴머노
면 봇 아니 또 른 개의 형태 금 이드 로 인지 면 다 제 3의 인지 지 으로서

우 혀알 없 형태 알
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

는 리가 전 수가 다. 도덕적 인공 지능의 구체적인 와 모습을 지

못 려울 밖 없
한다면, 그것을 기술적으로 구현하는 것은 더욱 어 수 에 다.


현재 로 입 준 갖 봇
에 인간의 도덕성을 주 하여 도덕적 기 을 춘 로 을 제작하는

것에 관한 연구가활 봇 준 갖 발하게 진행 중이다. 로 이 도덕적 기 을 추기 위해서는

m T
도덕적 튜링 테스트( oral 거쳐 uring test)를 야 한다. 하지만 도덕적 튜링 테스

트는 인간과 사실상 구분이 불가능할 정도로 자동화된 기계 행위자가 도덕적 문

제와 이 슈 에 관한 질 문에 답 할 수 있는 능력을 갖 추고 있는지를 조사하는 것에

불과하다.25) 도덕적 튜링 테스트의 설계에 있어 하향식 방법과 상향식 방법의 최

상의 장점을 결 합 한 하이 브 www.earticle.net

리드 방식을 고 6
할 수 있지만2 ), 상이한 접근을 결 합
하는 것은 사실상 상당한 분석을 필요로 한다. 또 한 도덕적으로 칭찬 받 을 을만한

로 봇은 자신의 행동이 유정적인 존재에게 미치 영 는 향을 분명하게 알 수 있어야

하는 데 27), 현재의 기술 수 준 으로는 이것을 구현하는 것이 매 우 렵


어 다.

사부레스쿠와 매즈린이 마 음속에 그리고 있는 도덕적 인공 지능은 행위자가 직

면하는 도덕적 딜 마 레 상황에서 행위자의 도덕적 성 찰 촉


을 진하고, 최상의 행동

방 안을 행위자의 요구가 있을 경우 행위자에게 조언해 주는 역할을 수행한다. 그

리고 이것은 도덕적 인공 지능의 정보 수집 및 분석 능력에 의존한다. 특 히 그들

은 도덕적 인공 지능이 행위자가 직면한 도덕적 딜 마


레 상황에서 행위자가 중시

하는 도덕적 가 치 에 대한 엄밀 한 산술적 계산을 통해 최상의 도덕적 행동 방 안 을

25) D G The machine question C m


. J. unkel, T IT P ( a bridge: he M ress, 2012), p. 83.
6 W W & C A Moral machines: Teaching robots right from wrong O f
2 ) . allach . llen, ( x ord:
Of Ux ord yP niversit ress, 2008), p. 117.
27) C A G V & Z "P m
. llen, . arner J. yf
inser, f m "
rolego ena to an uture arti icial oral agent ,
J ournal of Experimental & Theoretical Artificial I ntelligence 6 , 12(2000), p. 2 1.
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 15

조언해 줄 수 있다고 한다. 하지만 그들은 긴박한 도덕적 상황에서 행위자가 중

시하는 도덕적 가 치 를 도덕적 인공 지능에 어 떻 게 주 입 할 수 있는지를 제대로 설

명하지 못 한다. 게다가 산술적 계산에서 우 히 연 동등한 값 치 어 를 지닌 행동 방 안


이 나올 며 우
수도 있으 , 이것은 리가 통상적으로 말하는 도덕적 딜 마 레 상황의

전형 히우
적인 모습이다. 특 리는 대부분 친사회적 행동 딜 마레 상황으로 고민하

며 우
, 그것은 리가 직면한 상황에서 문제 해결을 위해 고민하는 두 도덕적 가 치
의 중요성이 거 선 판의 동등하여 뜻 단을 내리지 못 하기에 발생하는 현상이다. 그

렇 치 두 안 치
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

다면 도덕적 인공 지능의 가 평가 결과 가지 행동 방 의 산술적 가 가

정확히 나올 동일하게 수도 있는 상황이 엄 히


연 존재할 수 있다. 결국 이것은 도

덕적 인공 지능이 친 딜 마 사회적 레 상황에서 행위자에게 최상의 해결 방 안을 제

대로 제시해 줄 수없 음을 간접적으로 용인하는 결과를 초래 한다.

실현상의 난점은 도덕적 인공 지능이 실제로 도덕적 향상에 기여할 수 있는지

의 측 면에서도 찾 을 수 있다. 도덕적 인공 지능이 행위자의 도덕적 의사결정을

돕기 위해 다 양 한 정보를 수집ㆍ분석하고 최상의 행동 방 안 선택 을 하여 행위자에

게 조언한다 할지라도, 결국 도덕적 행동을 실행하는 것은 행위자 자신이다. 행위


www.earticle.net
자가 도덕적 행동을 실행하는 데충 분한 자 아 강도, 도덕 정체성, 실행 의지, 도덕

적 용기 등을 갖 추고 있지 못 하다면, 그 조언대로 실행하는 것이 불가능할 수도

있다. 달리 말해, 도덕적 인공 지능이 행위자에게 최상의 방 안 을 조언해 준다 해

도 행위자 자신이 레스트( est)가 언 R 급했 던 인 격 나 아


이 자 강도를 갖추고 있지

못 하다면 도덕적 행동으로 연결 되 렵기 어 다.28) 만약 도덕적 인공 지능의 조언대

로 행위자가 실행을 하지 못 한다면, 도덕적 향상 수단으로서 도덕적 인공 지능의

기능은 무 질 밖 없
력해 수 에 다.

2. 윤리적 문제점
도덕적 향상 수단으로서 도덕적 인공 지능은 실현상의 난점과 더불어 여러 가

지 윤리적 문제점을 수반할 수 있다. 첫째 , 도덕적 인공 지능 장 치 입 구 에 대한

진 입 벽 장 이 존재하기에 사회적 불평등의 문제를 야기할 수 있다. 도덕적으로 더

28) J. RR
. m N Y P
est, Moral develop ent ( ew ork: 96
raeger, 1 8 ), p. 3.
1 6 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

나 은 사 람 되 싶
이 고 어 하지만, 경 제적인 어 려움 갖 을 고 있는 사 람 은 도덕적 인

공 지능 장 치 를 현실적으로 이용할 수 없 때 기 문이다. 도덕적 향상 수단인 도덕

적 인공 지능에 접근 함 에 있어 불평등이 존재하는 사회를 우 리는 결 코 원하지 않


는다. 또
한 도덕적 인공 지능이 일 종 의 보 편
적 서비스로 모 든 구성원들에게 제공

된다 하더라도, 도덕적 인공 지능을 활용하는 개인의 역 량 과 기술적 리터러시에

따라 여전 히 도덕적 향상의 정도에 있어 차이가 있을 수 있다. 이를테면 어린 아


이 나 애 노
장 인, 인 등은 여전 히 상대적으로 불리한 위 치 놓에 일 수 밖 없 또
에 다.

무 득권 층 률 순 없
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

한 도덕적 인공 지능으로 장한 기 계 이 법 적ㆍ도덕적으로 모 이 는

방식으로 교 묘 하게 사회 제도 나 치 정 제도에 참여하여 자신들의 이해관계를 증 진

하는 데 진력할 경우 사회적 불평등이 더욱 심해 질 것이 분명하다.

둘째 , 도덕적 인공 지능이 우 리의 도덕적 자 율 침


성을 해할 가능성도 배 제할 수

없 다. 사부레스쿠와 매즈린은 도덕적 인공 지능이 행위자가 중시하는 가 치 와 원

칙 에 대한 성 찰 촉
을 진하고, 그러한 가 치 와 원 칙 입
에 각한 행동을 할 수 있도록

조언을 해 주 며, 도덕적 의사결정에 영향을 줄 수도 있는 인지적 편 향과 심리적

한계를 극복할 수 있게 해 주기 때 문에 인간의 도덕적 자


www.earticle.net
율성을 그대로 보전해

준 다고 주장한다.2 9 ) 하지만 지 금까 우 지 리가 사용해 왔었 던 대부분의 기술적 장

치 래왔듯 가 그 이, 도덕적 인공 지능 역시 우 리의 사고방식과 생 활 방식을 그 기술

적 장치 길 에 들여지게 할 가능성을 결 코배 제할 수 없 다. 일 찍 브 이 By
레이( re )는

앰 엔 텔 비 트 인 리전스 환경은 인간이 본래 원하지 않 은 행동을 수행하는 스 마 트

기기에 강제로 접하게 하고, 기계의 판 단과 결정에 인간을 의존하게 함 써으로 인

간의 자유와 자 율 성을 심각하게 침 해할 수 있다고 경 고하였다.30)

예를 들어, 어 마 떤 행위자가 주한 도덕적 상황에서 골치 아프 게 사고하는 것보

다는 도덕적 인공 지능이 알려 주는 대로 행동하는 방식에 길 질 들여 가능성을 배


제할 수 없 남 다. 시간이 지 에 따라서 도덕적 인공 지능을 사용하는 사 람 은 그것

을 도덕적 모호 함 나딜 마 이 레 상황에서 자신을 구해줄 수 있는 일 종 편의 리하고

적 절 책
한 해결 q f (suitable uick ix)으로 여 길 것이 분명하기에, 우리의 도덕적 사유

9
2 ) Savulescu & Maslen, op. cit., p. 9
1.
30) P B y “F
. re , reedo m and privac y in m
a bient ”
intelligence , Ethics and If m
n or ation
T y
echnolog , 7-3(200 ), p. 1 5.6 6
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 17

와 성 찰 능력은 더욱 축소 될 것이 분명하다. 만약 그 렇 게 된다면, 행위자는 자신

의 도덕적 자 율성을 포기하고 도덕적 인공 지능의 조언에 묵묵히 르 노


따 는 예와

하등 다를 바가 없 우
을 것이다. 그것은 도덕적 주체로서 리 자신의 정체성에 대

한 심각한 위 협 아닐 없 렇듯
이 수 다. 이 우 도덕적 인공 지능은 리의 도덕적 향상

을 구현하는 것이 아니 히려 우 라, 오 무
리의 도덕적 능력을 더욱 능하게 만들 가

능성도 있음에 우 념
리는 유 해야 한다.

셋째 , 도덕적 인공 지능이 개인의프 버 침 라이 시 배 해를 야기할 수도 있음을 제

없 프 버 침 져
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

할 수 다. 정보 기술의 발전이 개인의 라이 시 해를 가 오는 역기능을

수반 했듯 프 버 침
이, 인공 지능 기술 역시 개인의 라이우크 시를 해할 가능성이 매

다. 앞 살펴 았듯
에서 보 이 도덕적 인공 지능은 행위자인 자신도알 못 나 지 하는 지

치게 방대한 그리고 개인의 매 우 밀 은 별


한 정보를 수집한다. 개 적인 도덕적 인공

지능 시스템은 각 종센 든
서를 통해 24시간 사용자의 모 생리적ㆍ심리적ㆍ신체적

상태 료
에 관한 자 프 파
와 정보를 수집한다, 이러한 프 로 일링 기법은 개인의 라이

버시에 대한 심각한 위 협 아닐 없 이 수 품 나응
다. 도덕적 인공 지능 제 이 용

료 클 우
(applications)이 수집한 개인에 관한 자
www.earticle.net
팅 들을 라 드 컴퓨 을 통해 도덕적 인

공 지능을 제작하여 판 매하는 회사의 인공 지능 시스템 전체가 공유할경우 개인

정보와 사생 활침 험 해 위 증 이 더욱 가한다.

또 한 도덕적 인공 지능이 타인의 잠재적인 비도덕성으로부터 행위자를 보호하

기 위해 생체 인식 기술을 활 프 버 침
용하는 것은 타인의 라이 시를 해할 가능성이

농후하다. 그리고 어 떤 킹 나악
행위자가 사용하고 있는 도덕적 인공 지능이 해 이

성 프 램로그 놓 경우
에 의해 타인의 수중에 일 프 버 침 행위자는 심각한 라이 시 해

를 경험 렇 되
할 수 있다. 그 게 태
면 행위자의 정신과 생리 상 , 행동, 사회적 상호작

용에 관한 은 밀 하고 소중한 정보들이 타인의 수중에 놓 이게 된다. 도덕적 인공

지능을 제조ㆍ 판 매하는 회사가 사용자의 개인 정보를 기술적으로 은 밀 하게 수집

하여 악 용할 가능성도 여전히 열려 태 있는 상 다.

넷째 탈m
, 도덕적 이 m 증
( oral disengage ent) 가능성의 대이다. 도덕적 인공 지능

은 기계와 사 람 협 이 형태
력하여 도덕적 의사결정을 하는 경우 이다. 이 그러한

결정에 따 른 행위의 결과에 대한 인간책임 떻 의 한계를 어 게 설정해야 하는지의

복잡 한 윤리적 문제가 발생할 수 있음을 우 히 금


리는 쉽게 짐작할 수 있다. 특 지
18 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

까 지 인간의 도덕 심리에서 나타난 문제점 가운 데 나 하 인 도덕적 이 탈 현상이 더

욱 심해 질 가능성에 우 리는 주목해야 한다. 도덕적 인공 지능이 보 편 될


화 수록 사

용자는 행위의 결과에 대한 책임 피 환


회 의 일 으로 책임 감의 분산이 나 책임 소재

의 이동에 관여할 가능성이 더욱 커 진다. 사용자와 도덕적 인공 지능의 상호작용

은 분업의 원리에 따라 필연적으로 책임 감의 분산을 초래 하기 마련 이다.31) 그리

고 사용자는 행위의 결과에 대한 자신의 전적인 책임 을 일정 부분 도덕적 인공

지능에 전가하 려는 유 혹 으로부터 자유 롭 못 지 할 것이 분명하다.

섯째 삶 영
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

다 , 도덕적 인공 지능의 사용은 도덕적 을 위하기 위한 인간의 도덕적

m노
자기 혁신 ( oral sel -innovation) f 력을 크 훼손 험
게 할 위 성이 매 우크 다. 도덕

적 인공 지능은 미 치 알 즘 리 설 된 고리 에 따라 사용자의 도덕적 의사결정을 돕기

위해 데 며 데
이터를 수집하고 분석하 업 이트 해 준다. 달리 말해, 도덕적 인공 지

능은 프 파 로f m 처 딥 닝
일링(pro iling), 기계 학습( achine learning), 자연어 리, 러


(deep learning)을 통해 특정 상황에서 사용자의 도덕적 의사결정을 내한다. 그

흐름
리고 시간의 형 료
에 따라 사용자의 도덕적 의사결정과 행동 유 에 관한 자 와

www.earticle.net

정보의 축적을 통해 도덕적 인공 지능은 그 특정한 사용자를 위한 매 구체적이

피 백 m f
고 특수한 도덕적 m m 갖 될
드 기제( oral eedback echanis )를 추게 것이다.

격 규격
그러한 기제는 사용자의 행동과 성 준 초래 의 화와 표 화를 할 것이다. 사용

규격
자가 도덕적 인공 지능이 제공하는 그러한 준 경우 화와 표 화에 따를 , 그것은

마치 나 규범
하 갖 될
의 도덕적 렇 되과도 같은 위상을 게 것이다. 그 게 면 특정 상

황에서 사용자에게 가용한 있음직한 행동선택 범 우 될 의 위는 매 축소 것이 분명

하다. 문제 해결에 필요한 사용자의 도덕적 상상력이 도덕적 인공 지능의규범 화

ㆍ표준 피 백
화된 도덕적 될 때 드 기제에 의해 차단 수 있기 문이다.

나 N z 련
바이즈( arvae )는 인류가 직면한 도덕적 위기와 관 태 하여 발달 윤리 생 학

적 실천을 통한 도덕적 자기 혁신의 중요성을 강조하였다. 발달 윤리 생태 학적

실천은 능동적인 후성 유전학의 관점에서 성인이 자신의 도덕 발달을 위해 그리

고 자 녀 의 도덕 발달을 촉진하기 위한 진화적 발달 적소를 제공하기 위해 어 떤


노 력을 기 울 여야 하는지를 잘 보여 준 다.32) 특 히 그는 도덕적 인공 지능의 필요성

31) 추병완, 『 도덕교육의 이해 』 양 (고 랑: 인간사 , 2011), p. 335.


32) D arcia N z Neurobiology and the development of human morality N Y
arvae , ( ew ork: W
.
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 1 9

을 강조하는 학자들이 우려 하는 인류 절멸 의 위기 극복을 위해서는 자기 교정의

실천, 자기 계발 노력, 공동의 자 아 혜 지 가 필요하다고 주장하였다. 하지만, 도덕

적 인공 지능에 의한 특수한 도덕적 피 백 드 기제에 사용자가 사로 잡힐 경우 , 사

용자는 도덕적 자기 혁신이라는 매 우 담 부 스러운 과제를 회 피할 것이 분명하다.

도덕적 인공 지능은 사용자의 일상적인 도덕적 의사결정과 행동의 규격 화와 표 준


화를 통해 오 히려 사용자의 도덕적 상상력과 성 찰, 도덕적 자기 혁신의 노력을

방해하는 부정적인 결과를 가 져올 수 있음에 우리는 조심해야 한다.


[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

Ⅴ. 결론
인간은 도덕적인 사 람 되려이 고 다 양 노 한 력을 경 며주하 사는 존재다. 그리고

대부분의 국가 나 사회는 구성원의 도덕적 향상을 도모하기 위한 다 양 한 정책 을

실시한다. 이를테면 도덕교육은 그러한 도덕적 향상 시도의 대표적인 사 례라고

할 수 있다. 그러 나 즘엔 첨www.earticle.net
요 활
단 과학 기술을 용하여 인간의 도덕적 향상을 과

감하게 시도해야 한다는 트 랜 휴머니 스 m 스트(transhu anists)의 목소리가 날로 커 지

고 있다. 일부 학자들은 2008 년 부터 생명 의학과 유전자 기술을 활


용한 도덕적

향상의 필요성을 강력하게 피 히


력하였다. 특 인공 지능 기술의 눈부신 발전에 고

무된 사부레스쿠와 매즈린은 약한 도덕적 인공 지능을 활 용한 도덕적 향상의 필

요성을 주장한다. 그들은 전통적인 향상 방식으로서 도덕교육, 생명 의학과 유전

자 기술을 활 용한 도덕적 향상, 그리고 약한 도덕적 인공 지능을 활 용한 도덕적

향상이 병행적으로 이 루 져 어 야만 인간의 제한된 도덕 심리가 지닌 문제점을 극복

하고 인류가 직면한 대 재 앙 피 을 할 수 있다고 강변한다. 이에 이 논문에서는 도

덕적 인공 지능이 도덕적 향상의 새로운 대 안 될


이 수 있는지의 여부를 실현상의

측면과 윤리적 측 면에서 살펴 았 보 다.

인간보다 탁월 한 도덕적 능력을 지닌 강한 도덕적 인공 지능 개발 및 급


보 에

찬성하는 사 람은 그리 많 않
지 다. 그러 나 약한 도덕적 인공 지능의 경우에는 다

WN
, orton &Cm y 6
o pan , 2014), p. 2 2.
20 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

르 다. 일부 학자들은 약한 도덕적 인공 지능을 통한 인간의 도덕적 향상을 추구

하려 는 시도를 하고 있다. 이에 이 논문에서는 약한 도덕적 인공 지능을 활


용한

도덕적 향상은 기술적 구현의 어 려움 과 더불어 실제적인 향상의 가능성에 있어서

도 심각한 문제점을 보 임 밝혀 었 또 을 내 다. 한 도덕적 인공 지능은 사회적 불평등,

도덕적 자 율 침 프 버 침
성 해, 라이 시 해, 도덕적 이 탈 가능성 증가, 도덕적 자기 혁

신 노력 감소 등과 같은 윤리적 문제를 수반할 수 있음을 보여주 었 런데


다. 그 여

기서 우리가 명심해야 할 중요한 사 항이 있다. 기술의 윤리적 문제점을 언 급 하는

마치 저 규 려 릇 풍 우
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

것이 기술의 발전을 해하는 요인으로 정하 는 일부 그 된 조가

리 사회에 스 며 들고 있기 때 문이다. 우 리는 도덕적 인공 지능이 수반하는 윤리적

문제점을 지적하는 것을 도덕적 인공 지능 기술의 발전을 억 려 족쇄제하 는 로만

치 부해서는 결 코안 된다. 윤리는 기술의 발전을 단 순히 억 려제하 아니는 것이 라,

오히려 그 기술이 인간의 번영 f( lourishing)에 기여할 수 있도록 자극하고 올 른 바

방향을 안 내하는 역할을 수행하는 것이기 때문이다. 그러므로 도덕적 향상 수단

으로서 도덕적 인공 지능이 인간의 실제적인 번영


에 기여하기 위해서는 실현상의

난점과 윤리적 문제점을 충분하게 고 려 해야 할 것이다.


www.earticle.net
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 21

참고 문헌
추병완, 『 도덕교육의 이해 』 양 (고 : 인간사 랑 , 2011).

추병완, 「 도덕적 생명 향상의 오류 분석 」『 , 도덕윤리과교육 』 44호(한국도덕윤

리과교육학회, 2014), pp. 21-42.

I m P
ng ar ersson & Julian Savulescu, 추병완 역, 『미래 사회를 위한 준 비: 도덕

적 생명 향상 』 울 우(서 : 하 , 2015).

A C V G &Z "P m yf f m
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

llen, ., arner, . inser, J., rolego ena to an uture arti icial oral

"
agent , J ournal o f Experi ental m &T heoretical A frti icial I ntelligence,
12(2000), pp. 251-2 1. 6
B m RF "
au eister, . .,f f A ym f
Ego depletion and sel -control ailure: n energ odel o

f’ f " Self and I dentity


the sel s executive unction , 9 6 , 1-2(2002), pp. 12 -13 .

B A
ook, zy K B & Q y V L "T
. S., Star k, . . uinse , . ., he relationship between

m
testosterone and aggression: a y " Aggression and Violent eta-anal sis ,

Behavior 6 6 9 99
, - (2001), pp. 57 -5 .

B y P “F m www.earticle.net
re , ., y
reedo m and ” Ethics and privac in a bient intelligence ,

I nformation Technology 6 66 , 7-3(200 ), pp. 157-1 .

C m &P
harala pidou, M., Mouroutsos, S. G "I fy f avlidis, ., denti ing aspects o

m f
a bient intelligence through a review o m " J ournal recent develop ent ,

o fA dvanced Cm o puter Science &T y


echnolog , 1-3(2012), pp. 82-100.

C B "W m
hu, ., m
here " J ournal of Ethics 9
oral enhance ent goes wrong , , 8(2014),

6 pp. 7-82.

D z L
an iger, S., &A mP L " evav, J. f j vnai - esso, ., Extraneous actors in udicial

" P roceedings of the National Academy of Sciences


decisions , ,

6 969
108-17(2011), pp. 88 - 8 2.

D W
avidson, J. R "G ., Edgar, j m f., ender and race bias in the udge ent o

W m f m " Music Education Research


estern art usic per or ance , , 5-2(2003),

69pp. 1 -181.

G A & Ø øm P “I
erdes, ., hrstr , ., fssues in robot ethics seen through the lens o a

m T oral” J ournal of I nformation, Communication and Ethics


uring test ,
22 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

y
in Societ , 13-2(2015), pp. 9 9 8-10 .

G unkel, D T m
. J., he achine question C m ( a bridge: The M IT P ress, 2012).

Monto a, E. y R. et al., "T m


estosterone ad inistration m odulates m j m
oral udg ents

depending on second-to- ourth digit ratio , f " P sychoneuroendocrinology ,

38-8(2013), pp. 13 2-13 6 69 .

N z D Neurobiology and the development of human morality N


arvae , ., ( ew

Y W W N &Cm y
ork: . , orton o pan , 2014).

New York Daily News A


[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

, ugust 7, 2013.

O OK P
lsen, . ., "T m f
allesen, S., Eid, J., he i pact o partial sleep deprivation on

m m y ff " Sleep
oral reasoning in 6 9 ilitar o icers , , 33-8(2010), pp. 108 -10 0.

P I&
ersson, . " m m" The J ournal of Medicine
Savulescu, J., Moral transhu anis ,

and P hilosophy 6 6 6 669 , 35- (2010), pp. 5 - .

P I&
ersson, . "T f m mA y F "
Savulescu, J., he turn or ulti ate har : repl to enton ,

f
J ournal o Medical Ethics, 37(2011), pp. 441-444.

Persson, . I& Savulescu, J., "Getting moral enhancement


www.earticle.net right: The desirabilit y
o fm oral bioenhance ent, m " Bioethics , 27-3(2013), pp. 124-131.

Persson, I& , Savulescu, J., "R y mm epl to co entators on Uf f


n it or the F "
uture ,

f
J ournal o Medical Ethics, 41-4(2015), pp. 348-352.

Rm C A
a os, C& ., ugusto, J. . Shapiropp, D "Am
., bient I ntelligence: The next

f A f Istep or rti icial ntelligence , " I EEE I ntelligent Systems , 23-2(2008),

pp. 15-18.

R est, J. R., Moral develop ent ( ew m N Y P ork: 96


raeger, 1 8 ).

Savulescu, J. & H " Maslen, ., Moral enhance ent and m A f


rti icial I
ntelligence:

Moral AI" R m , J. o portl et al. eds.,. By A f I


e ond rti icial ntelligence ( ew N
Y ork: Springer, 2015), pp. 7 - 5. 99
Sitton, S., "T m yhe ff Hess ff
desk e ect: ow tidiness a ects the perception o f
others , " J ournal of P sychology: I nterdisciplinary and A pplied,
9 6 6
117-2(1 84), pp. 2 3-2 7.

Specker, J., F q F R K
oc uaert, ., & m aus, ., Sterckx, S. Scher er, M., "T he ethical
도덕적 인공 지능에 관한 비판적 고찰 (추병완) 23

desirabilit y fm o oral bioenhance ent:m A review o f " BMC


reasons ,

Medical Ethics, 15-1(2014), pp. 1-17.

T I
he EEE G lobal I
nitiative, Ethicall y W
aligned design ( ashington, DC I
: EEE,

6
201 ).

Wallach,W & A C Moral machines: Teaching robots right from wrong


., llen, .,

Of Of U yP
( x ord: x ord niversit ress, 2008).
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

www.earticle.net
24 윤리교육연구 제44집 (한국윤리교육학회, 2017. 4.), pp. 1-24.

Abstract

AC ritical C onsideration on Moral A f


rti icial ntelligenceI
C B hu, eong- Wan

T m fm f
[Provider:earticle] Download by IP 203.252.130.XXX at April 8, 2018 3:50 PM

his article did delve into the proble s o oral arti icial intelligence as a

new m ethod o fm m
oral enhance ent. Savulescu & Maslen in Of U x ord niversit y
have argued that m f
oral arti icial intelligence should be an aid f or us to live a

m y
orall better li e. f A m
ccording to the , given our innate li ited m m y oral ps cholog , y
m
we should welco e the develop ent o m fm f
oral arti icial intelligence which has the

capacit y to obtain and anal yz m e f m


ore in or ation f m
or m
oral decision- aking than

we can do alone. H owever, contrar y to their naive f


orecasts, a realistic

y f
possibilit o weak m f
oral arti icial intelligence in a pure technological sense is

ver y A low. nother proble m www.earticle.net


f
can be ound in an ethical perspective. W meak oral

my
intelligence a m
violate our my yI
oral autono and privac . n addition, it my a go

against the principle o f q yT f


social e ualit . here ore, we should not welco e weak m
m f
oral arti icial intelligence as a m f m m
ethod o new oral enhance ent.

ke y f
words: arti icial intelligence, hu an m m y ym oral ps cholog , f
oral arti icial

intelligence, m oral enhance ent, m m T oral uring test

논문 투 고일: 2017 년 월 2 15일

심사 완 료 일: 2017 년 월 4 17일

게재 결정일: 2017 년 월 4 18일

You might also like