인공지능 발전: 기호주의 vs 신경망 – 머신러닝 – 딥러닝

딥러닝 – 다중신경망, 블랙박스

지도/비지도학습

알고리즘, 빅데이터, 컴퓨터지능

알고리즘 편향 문제 “차별”

- 차별 데이터 불균형

- 차별 구체적 포함

- 민감 정보 누락

- 역동적 학습 오류

-사례: 채용, 재판, 조사, 평가 등

문제 분석

- 수요의 심리: (1)인간 결정 불합리, 나쁨 (2)과거로부터 예측 가능한 미래

- 사용 이유(기계의 특화지점): 데이터 처리속도/양, 상관관계 발견능력 우수

- 의사결정 성립을 위한 필요조건 (<->자연과학의 인과)

- 인간 영역(AMO/품질척도/공평성척도/평가 설정) vs 기계 영역(맥락 내에서 계산만)

편향 감시 (알고리즘 투명성 확보) 방법

(1)척도(요구사항): 투명성&이해가능성 요구 / 요구조건분류: 손해잠재력, 반박가능성

(2)방안:

-인공지능 블랙박스

-설명가능 인공지능

-신경과학 인공지능

-투명성 윤리원칙

도덕적 인공지능로봇(하/상향식 인공도덕성)

2017 년, 알파고와 이세돌 9 단의 바둑 경기가 화제가 되었던 때를 기점으로 한국 사회에서 ‘

인공지능’은 과학기술 분야의 최대 관심사였다. 유소년 코딩 교육 열풍이 불고, 대입 컴퓨터공학과
입시 커트라인이 최상위권에 오르게 되는 등 컴퓨터과학 분야로의 관심과 수요는 끊임없이 이어졌다.
물론 인기있는 연구분야를 유행처럼 추종하는 한국 사회 특유의 습성으로 인한 것도 있겠지만, 그
근원적 심리에는 인공지능 및 IT 분야가 끊임없이 성장하고 발전할 가능성이 높은, 장밋빛 미래를
그려 줄 신뢰성 높은 산업이라는 확신이 내재되어 것이다. 이는 분명 일리가 있다. 1940 년 매카시에
의해 인공지능에 대한 연구가 최초로 학계에서 주제가 된 뒤로, 고작 80 년의 세월 만에 급속도의
발전이 이루어졌다. 비현실적이라고 여겨졌던 인공신경망과 상향적 학습이라는 개념이 컴퓨터
연산처리속도의 비약적 상승과 그로 인해 처리 가능한 데이터량의 비약적 증가로 인해 과거의
전망보다 너무 빨리 실현되었다. 다중신경망을 통한 기계학습인 딥러닝을 통해 이미 기계의 특정
분야에서의 학습능력은 인간을 초월했고, 이제는 ‘강한 인공지능’이 현실화될 수도 있지 않을까 하는
기대까지도 나온다. 인간과는 달리 감정이나 편견에서 자유롭고 학습능력, 지성은 월등한 기계인
만큼 사회 전반의 의사 결정에 이제 기계가 참여하는 것이 바람직하지 않을까 하는 여론은 갈수록
강화되고 있다. 최근 몇 년간 한국 사회에서 가장 화두가 된 가치가 ‘공정’인 만큼, 사회 전반의 의사
결정 과정에 있어서 인공지능의 도입이 많은 사람들의 기대를 충족시커주지 않을까 하는 생각이
든다. 하지만 정말 그럴까? 인공지능이 참여하는 의사 결정은 정말로 편견에서 자유롭고
불편부당하며, 사회 전반이 갖고 있는 공정과 공동선에 최적화할 수 있는 결정만을 내릴까?
인공지능에 사회 문제에 있어서의 의사 결정권을 위임함으로써 발생하는 문제가 발생하지 않을까?
이 글에서는 먼저 인공지능에 의한 의사 결정 과정을 먼저 대략적으로 알아보고, 이러한 시스템이
실제로 공정성과 사회의 공동선 실현에 문제를 일으킨 실제 사례들을 살펴보려 한다. 그리고 그러한
문제의 발생 요인을 의사 결정 과정을 자세히 분석하며 이해해 보고자 한다. 나아가 그 과정에서
인간이 개입하고 감독할 수 있는 영역이 있는지 알아보고, 인공지능의 윤리적 사용을 위해서 사회의
어떤 노력이 이루어질 수 있을지 탐구해 보고자 한다.

인공지능에 의한 의사결정 과정에 대한 설명에 들어가기에 앞서, 우선 인공지능과 관련 개념들의

의미에 대해서 간단하게 알아보고자 한다. 먼저, 인공지능의 정의는 무엇일까? 통상적으로 사용되는
정의는 컴퓨터로 하여금 인간이 해결하는 학습, 추론, 인지 활동을 수행하도록 하는 소프트웨어
시스템을 말한다. 하지만 정의에서 언급된 인간의 인지 활동이 인공지능 연구 과정에서 새롭게
정의되거나 그 의미가 바뀌기 때문에, 학계에서 이러한 정의는 모호하고 논란이 많다. 이 글에서는
이러한 인공지능에 대한 정확한 추상적 정의가 아니라, 현재 상용화된 인공지능에 의한 의사결정
모델의 실제 사례 및 그 구체적 과정에 집중할 것이다.

하지만 처음 인공지능을 하나의 학문 분야로 이끌었던 다트머스 회의에서부터 지금의 인공지능

연구에 이르기까지, 인공지능 연구의 본질적인 방향성은 ‘사람의 인지활동과 동일한 시스템’
이라기보다는, ‘인간 지능 요소의 형식화’에 더 가깝다. 추상적으로 여겨지는

인공지능이 하나의 학문 분야가 된 것은 1956 년 미국의 ‘다트머스 회의’에서였는데, 인공지능

방법론 중 하나로서의 인공신경망 모델은 당시에는 형식논리, 기호체계를 기반으로 한 방법론인 ‘
기호주의 접근법’에 비해 별로 주목을 받지 못했었다. 하지만 1970 년대 기호주의 접근법이 한계에
봉착하고,
author = {Datta, Amit and Tschantz, Michael Carl and Datta, Anupam},

keywords = {Cryptography and Security (cs.CR), FOS: Computer and information sciences, FOS:
Computer and information sciences},

title = {Automated Experiments on Ad Privacy Settings: A Tale of Opacity, Choice, and

Discrimination},

publisher = {arXiv},

year = {2014},

author = {Wilson, Benjamin and Hoffman, Judy and Morgenstern, Jamie},

keywords = {Computer Vision and Pattern Recognition (cs.CV), Machine Learning (cs.LG),
Machine Learning (stat.ML), FOS: Computer and information sciences, FOS: Computer and
information sciences},

title = {Predictive Inequity in Object Detection},

publisher = {arXiv},

year = {2019},

copyright = {arXiv.org perpetual, non-exclusive license}

author = {DiChristofano, Alex and Shuster, Henry and Chandra, Shefali and Patwari, Neal},

keywords = {Computation and Language (cs.CL), Computers and Society (cs.CY), FOS:
Computer and information sciences, FOS: Computer and information sciences},

title = {Performance Disparities Between Accents in Automatic Speech Recognition},

publisher = {arXiv},

year = {2022},

그렇다면 마지막으로 인공지능에 의한 의사결정 과정에서의 문제들을 해결하기 위해서는 어떤

노력을 기울여야 하며, 올바르게 의사결정 시스템을 사용하려면 시스템에 대한 어떤 접근 자세가
필요할까? 앞서 살펴본 의사결정 시스템의 원리와 문제의 원인에 대한 분석 안에 바람직한 접근
방법과 자세가 제시되어 있다. 지금까지 논의한 내용들을 요약하면, 인공지능은 방대한 양의 입력
데이터를 복잡한 인경신경망을 통한 학습으로 데이터의 피처와 결과값 간의 상관관계를 찾아낸다.
여기서 중요한 점은 이렇게 찾은 관계는 그 자체만으로는 논리적 인과성을 보장할 수 없는, 자료들이
최적화된 오차를 띈다는 것만을 보여주는 ‘상관관계’라는 것이다. 가장 적은 오차를 갖도록 문제를
최적화하는 방법인 품질 척도부터, 구체적으로 입력 데이터를 얼마나 고르게 넣을 것인지, 민감한
정보들도 포함할 것인지 뺄 것인지 결정하는 것, 나아가 인공지능의 의사결정 결과를 어떤 식으로
사회에 적용하여 그 결과가 이후에 데이터 세트에 어떤 식으로 영향을 미치도록 할 것인지는
전적으로 시스템을 설계한 인간에게 달려 있다. 구조가 복잡해진 인공지능의 학습과정이 ‘블랙박스’
와도 같다고 할지라도, 결국 그 결정은 인간이 제공한 입력 데이터와 품질 척도에서 나오는 것이고,
사용 용도 역시 인간에 의해 결정되는 것이다. 인공지능의 의사결정에서 발생하는 문제는, 적어도
아직까지는, 인간보다 우월한 지능을 가진 기계가 인간을 통제하는 공상 과학 소설류의 이야기가
아니다. 따라서 예상되는 문제의 해결을 위해서는 무엇보다도 우리의 노력과 바람직한 접근 자세가
중요하다.

먼저 이러한 인공지능 기반 의사결정 시스템을 적재적소에 활용하려면, 앞서 살펴본 시스템의

원리를 토대로 과연 기계학습이라는 문제 해결 방법이 어떤 문제에 적합하면서 기존의 알고리즘보다
효과적인지를 따져 봐야 한다. 딥러닝 등을 통한 학습과정에서 인공지능이 가지는 능력은 우선 다룰
수 있는 데이터가 방대하다는 것과, 그 방대한 데이터에서 인간이 찾아내기 힘들었던 피처와 결과값
간 상관관계들을 찾아낼 수 있다는 점이다. 보다 구체적으로, 미처 인간이 특정할 수 없었던 다양한
피처들을 찾아내어 그에 따른 다양한 상관관계를 찾아낼 수 있다는 양적인 측면과, 통계적으로
오차의 정도가 잘 눈에 띄지 않아 인간이 직접 발견하기에는 힘들었던 약한 상관관계들을 발견할 수
있다는 질적인 측면에서 AI 는 강점을 보인다. 단, 이렇게 해서 발견한 상관관계는 논리적
인과관계라고 할 수 없다는 것이 무엇보다 중요하다. 따라서 이러한 의사결정 시스템을 활용하고자
한다면, 어느 정도 입력값의 피처와 결과값 간의 인과관계가 존재하는 문제나, 사람들이 논리적으로
납득할 만한 경향성에 대한 판단을 내려야 하는 문제에 활용하는 것이 바람직할 것이다. 앞서 언급한
사례 중 하나인 구직 이력서 평가 시스템의 경우 성별과 지원 성공률이 가지는 일말의 상관관계를
이후 채용에 영향을 주도록 활용한 것이 문제가 되었다. 이처럼 입력 데이터의 피처와 결과값 간의
논리적 관계를 설명하기 힘들거나, 단순한 사실 판단의 문제를 가치 판단이 개입되는 문제로 가져갈
경우 사회 공정성 및 가치 충돌 문제가 발생할 수 있다. 인공지능은 단순히 상관관계 발견 능력만
뛰어난 기계에 지나지 않는다는 것을 사용자는 늘 명심해야 할 것이다. 덧붙여서 이러한 상관관계는
앞서 설명했듯 논리적 인과관계로 치환할 수 없기 때문에, 설령 적절한 문제에 잘 활용했다고
하더라도 기계가 입력 데이터로부터 충분한 학습을 하지 못한다면 판단의 신뢰성을 확보하기 힘들다.
따라서 이러한 시스템을 활용할 때는 항상 양질의 빅데이터가 입력 데이터로서 존재하는지, 특히
입력 데이터는 결과값 즉 실측 자료가 미리 주어졌는지를 확인해야 한다. 부족한 데이터는 언급된
사물인식•음성인식 시스템의 문제 사례처럼 의도치 않게 소극적 대표성 편향의 문제를 일으킬
가능성이 있다.

그렇다면 이렇게 인공지능 의사결정 시스템이 활용될 수 있는 문제 상황의 조건을 모두

충족했을 때, 인공지능의 결정이 사회적으로 인정되는 공동선과 합리성을 충족하도록 시스템에
요구할 수 있는 구체적인 내용을 생각해 보자. 앞서 언급했듯 표면적으로 드러나는 문제는 우선
복잡한 다층 신경망을 통한 학습에서 도출되는 결정을 인간이 직관적으로 이해하기 어렵다는 데서
나온다. 이에 대한 보완을 위해 우리는 시스템에 ‘이해가능성 요구’를 제안할 수 있다. 이는
알고리즘의 의사결정 시스템의 결과, 행동을 점검할 수 있는지 요구하는 것으로, 가장 기본적인
방법으로는 적극적 대표성 편향의 사례에서 소개했던 카네기 멜론 대학교 연구팀의 분석과 같은
연구방법이 있을 수 있다. 학습한 인공지능이 단일한 피처와 결과값 간 어떤 상관관계 모델을 만들어
결정에 반영했는지 직접 대조군을 입력해 결과를 비교하는 것이다. 이를 ‘블랙박스 분석’ 이라고 한다.
하지만 역시 언급했듯, 피처가 다양화되어 경우의 수가 늘어나거나, 상호 영향을 미치는 변수들이
존재한다면 블랙박스 방법은 시간과 비용, 노동력의 한계가 존재한다. 따라서 이렇게 인간이
직관적으로 접근할 수 있는 범위 이상의 인공지능에 있어서는 인공지능 스스로 학습 절차에 대해
설명하도록 하는 수밖에 없다. 입력 데이터로부터 딥러닝 학습을 수행할 시 찾아낸 피처들과 그들이
가지는 상관관계, 품질척도에 따라 분석한 오차와 최종적으로 나온 모델을 설명하는 것이다. 이를 ‘
설명가능 알고리즘(XAI)’라고 하며, 현재 IT 산업계에서도 활발히 연구되고 있다. 그 이상으로 명료한
설명이 이루어지지 않는 경우, 성능을 퇴화시키더라도 불가피하게 학습 기법을 제한하여
이해가능성을 확보하는 방법밖에 존재하지 않을 수도 있다. 해당 의사결정 시스템이 사회적으로
미치는 잠재적 손해의 파급력과, 이러한 의사결정 시스템이 시민들 및 전문가 집단으로부터의 이의
제기에 응답할 수 있거나 다른 시스템에 의해 교차검증될 가능성이 얼마나 높은지 종합적으로
판단하여 시스템의 이해가능성 척도를 조절해야 할 것이다.

이렇게 하여 인공지능의 학습 절차 및 예측 모델에 대해 명료화된 설명이 이루어진다면, 이제

우리는 ‘투명성 요구’를 제안할 수 있다. 입력 데이터와 품질 척도, 사용된 기계학습 기법, 이후 결과가
어떻게 활용되는지 등 인공지능 의사결정의 과정 전반에서 인간의 개입이 올바르게 행해졌는지
투명하게 공개하도록 요구하는 것이다. 투명성 요구에 해당하는 사항들에 있어서는 의사결정
시스템의 활용 목적과 방향성, 가치 등 사회 정의와 공동선의 합의와 결정 문제와 관련이 깊다.
알고리즘 편향 사례에서 등장한, 범죄자 재범가능성을 어떤 품질 척도로서 평가하여 각각의 피고인을
어떤 위험군에 분류할지 결정하는 문제처럼 말이다. 투명성 요구는 그러한 과정이 정의로운지, 사회
전반의 정의 원칙에 부합하는지 공론화를 유도하기 위한 전제조건에 해당한다. 입력 데이터와 품질
척도 등, 인간의 가치 평가가 개입된 사항들에 대한 논제 설정을 명료하게 한 뒤에 비로소 논제에
대한 정당성과 공정성을 가릴 수 있는 것이다. 추가적으로 의사결정이 사회 전반에 어떤 영향을
미치는지에 대해 평가하는 과정 역시도 매우 중요하다. 집단 간 불균형한 데이터가 인공지능의
학습에 불균형을 초래하고, 그로부터 유도된 결정이 다시금 불리한 집단을 배제시킴으로써 집단 간
접근성 차별을 불러일으킬 수 있다는 소극적 대표성 편향의 사례를 앞서 살펴본 바 있다. 당장의
상황에서 입력 데이터에 인과관계 파악이 불명확하여 불공정이 우려되는 상관관계가 있을지
모르지만, 그로부터 학습한 인공지능이 미래의 결정에 지속적인 영향을 준다면 그러한 상관관계가
강화되는 것은 인공지능에게 책임이 있다. 인공지능이 야기한 결정이 이른바 ‘긍정적 피드백’으로
작용하여 부조리한 상관관계를 더 강화하고 차별을 공고화하지는 않는지, 설계자와 전문가 집단,
나아가 시민 사회 전체에서 지속적인 감시와 이의 제기를 해야 할 것이다.