20904 김수아 20912 엄지호

Ai 와 미적분
목차

1.용어정리

2. 경사하강법이란 ?

3. 사용 사례
용어정리
인공지능
• 인간이 가진 지능을 구현하는 컴퓨터 시스템을 통칭하여 이르는 말
기계학습
• 알고리즘과 통계를 써서 컴퓨터가 스스로 데이터를 분석하도록 하는
인공지능의 한 분야
딥러닝
• 뇌구조와 같은 다층 신경망을 응용하여 비선형 변환 기법으로 복잡한 데이터를
분석하는 높은 수준의 기계학
• 알파고로 잘 알려져 있는 딥러닝은 오래전에 제안되었으나 실용되지 못하고
있다가 2012 년 스탠퍼드대학교에서 수행한 프로젝트에서 처음으로 의미 있는
결과가 나왔고 이 때 10 억개 이상의 노드로 구성된 인공신경망을 1 만 6 천개의
컴퓨터 프로세서로 유튜브에 올라 있는 1,000 만개가 넘는 비디오 자료를
입력해서 학습을 시켰습니다 . 그래서 얻은 결과는 고양이를 판별하는 아주
단순한 문제였습니다 . 물론 사람에게 단순한 문제라는 뜻입니다 .

• -> 그냥 엄청나게 많은 자료를 인공신경망을 통해 알파고에게 학습시킨 것

딥러닝이 급속하게 발전한 이유
고속 연산작업이 가능한 하드웨어
CPU 는 다양한 시스템 자원들을 제어해야 하고 복잡한 명령들을
처리해야하기 때문에 연산을 위한 장치 이외에도 다른 구성요소들이
존재한다 그러나 GPU 는 본래 그래픽처리를 위해 고안된 장치였기
때무에 단순한 연산들을 병렬로 고속처리가 가능하다 .

EX) 병렬적으로 연산처리가 가능한 과학계산 ( 다차원 행렬 )

빅데이터
단순히 데이터 양 때문이 아니라 특성의 다양성과 복잡성으로 인해
“빅” 으로 정의된다 .

일반적으로 빅데이터는 데이터를 수집 , 관리 , 처리하는 기존 데이터

베이스의 용량을 초과한다 .

또한 빅데이터는 디지털로 모니터링 할 수 있는 전 세계의 모든

사물과 장소에서 생성될 수 있다 .
손실함수를 최소화하는 최적화 알고리즘
예측한 결과와 실제 결과 사이의 오차를 최소화하는 수치해석 방법

딥러닝에서 학습데이터를 입력하여 네트워크 구조를 거쳐 예측값 Y

를 얻는데 . 이 예측값과 실제 정답의 차이를 비교하는 함수를
손실함수라고 한다 .
경사 하강법
뉴턴의 방법을 사용해서 오차가 가장 작은 값을 가지도록 ' 반복 ' 해서 계산을 시키면 되지만 이렇게
하면 평생 동안 계산을 해야 할 수 있기 때문에 우리는 확률적 경사 하강법이라는 방법을 사용할 것이다 .

수식으로 표현하면 어렵고 , 산꼭대기에서 구형의 돌을 굴려서 아래로 내려보낼 때 , 이 돌이 어떤

경로를 따라서 내려가게 될 지를 생각해보면 됩니다 . 가장 ' 가파른 ' 경로를 거쳐서 내려오게 됩니다 .
이 때 ' 가파른 ' 의 뜻은 그 지점에서의 ' 미분 ' 값이 가장 큰 방향이라는 뜻입니다 .

그래서 계산 시간을 단축하기 위해 전체 데이터가 아닌 일부 데이터의 일부를 무작위로 선정해

확률적으로 추정함 . 모든 데이터를 대상으로 하는 것보다 그래디언트 방향은 조금 부정확하지만 신속히
다음 방향으로 진행할 수 있기 때문에 최종 목적지에 빠르게 도달할 수 있다 .
-> 이를 확률적 경사하강법이라 한다 .
산꼭대기에서 구형의 돌을 굴려서 아래로 내려보낼 때 , 이 돌이 어떤 경로를 따라서 내려가게 될 지를 생각해보면 가장 ' 가파른 ' 경로를 거쳐서
내려오게 됩니다 .
( 이 때 ' 가파른 ' 의 뜻은 그 지점에서의 ' 미분 ' 값이 가장 큰 방향이라는 뜻입니다 . )
돌이 빠르게 튀면서 내려오게 되면 내려오는 속도는 아주 빠릅니다 . 하지만 , 튀는 그 순간에 가장 가파른 길을 선택하겠지만 , 튀어서 공중에
떠있는 동안에는 그냥 쭉 내려가니 이상한 곳으로 가버릴 수도 있습니다 . 반면에 , 돌이 떼굴떼굴 굴러서 천천히 내려오면 가장 짧은 경로로는
내려올 수 있겠지만 , 시간은 많이 걸린다는 단점이 있습니다 .
그러니 한번에 크게 크게 뛰어서 내려가면 학습속도가 빠른 대신 오차는 커지고 , 조금씩 내려가면 오차가 작은 대신 학습속도가 느려집니다 .
더군다나 , 데이터의 양이 많아지면 돌이 한 번 내려올 때마다 어느 방향의 기울기가 가장 급한 지를 계산하는데 너무 많은 시간이 걸립니다 .

그래서 계산 시간을 단축하기 위해 전체 데이터가 아닌 일부 데이터의 일부를 무작위로 선정해 확률적으로 추정한다 . 모든 데이터를 대상으로
하는 것보다 그래디언트 방향은 조금 부정확하지만 신속히 다음 방향으로 진행할 수 있기 때문에 최종 목적지에 빠르게 도달할 수 있다 . 이를
확률적 경사하강법이라 한다 .

​
않으면