BERT 미세조정

강사: 안재학

2021년 7월 22일 목요일

큰 그림
 슬롯태깅 & 의도분류 [CLS] "아이유" "노래" "듣" "고" "싶" "어"

BERT pretrained model

"아이유"
[CLS]를 "노래"를 "듣"을 "고"를 "싶"을 "어"를
를 pretrained model의 아웃풋이면서
나타내는 나타내는 나타내는 나타내는 나타내는 나타내는 netuning layer의 인풋
나타내는
벡터 벡터 벡터 벡터 벡터 벡터
벡터

Fine-tuning layer
(Dense layer = Fully connected layer = ANN)

[CLS] 아이유 노래 듣 고 싶 어
가수 이름으로 노래 요청 0.9 가수 이름 0.8 0.1 0 0 0 0
netuning layer의 아웃풋
노래 제목으로 노래 요청 0.1 노래 제목 0.2 0.4 0.4 0.2 0.4 0.4
노래 중지 요청 0 중요 슬롯 아님 0 0.5 0.6 0.8 0.6 0.6
합계 1 합계 1 1 1 1 1 1
fi
fi

 질의응답 “이순신” “언제” “태어났” “나요?” [SEP] “이순신” “은” “…”

BERT pretrained model

"이순신"을 “…”를 [SEP]을 “이순신”을 “언제"를 “태어났"을

pretrained model의 아웃풋이면서
나타내는 나타내는 나타내는 나타내는 나타내는 나타내는
netuning layer의 인풋
벡터 벡터 벡터 벡터 벡터 벡터

Fine-tuning layer
(Dense layer = Fully connected layer = ANN)

이순신 은 1545 년 에 태어나 … 합계

netuning layer의 아웃풋
Start 0 0.1 0.8 0.1 0 0 1

End 0 0 0 0.9 0 0.1 1

fi
fi

프리트레인
 "지난" "8" "월" "시작" "된" ... (생략)

인코딩 (임베딩) : 각 토큰을 벡터로 만듦

"지난"을 "8"을 "월"을 "시작"을 "된"을

나타내는 나타내는 나타내는 나타내는 나타내는 ... (생략)
벡터 벡터 벡터 벡터 벡터

빈칸 채우기, 문장 순서 맞히기를 수행하는 분류 모델

프리트레인 학습이

완료되면 버림

분류 결과물

미세조정
 의도 분류 ne-tuning layer

가수이름 노래제목
노래중지
으로 노래 으로 노래
[CLS] 아이유 노래 아무거나 틀어줘 [SEP]
0.5 0.5 0
가수이름 노래제목
노래중지
으로 노래 으로 노래
0.2 0 0
[CLS] 를
나타내는 벡터
1 0 1 2 X = [CLS] 2 1 1.2

0.5 0.5 0.2

(토큰 수) X 4 행렬 (토큰 수) X (의도 수) 행렬

0.5 0 0.5

4 X (의도 수) 행렬

ne-tuning layer
fi
fi

 의도 분류 ne-tuning layer

가수이름 노래제목
노래중지
으로 노래 으로 노래
[CLS] 아이유 노래 아무거나 틀어줘 [SEP]
0.5 0.5 0
가수이름 노래제목
노래중지
으로 노래 으로 노래
0.2 0 0
[CLS] 를
나타내는 벡터
1 0 1 2 X = [CLS] 2 1 1.2

0.5 0.5 0.2

(토큰 수) X 4 행렬 (토큰 수) X (의도 수) 행렬

0.5 0 0.5

4 X (의도 수) 행렬

ne-tuning layer
fi
fi

 모델의 최종 아웃풋

[CLS] 아이유 노래 아무거나 틀어줘 [SEP]

가수이름 노래제목 가수이름 노래제목

노래중지 노래중지
으로 노래 으로 노래 으로 노래 으로 노래

softmax
[CLS] 2 1 1.2 [CLS] 0.55 0.2 0.25

(토큰 수) X (의도 수) 행렬 (토큰 수) X (의도 수) 행렬

정답 1 0 0

 의도 분류 ne-tuning layer

가수이름 노래제목
노래중지
으로 노래 으로 노래
[CLS] 아이유 노래 아무거나 틀어줘 [SEP]
0.5
0.5
0

0.6 0.4 -0.1 가수이름 노래제목

노래중지
으로 노래 으로 노래
0.2
0
0

[CLS] 를 0.3 -0.1 -0.1 2

1
1.2

나타내는 벡터
1 0 1 2 X = [CLS]
2.4 0.6 0.8
0.5
0.5
0.2

0.6 0.4 0.1

(토큰 수) X 4 행렬 (토큰 수) X (의도 수) 행렬
0.5
0
0.5

0.6 -0.1 0.4

4 X (의도 수) 행렬

ne-tuning layer
fi
fi

 의도 분류 ne-tuning layer

가수이름 노래제목
노래중지
으로 노래 으로 노래
[CLS] 노래 멈춰줄래 [SEP]
0.6 0.4 -0.1
가수이름 노래제목
노래중지
으로 노래 으로 노래
0.3 -0.1 -0.1
[CLS] 를
나타내는 벡터
1 1 0 1 X = [CLS] 1.5 0.2 0.2

0.6 0.4 0.1

(토큰 수) X 4 행렬 (토큰 수) X (의도 수) 행렬

0.6 -0.1 0.4

4 X (의도 수) 행렬

ne-tuning layer
fi
fi