ChatGPT 使い方ゆる共有会　 2023.

0408, ONLINE

Transformer から理解する
GPT の使い方
いっちー / icchy

Twitter: @P_ichikura
今日の概要

• Chat GPT の基盤である” Transformer” の凄さ！

• Chat GPT にどう聞けばよいの？

”Transformer” について説明できない部分

• 位置エンコードについて

• 従来法との比較
• 学習時間の短縮について

• 特徴量の比較
“Transformer” の凄さ！
• 2017 年 12 月に” Attention Is All You Need” という論文で公表

• 長い文章に対する推定を可能にした（ GPT モデルのエンコードに採用）

• Multi-Head Attention の採用

• 畳み込みや再帰モデルではない特徴量抽出を実現
位置 Multi-Head
入力 ・・・
エンコード Attention

位置 Multi-Head Multi-Head
出力 ・・・ ・・・ 確率モデル
エンコード Attention Attention
 日本語から英語への変換を考えると、、、

位置 Multi-Head
入力 ・・・
エンコード Attention
単語ごとの確率
5
[ わたし ,
4
わたしはペンを持っている。 は,
ペン , 各単語ごとの 3

を, 出現確率を計算 2
1
持っている。 ]
0

位置 Multi-Head Multi-Head
出力 ・・・ ・・・ 確率モデル
エンコード Attention Attention
[ I,
I have a pen. have , 各単語ごとの 入力と出力
a, 出現確率を計算 の位置合わせ
pen.]
“Transformer” VS “GPT”

• 長文 / 多言語の解析に対応
Transformer

• さまざまなタスクへの適応
GPT
“Chat GPT” の使い方のコツ

• 抽象的な質問は可能な範囲で避ける！

• タスクと条件による書き分ける！

• 英語で書ける場合は英語で書く！
やってみた！
もっと細かいことは Prompt エンジニアさんに、、、

この記事を読んでる
• https://qiita.com/sonesuke/items/24ac25322ae43b5651bc

Elicit
• 論文要約用に使う
参考文献 ( より詳しく知りたい方へ )

• Ashish Vaswani, et al., “Attention Is All You Need”, 12 June 2017,

https://arxiv.org/abs/1706.03762#.

• David Foster, “ 生成 Deep Learning”, OREILY, pp229-pp.306, 2020.

• 深層学習界の大前提 Transformer の論文解説！

https://qiita.com/omiita/items/07e69aef6c156d23c538