ChatGPT使い方ゆる共有会 2023.

0408, ONLINE

Transformerから理解する
GPTの使い方
いっちー/ icchy

Twitter: @P_ichikura
今日の概要
• Chat GPTの基盤である”Transformer”の凄さ！

• Chat GPTにどう聞けばよいの？
”Transformer”について説明できない部分

• 位置エンコードについて

• 従来法との比較
• 学習時間の短縮について

• 特徴量の比較
“Transformer”の凄さ！
• 2017年 12月に”Attention Is All You Need”という論文で公表

• 長い文章に対する推定を可能にした（GPTモデルのエンコードに採用）

• Multi-Head Attentionの採用
• 畳み込みや再帰モデルではない特徴量抽出を実現

位置 Multi-Head
入力 ・・・
エンコード Attention

位置 Multi-Head Multi-Head
出力 ・・・ ・・・ 確率モデル
エンコード Attention Attention
 日本語から英語への変換を考えると、、、
位置 Multi-Head
入力 ・・・
エンコード Attention
単語ごとの確率
[ わたし, 6

わたしはペンを持っている。 は,
ペン, 各単語ごとの 4

を, 出現確率を計算 2
持っている。]
0

位置 Multi-Head Multi-Head
出力 ・・・ ・・・ 確率モデル
エンコード Attention Attention
[ I,
I have a pen. have , 各単語ごとの 入力と出力
a, 出現確率を計算 の位置合わせ
pen.]
“Transformer” VS “GPT”

Transformer
•長文/多言語の解析に対応

GPT
•さまざまなタスクへの適応
“Chat GPT”の使い方のコツ

• 抽象的な質問は可能な範囲で避ける！

• タスクと条件による書き分ける！

• 英語で書ける場合は英語で書く！
やってみ
た！
もっと細かいことはPromptエンジニアさんに、、、

この記事を読んでる
• https://qiita.com/sonesuke/items/24ac25322ae43b5651bc

Elicit
• 論文要約用に使う
参考文献(より詳しく知りたい方へ)

• Ashish Vaswani, et al., “Attention Is All You Need”, 12 June 2017,

https://arxiv.org/abs/1706.03762#.

• David Foster, “生成Deep Learning”, OREILY, pp229-pp.306, 2020.

• 深層学習界の大前提Transformerの論文解説！

https://qiita.com/omiita/items/07e69aef6c156d23c538