源 07 w 源 307

3 www.ukoou.com
it资 信
一手认准:优库it资源网 2 t 资
i 微信
优库认准
微
7051 库
优 认准
0 7 5
信 3
02｜具身智能：OpenAI真正的野心是什么？
准微 m com 微信
o ou. 准 o
源认 .c u uko 源认ou.c
Tyler · 资 koo
AI大模型系统实战 w .
ww 0512
资 ko
一手ww.u 网 757 一手ww.u
w 源 0 w
i t资 信3
优库认准
微
7 0 512
3 075
信
. com 微
koo
u
源 认准.com
. u 资 koou
www 0512 手
一 ww.u www
源 网 757 w 源 网 75
0 0
i t资 信3 i t资 信3
微 12 微
优库认准 7 0 5 优库认准
3 075
准 微信 . com 准 微信
源 认 .com k oo u
源 认 .co
资 koou . u 资 koou
手
一 ww.u www 0512 手
一 ww.u
w 源 网 757 w
0
i t资 信3
优库认准
微
7 0 512
3 075
. co m
准 微信
o u
ko 源 认 .com
. u 资 koou
www 0512 手
一 ww.u www
7
你好，我是 资 源网Tyler。
3 075 w
资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
说起 ChatGPT，你对它的印象是什么呢？
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u
据我观察，不同人有不同的看法。有些人不太高兴，因为担心它的代码能力会对工程师的工作 一
w 源 网 75
0
7 www
造成威胁。另一些人的态度是不屑一顾，认为它只会说些不切实际的东西。还有一些人正在学 i t资 信3
优库认准
微
7 0 512
习一些易上手、但欠缺深度的教程，用它建立知识库，自动化日常工作，觉得“小小 3 075 GPT 不
信
过如此”，很容易就能“拿捏”它了。 u . com 准微om
o 认
. uko 资 源 ou.c
w
ww 051 2
一 手 .uko www
网 757 ww w 网 75
不过，这一轮技术革命并不是冲着这“仨瓜俩枣”来的，未来所有数字化工作都可能被大模型
源 0 源 0
t资 信 3 t资 信3
i 2 i
优 库 准微
7 0 51
技术颠覆。所以今天我会带你正本清源，看看这一轮技术革命的真正“终局”是什么样子。 优 库 准微
认
3 075 认

准 微信 准 微信
认 .co m
好大的口气，你可能会这么想。的确，在一个技术快速发展的阶段下断言，确实有些“冒 认 .co
源
资 ko o u 源
资 koou
险”，但我非常有信心与你分享我的判断，因为这已几乎成为了全球大模型工作者的共识。
手
一 ww. u 手
一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网 2 t 资
i 微信
优库认准
微
7051 库
优 认准
0 7 5
信3 m 微信
微 co
认 准 om ou. 准 o
资 源 ou.c . uko 资 源认ou.c
ko w
ww 0512 ko
一手ww.u 网 757 一手ww.u
w 源 0 w
i t资 信3
优库认准
微
7 0 512
3 075
信
. com 微
koo
u
源 认准.com
. u 资 koou
www 0512 手
一 ww.u www
源 网 757 w 源 网 75
0 0
i t资 信3 i t资 信3
微 12 微
优库认准 7 0 5 优库认准
3 075
准 微信 . com 准 微信
源 认 .com k oo u
源 认 .co
资 koou . u 资 koou
手
一 ww.u www 0512 手
一 ww.u
w 源 网 757 w
i t 资 信30
大语言模型驱动的智能体
优库认准
微
7 0 512
3 075
. c om
如上图所示，我们未来所面临的终局形态，不只是一个能说会道的聊天机器人，而是“具身智 准 微信
k o ou
源 认 .com
.u
能”的通用人工智能。所谓具身智能，就是像人一样能与环境交互感知，自主规划、决策、行 资 koou
www 0512 一 手
w . u www
7 ww
动的机器人。
资 源网3075 资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
ChatGPT 的发展简史 信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u
像人一样？你可能有点半信半疑，但别以为这是科幻小说虚构的故事。如果你足够细心，完全 . u 资
一 手 .uko www 0512 一 手 .uko
可以在 w
ww OpenAI 的发展过程中发现一些端倪。我现在就带你回顾一下 网 75 7 GPT 发展的过程当中有www
源 0
i t资 信3
哪些重要历史节点，看看它是怎样一步步进化的。
优库认准
微
7 0 512
3 075
om 微 信
. c
GPT 的诞生要归功于 NLP
k o ou 的快速发展。从 2018 年到
源 认准2021
. com 年，是第一代大语言模型
.u 资 koo u
www 0512
（LLM）的“技术爆炸”期。人们逐渐学会了，如何使用海量的无标签数据，来训练这些“涌
一 手
w . u www
源 网 757 ww 源 网 75
现”智能的大模型。随后，OpenAI
3 0 采用强化学习技术，点亮了 LLM 的智能，ChatGPT 由此 0
i t资 信 2 i t资 信3
优 库 准微
横空出世。 7 0 51 优 库 准微
认
3 075 认

准 微信 准 微信
认 .co m
如果你对前面的故事已经非常熟悉了，那说明你已超过
源 u 95% 侃侃而谈大模型技术的人了。 源认 u.co
资 ko o 资 koo
手
一 ww. u 手
一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
优 认 准 7 0 5 优 认准
但实际上，真正的故事才刚刚开始。我画了一张 7 5 OpenAI 产品发展的示意图，你可以猜测一
信 30
微
下他们之间的关系，接下来，我将会为你道出其中的逻辑。
准 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
3 075
om 微 信
. c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
3 075 认

准 微信 . com 准 微信
认 .co m u 认 .co
源 u k oo 源
手 资 ko o
w
u
w. 12 手 资 koou
一 ww. u w 0 5 一 ww.u
w 网 5 7 w
资 源 307
it 微信
库
优 认准 7 0 512
3 075
. c om
准 微信
k o ou
源 认 .com
.u 资 koou
www 0512 OpenAI 手
一
产品发展过程
w . u www
7 ww
资 源网3075 资 源网3075
it 微信
猩球崛起（使用工具）
库 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
人类之所以在地球上显得独特，一个重要原因是我们更擅长使用工具。对于已经掌握语言能力
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u
的大型语言模型（LLM）来说，学会使用工具只是一个时间问题，而且它们的学习速度比我们 . u 资
一 手 .uko www 0512 一 手 .uko
ww
想象的还要快。w 网 75 7 www
源 0
i t资 信3
优库认准
微
7 0 512
从 OpenAI 产品的各种迹象来看，他们正在教导 LLM 使用甚至创造工具。 3 075
om 微 信
. c
k o ou
源 认准.com
w.u 12 资 koou
首先，OpenAIww推出了插件和联网功能，弥补了大型语言模型自身记忆的不足。这标志着
0 5 一 手
w . u www
源 网 757 ww 源 网 75
LLM 正式开始学习使用工具。 3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
3 075 认
随后推出的函数功能，意味着 LLM 已经学会使用 API 来完成复杂任务，在此之前这可是后端
准 微信 准 微信
认 .co m
工程师的主要工作。最后推出的代码编辑器，让
源 u LLM 直接学会制造工具，这几乎动摇了所有源认 u.co
资 ko o 资 koo
手
工程师的饭碗。
一 ww. u 手
一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
优 认 准 7 0 5 优 认准
7 5
虽然人类可以掌控使用工具的大模型，但令人既兴奋又担心的是，研究人员还找到了让 LLM
信 30
微
“思考”的方法。我们这就来看看这人造的思维能力是怎样的！
准 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
西部世界（自我思考）
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
在美剧《西部世界》中，机器人乐园的创始人偷偷地为机器人植入了“意识”代码，导致机器
3 075
om 微 信
人自我对话，从而产生了自我意识。在真实世界中，类似的事情正在发生。各大机构正在制造
. c
k o ou
源 认准.com
.u 2
能够自我对话的“智能体”，从而彻底解放人类的脑力工作。
w 资 koou
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
你可以回想一下，当人类面临一个任务的时候，会怎么做？
7 0 51 优 库 准微
3 075 认

准 微信 . com 准 微信
m
首先，我们会思考任务的主要步骤有哪些，然后调取相关的资料，形成可行的方案，接着通过
认 .co u 认 .co
源 u k oo 源
手 资 ko o
分工去执行具体的事项，最后汇总完成任务。对于智能体来说也是一样，只不过要将之前人类 w
u
w. 12 手 资 koou
一 ww. u w 0 5 一 ww.u
w 网 5 7 w
大脑的工作交给大语言模型（LLM）完成。 资 源 307
it 微信
库
优 认准 7 0 512
3 075
技术要点 c om 微信
. 准
k o ou
源 认 .com
.u 资 koou
www 0512
在这里，我为你准备了一张智能体的结构图。为了让智能体具备“自治”的能力，一般需要将
一 手
w . u www
7 ww
源网3075
计划、记忆和工具这三部分组合起来。
资 资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
3 075
om 微 信
. c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
3 075 认

准 微信 准 微信
认 .co m 认 .co
源
资 ko o u 源
资 koou
手
一 ww. u 手
一 ww.u
大语言模型驱动的智能体
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
优 认 准 7 0 5 优 认准
7 5
接下来，我们就沿着这三个部分看看有哪些重点工作，当你把它们背后的逻辑弄清楚之后，后
信 30
微
面课程里学习具体细节时，才能做到心中有数。
准 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
任务规划（Planning）
w 源 网 75
0
7 www
i t资 信3
优 库 准微
7 0 512
教大型语言模型（LLM）思考的过程，有点像苏格拉底的“产婆术”。苏格拉底认为，他不能 认
3 075
om 微 信
代替别人思考，但他可以通过提问引导别人思考，就好像产婆引导孕妇一样。. c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
这种方法可以让 网 75LLM 7 对自己的想法进行调整和反思，最经典的方法是
ww ReAct，他有三个概 源网 075
源 3 0
i t资 信 2 i t资 信3
念： 微 1 库 准微
优库认准 7 0 5 优
3 075 认

准 微信 . com 准 微信
认 .co m
Thought：表示让大语言模型思考，目前需要做哪些行为，行为的对象是谁，它要采取的 u 认 .co
源 u k oo 源
手 资 ko
行为是不是合理的。
o
w
u
w. 12 手 资 koou
一 ww. u w 0 5 一 ww.u
w 网 5 7 w
资 源 307
Act：也就是针对目标对象，执行具体的动作，比如调用 it 微信 API 这样的动作，然后收集环境反
库
优 认 准 7 0 512
馈的信息。
3 075
. c om
准 微信
Obs：它代表把外界观察的反馈信息，同步给大语言模型，协助它做出进一步的分析或者决
k o ou
源 认 .com
.u 资 koou
策。 www 0512 一 手
w . u www
7 ww
资 源网3075 资 源网3075
库 it 微信 12 库 it 微信
准
你可以看看文稿后面的这张截图，图里展示的是
优 7 0 5 ReAct 的一个示例，它可以帮你加深理解。 优 认准
认 7 5
信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
3 075
om 微 信
. c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
3 075 认

准 微信 准 微信
认 .co m 认 .co
源
资 ko o u 源
资 koou
手
一 ww. u 手
一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网 2 t 资
i 微信
优库认准
微
7051 库
优 认准
0 7 5
信3 m 微信
微 co
认 准 om ou. 准 o
资 源 ou.c . uko 资 源认ou.c
ko w
ww 0512 ko
一手ww.u 网 757 一手ww.u
w 源 0 w
i t资 信3
优库认准
微
7 0 512
3 075
信
. com 微
koo
u
源 认准.com
. u 资 koou
www 0512 手
一 ww.u www
源 网 757 w 源 网 75
0 0
i t资 信3 i t资 信3
微 12 微
优库认准 7 0 5 优库认准
3 075
准 微信 . com 准 微信
源 认 .com k oo u
源 认 .co
资 koou . u 资 koou
手
一 ww.u www 0512 手
一 ww.u
w 源 网 757 w
0
i t资 信3
优库认准
微
7 0 512
3 075
. co m
准 微信
o u
ko 源 认 .com
. u 资 koou
www 0512 手
一 ww.u www
7
资 源网3075 w
资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30 ReAct 问答示例

准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
我们可以用这种方法来启发
ko LLM 工作，比如让它帮你制定工作方案，并持续向它提问，例
www 0512 手 .uko
一手ww.u 一
w
如：你的执行步骤有哪些潜在隐患和风险、有哪些方法可以降低风险、能否帮助我制定一些安 源 网 75
0
7 www
i t资 信3
全风险预案等等问题，以确保它生成的内容安全可靠。 优库认准
微
7 0 512
3 075
om 微 信
. c
在这个过程中，你要尽量唤醒 k o ou 认准.com
LLM 的相关知识，生成合理的计划，此时思维链技术（CoT）
源
w .u 2 资 koou
就非常重要了，它可以让 w
w 05 1 手 u
LLM 将任务分解为可解释的步骤。更多关于这些技术的细节，我们
一 w . www
源 网 757 ww 源 网 75
3 0
将在第三、第四章展开讨论。在此阶段，你只需掌握 LLM 在任务规划里如何使用即可。 it资 信30
i t资 信 2
优库认准
微
7 0 51 优 库 准微
3 075 认
记忆唤醒（Memory）
准 微信 准 微信
认 .co m 认 .co
源
资 ko o u 源
资 koou
无论是在制定计划、使用工具或执行任务的过程中，LLM
手 u 都需要外部信息的帮助来辅助进行 手
一 ww. 一 ww.u
w w
思考。为了更好地让 LLM 拥有记忆力，我们不妨先参考一下人类是如何记忆的。
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
优 认 准 7 0 5 优 认准
7 5
在神经科学研究中，人类的记忆可分为感觉记忆、短期记忆和长期记忆三种类型。
信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
o u
感觉记忆，是人体接收到外部信号以后，瞬间保留的视觉、听觉、触觉的记忆片段，在 . u
资
一手ww.u
ko www 0512 一 手 AI.uko
资
w
系统中类似于高维嵌入表示，也就是我们常说的 源 网 75 7
“Embedding”。
0 www
i t资 信3
优 库 准微 0 512
短期记忆，是你当前意识中的信息，在 LLM认中类似于提示词（Prompt）中的所有信息。 7
3 075
om 微 信
长期记忆，包含了你能回忆的所有信息，在 . c LLM 中类似于外部向量存储。
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
网 757
LLM 能“消化”的，只有提示词（Prompt）中的短时记忆，所以你只需要在长期记忆中选择
源 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优 库 准微
最重要的内容放入提示词，这里我给出一张图方便你理解这个过程。 7 0 51 优 库 准微
认
3 075 认

准 微信 . com 准 微信
首先，LLM co m
认 .在得到任务后，会帮助你制定记忆唤醒方案。 u 认 .co
源 u k oo 源
手 资 ko o
w
u
w. 12 手 资 koou
一然后，AI . u w 0 5 一 ww.u
www 系统执行该方案，生成相关的查询指令，从外部数据中查询数据。 网
源 307 5 7 w
资
it 微信
最后，我们将这些数据交给 LLM 来判断是否已获得足够完成任务的数据。如果没有，LLM库
优 认准 7 0 512
会生成新的唤醒方案，并循环这个过程。 3 075
. c om
准 微信
k o ou
源 认 .com
.u 资 koou
www 0512 一 手
w . u www
7 ww
资 源网3075 资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
3 075
om 微 信
. c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
3 075 认
微信 微信
现在，LLM 不但能制定任务规划，还能调取外部知识了。仅这两个能力足以让它自动化地完
准
认 .co m 准
认 .co
源
资 ko o u 源
资 koou
成很多脑力工作了。如果再让它学会使用工具，那潜力简直不可限量。我们再来聊一聊
手 u LLM
手
一 ww. 一 ww.u
w
使用工具的方法。 w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
优 认 准 7 0 5 优 认准
驾驭工具（Tools） 7 5
信 30
准 微 . c om
准 微信
要让 LLM 源 u . com
认学会使用工具，首先需要让它认识工具，比如 oou
TALM、Toolformer
k 和 Gorilla 等方 源认ou.c
o
资 o o . u 资
一手LLM
法让 . uk学会理解 API 的调用注释，这是 Plugin 和 www 0512等功能的基础。
Function 一 手 .uko
ww w 网 75 7 www
源 0
i t资 信3
优 库 准微
7 0 512
下图展示了 Gorilla 教会 LLM 使用 API 的全过程。 认
3 075
om 微 信
. c
k o ou
源 认准.com
首先，我们使用大量 w .u 2 API 调用代码和文档作为语料，训练一个可以理解 资 koou API 的大语言模
w
w 05 1 一 手
w . u www
型。 源网 0757 ww 源 网 75
0
t资 信 3 t资 信3
i 2 i
优库然后，AI准 微
系统还将对这些 7 0 51 API 进行向量化操作，将它们存储在向量数据库中作为外部记 优 库 准微
认
3 075 认
忆。 微信 微信
准 m u . com 准
源 认 .co k oo 源 认 .co
随后，当用户发起请求时候，AI
o u 系统会从外部记忆中，获取跟请求相关的 u API 交给 资 koou
LLM。
手 资 ko
u w w. 12 手
一 ww. 网
w
5 7 0 5 一 ww.u
w 源 307 w
最后，LLM 组合串联这些 API 形成代码，并执行代码，完成 资 API 的调用，生成执行结果。
it 微信
优 认准库
7 0 512
3 075
. c om
准 微信
k o ou
源 认 .com
.u 资 koou
www 0512 一 手
w . u www
7 ww
资 源网3075 资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
3 075
om 微 信
. c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 Gorilla 算法核心步骤
优 库 准微
3 075 认

此外，根据 准 微信 的  线报，GPT-4 使用了 MoE（混合专家模型）技术，由十多个领域专 准微信

Google
源 认 .com 源 认 .co
资 ko o u 资 koou
家模型共同提供服务。所以，它需要上层
手 u LLM 有能力为指定的需求，找到最合适的专家模 手
一 ww. 一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
优 认 准 7 0 5 优 认准
块，这其实也是一种 7 5
LLM 使用工具的能力。同样，就像前面提到的，OpenAI 发布的 Code
信 30
Interpreter，也正式宣告
准 微 LLM 制作工具的时代已经来临。 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
小结w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
相信通过今天的学习，你已经知道了这一轮技术革命的目的是什么，而且不仅
3 075 OpenAI 在进
信
com
行这些工作，国内的各大科技公司也在积极探索。这节课的知识重点，你可以参考后面的导图
u . 准微om
o 认
来回顾。 . uko 资 源 ou.c
w
ww 051 2
一 手 .uko www
网 757 ww w 网 75
源 3 0 源 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51
我们通过“产婆术”让大型语言模型学会“思考”。我们让它学会制定和反思自己的计划，并
优 库 准微
075
教会它获取外部知识和使用工具的方法，让它可以独立完成复杂任务。
3
认

准 微信 . com 准 微信
认 .co m u 认 .co
源 u k oo 源
手 资 ko o
w
u
w. 12 手 资 koou
一 ww. u w 0 5 一 ww.u
w 网 5 7 w
资 源 307
it 微信
库
优 认准 7 0 512
3 075
. c om
准 微信
k o ou
源 认 .com
.u 资 koou
www 0512 一 手
w . u www
7 ww
资 源网3075 资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
3 075
om 微 信
. c
k o ou
源 认准.com
w .u 2 资 koou
w 1
而且，LLM 除了使用工具之外，已经可以制造工具了。OpenAI
w 05 一 手
w . u 推出的 Code Interpreter， www
源 网 757 ww 源 网 75
3 0 0
让 LLM
i t资有能力解决处理几乎各种模态的二进制数据，而不仅限于文字和图像。长远来看，这
信 2 i t资 信3
优 库 准微
7 0 51 优 库 准微
将颠覆现有软件工程的模式，Serverless 已经不新鲜了，Codeless 才是未来的常态。
认
3 075 认

准 微信 准 微信
认 .co m 认 .co
源
除此之外，还有很多重要的内容，比如大模型的分布式训练技术、多模态大模型的训练方法，
资 ko o u 源
资 koou
手
一 ww. u 手
一 ww.u
以及实现可信
w AI，解决大模型幻觉的办法等等。其实这些相关技术，早在既有的 AI 系统中得 w
到了很好的实践，这些内容也会在后续的课程中逐渐展开，敬请期待。
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网 2 t 资
i 微信
优库认准
微
7051 库
优 认准
思考题 0 7 5
微 信3 om 微信
准 . c 准
认 .com
结合今天的内容，你觉得教会
源 LLM 制定计划，反思计划以及使用工具这几个方面，哪方面的 k oou 源认ou.c
o
资 o u . u 资
ko www 0512 手 .uko
一手ww.u
训练难度更大？为什么？ 一
w 源 网 75
0
7 www
i t资 信3
优库认准
微
7 0 512
恭喜你完成我们第 2 次打卡学习，期待你在留言区和我交流互动。也欢迎你把这节课分享给
3 075
om 微 信
身边朋友，和 TA 一起学习进步。 . c
k o ou
源 认准.com
© 版权归极客邦科技所有，未经许可不得传播售卖。w .u 2 资 koou
页面已增加防盗追踪，如有侵权极客邦将依法追究其法律责任。
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
5 认
全部留言 (4) 信307
准 微 . com 准 微信
认 .co m u 认 .co
最新 源 精选 u k oo 源
手 资 ko o
w
u
w. 12 手 资 koou
一 ww. u w 0 5 一 ww.u
w neohope 网 5 7 w
资 源 307
it 微信
512
来自上海
库
优 认准 0
7
大模型已经从“萌宠时代”，正式迈入了蹒跚学步的“婴儿时代”。
3 075
. c om
这个婴儿虽然短期记性不算好，但学习能力和长期记忆能力却无与伦比，潜力无限。
准 微信
k o ou
当大模型可以理解工具，使用工具，甚至制造工具、创造工具时，硅基生物时代也就开始降 源 认 .com
w.u 12 资 koou
临了。 w w
0 5 一 手
w . u www
7 ww
资 源网3075
期待。 资 源网3075
库 it 微信 12 库 it 微信
优 认 准 7 0 5 优 认准
7 5
30
作者回复:信你好，neohope！总结的非常好，在接下来的课程中也期待你的反馈。
准 微 . c om
准 微信
源 认 .com k oou 源认ou.c
o
资 o u . u 资
一手ww. uko 3 www 0512 一 手 .uko
w 源 网 75
0
7 www
i t资 信3
蚂蚁吹雪
优库认准
微
7 0 512
来自北京
3 075
om 微 信
《AI简史：从工具到上帝》 . c
k o ou
源 认准.com
w .u 2 资 koou
w
w 05 1 一 手
w . u www
作者回复: 7
网 75你好，蚂蚁吹雪！能总结出这个题目说明你真的理解了本节课的内容，👍🏻 ww 网 75
源 3 0 源 0
i t资 信 2 i t资 信3
优库认准
微
7 0 51 优 库 准微
075 认
  2
3
准 微信 准 微信
认 .co m 认 .co
FruitDealer
源 u 源
手 资来自四川 k o o
手 资 koou
一 ww. u 一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网
库 微 2 1 库
t
i 微信资
准 0 5
优 认老师，想请教一下向量化存储的技术细节，就是在LLM学习如何使用工具那一小节内容中提到
7 优 认准
7 5
信 30
的AI 系统对API
准 微 进行向量化操作并存储的时候，存储这些知识的结构是怎样的，是利用专家
. c om
准 微信
认 .com
知识设计一个框架然后不断填入的模式还是自动进行知识抽取存储的呢？如果是后者的话，在
源 k oou 源认ou.c
o
资 o o u . u 资
.uk
一手w这个过程中可能会出现知识体系不断扩展，杂乱无章的问题吧，AI系统是如何控制的呢？感谢 www 0512 一 手 .uko
w w 网 75 7 www
老师不吝赐教 源 0
i t资 信3
优库认准
微
7 0 512
3 075
作者回复: 你好，FruitDealer！ 信
. c om 微
k o ou
源 认准.com
w .u 2 资 koou
这是一个很好的问题，我会尽量用你问题中的措辞来作答，以便让你更好地理解。
w
w 05 1 一 手
w . u www
源 网 757 ww 源 网 75
3 0 资 信30
i t资在 LLM信 系统中添加新的 2 i t
优库认准
微
7 0 51 API 工具时，我们都会将其添加到 API Database 中。这个数据库的键（Ke 优 库 准微
075
y）是 API 的语义表征向量，而值（Value）则是
3 API 的调用代码。 认

准 微信 . com 准 微信
认 .co m u
源你所说的抽取出来的知识主要体现在查询键（Key）上面，它来自于
u u k ooAPI 代码示例本身（包括名称、 源认 u.co
资 ko o w. 12 资 koo
手 u w 手
一 ww.功能、版本、参数等）和一些辅助文档（如有）中对 API 网
w 5
的描述信息。针对不同的内容知识抽取方法
5 7 0 一 ww.u
w 7
源 30进行语义化的表达，而 w
不尽相同，比如对于 API 的名称可以直接使用 Embedding 资 API 文档中的大段
库 it 微信 12
描述则需要经过主题抽取，或者在切片后作为多个 优 认准Key 分别存储。 5705
信 307
m
co API 的所有相关信息抽取出一组语义
总的来说，我们会根据 o u .
认 准微Key，形成了对于它的倒排索引。这样，
om
k o 源 . c
.u
在出现相关语义请求的提示时，我们就可以根据这些 oou
资 kEmbedding 来检索得到与之相关的 API 代码。
www 0512 一 手
w . u www
7 ww
资 源网3075 资 源网3075
库 it共 2微 信 
条评论 12  库 it 微信
优 认 准 7 0 5 优 认准
7 5
信 30
一只豆 微
准 . c om
准 微信
来自广东
源 认 .com k oou 源认ou.c
o
资 o o u . u 资
.uk
一手w非常感谢老师开设这门课程！！要想做出产品，工业级的LLM系统搭建知识太必要了。 www 0512 一 手 .uko
w w 网 75 7 www
这堂课里面 用人类的三种记忆来类比 Embedding 源 0
Prompt 外部向量数据库 也非常捅破窗户纸
i t资 信3
的感觉。。。哈哈 优库认准
微
7 0 512
75
301645
最后有个小问题，在Gorilla那个图里面，首先是 curation信了 个 API call 在 Dataset 里
o m 微
面，然后后面那一步，是提供了
o o u.c 1645*10 个 指令和准
认 API com
的对。所以就是每个 API 都用 10 个
k 源 u .
指令的例子来教会 .u LLM。是吗？ 资 koo
www 0512 一 手
w . u www
源 网 757 ww 源 网 75
3 0 资 信30
i t资作者回复:信 你好，一只豆！ 2 i t
优库认准
微
7 0 51 感谢你的认可，你说的没错，Gorilla 确实通过 Self-Instruct 针对每个 优 库API准微
生成了 10 个指令来微调
3 075 LLM。 认

准 微信 准 微信
认 .co m 认 .co
源
资 ko o u  源
资 koou
手
一 ww. u 手
一 ww.u
w w
 源 07 w 源 307
3 www.ukoou.com
it资 信
一手认准:优库it资源网 2 t 资
i 微信
优库认准
微
7051 库
优 认准
0 7 5
信3 m 微信
微 co
认 准 om ou. 准 o
资 源 ou.c . uko 资 源认ou.c
ko w
ww 0512 ko
一手ww.u 网 757 一手ww.u
w 源 0 w
i t资 信3
优库认准
微
7 0 512
3 075
信
. com 微
koo
u
源 认准.com
. u 资 koou
www 0512 手
一 ww.u www
源 网 757 w 源 网 75
0 0
i t资 信3 i t资 信3
微 12 微
优库认准 7 0 5 优库认准
3 075
准 微信 . com 准 微信
源 认 .com k oo u
源 认 .co
资 koou . u 资 koou
手
一 ww.u www 0512 手
一 ww.u
w 源 网 757 w
0
i t资 信3
优库认准
微
7 0 512
3 075
. co m
准 微信
ko o u
源 认 .com
. u 资 koou
www 0512 手
一 ww.u www
源 网 757 w 源网3075
0
i t资 信3 资
it 微信
优库认准
微
7 0 512 库
优 认准
3 075
准 微信 . com 准 微信
源 认 .com koo
u
源认ou.c
o
资 koou . u 资 ko
手
一 ww.u www 0512 一手ww.u
w 源 网 757 w
0
i t资 信3
优库认准
微
7 0 512
3 075
信
. com 微
koo
u
源 认准.com
. u 资 koou
www 0512 手
一 ww.u www
源 网 757 w 源 网 75
0 0
i t资 信3 i t资 信3
微 12 微
优库认准 7 0 5 优库认准
3 075
准 微信 准 微信
源 认 .com 源 认 .co
手 资 koou 手 资 koou
一 ww.u 一 ww.u
w w