Professional Documents
Culture Documents
555 (1) (中文(简体))
555 (1) (中文(简体))
进行基准测试
1亚利桑那州凤凰城梅奥诊所放射肿瘤科,85054
2 佐治亚大学计算机学院,佐治亚州雅典,30602
摘要
目的:介绍根据美国医学物理学家协会(AAPM)工作组(TG)-263 标准使用大型语言模
型(LLM)重新标注结构名称的概念,并为未来研究建立一个参考基准。
方法和材料:生成式预训练变换器(GPT)-4 应用程序编程接口(API)是作为医学数
字成像和通信(DICOM)存储服务器实现的,在接收到结构集 DICOM 文件后,GPT-
4 会根据 AAPM TG-263 重新标注目标体积和正常组织的结构名称。评估选择了前列腺
、头颈部和胸部三个疾病部位。在每个疾病部位类别中,随机抽取 150 名患者手动调
整指示提示(每批 50 人),并随机抽取 50 名患者进行评估。所考虑的结构名称是那
些最有可能与对许多患者使用结构轮廓进行研究相关的名称。
结果对前列腺、头颈部和胸部病例的目标体积和正常组织进行重新标记的总体准确率分别
为 96.0%、98.5% 和 96.9%。除前列腺外,目标体积的重新标记平均准确率较低,分别为
100%、93.1% 和 91.1%。结论鉴于 GPT-4 在重新标注靶体积和正常组织结构名称方面的准
确性,LLM 将成为放射肿瘤学中标准化结构名称的首选方法,尤其是考虑到 LLM 功能可
能会继续快速发展。
1 导言
放射肿瘤学的一个长期问题是靶体积和正常组织的结构名称标记不一致[1, 2, 3, 4, 5, 6, 7, 8, 9,
益受到重视,机器学习[15, 16, 17, 18, 19, 20, 21, 22]、人工智能(AI)[23, 24, 25, 26, 27, 28]等
1
新技术不断涌现、
越重要[35]。结构名称标注不一致的问题并非偶发挑战,而是该领域的从业人员、研究人员
和技术人员经常面临的一个长期障碍。
∗通讯作者:holmes.jason@mayo.edu
2
用 GPT-4 进行结构重标记
组(TG)-263[36] 的文件,定义了包括靶体积和正常组织在内的结构命名标准。然而,尽管
也可能保持不变,这为大规模数据挖掘研究造成了障碍。为 此 ,研究人员对重新标注结构名
称的方法进 行 了前瞻性和回顾性研究。
以往的重标记方法通常采用查找表[2]、模板[13]或机器学习[1, 3, 4, 5, 6]。机器学习方法的输
入通常包括结构名称和转换为二进制掩码的结构。输入信息还可能包括 CT 信息、剂量信息
或结构体积大小。除结构名称外,加入其他信息也能改善结果。不过,这些研究始终强调了
一个重要发现:结构名称本身是影响这些模型正确重新标注结构名称准确性的最重要因素。
尽管之前的方法在区分和整理结构名方面相对成功,但通常只适用于一小部分结构,没有一
种方法是全自动和通用的(能够重新标注任何结构名)。此外,这些方法并不能直接解释
2 方法与材料
桑那州梅奥诊所放射肿瘤部的 Aria(瓦里安医疗系统公司,加利福尼亚州帕洛阿尔托)患者
患者信息)。
3
用 GPT-4 进行结构重标记
希望考虑尽可能多的结构名称,同时还能对不同研究的重新标记准确性进行合理比较。
有考虑任何结构
4
用 GPT-4 进行结构重标记
图 1:实施情况。
含有数字的结构名,通常是剂量测定师在 制 定 治疗计划时作为补充结构生成的,或者是
治疗师根据我们的机构协议在射束传输过程中为患者对齐时使用的。虽然这类结构名称在很
们很可能不会用于以数据为中心的放射肿瘤学研究。尽管如此,GPT-4 仍被要求重新标注所
结构名称重新标注的有效性,我们还为每个疾病部位提供了一个输出示例(见附录)。
2.1 实施情况
部位都有各自的重新标注应用程序。我们使用内部患者搜索引擎按疾病部位选择患者。选定
图见图 1。网络监控系统允许下载重新标记过程中生成的日志,这些日志可用于临床研究评
估。
2.2 提示
尝试向模型传授执行任务所需的知识,而模型从未接受过这方面的训练。思维链是一种策略
5
用 GPT-4 进行结构重标记
准结构名称。
6
用 GPT-4 进行结构重标记
图 2:用于手动调整提示的机构特定部分的工作流程。
4. 与发病地点相对应的特定机构说明。
理由。
6. 重新标注结构名称。
机构可能会有一些非常常见的特定结构名,最好在机构特定说明中明确定义结构名。例如,
定义。一般来说,机构专用说明应精心制作,以提高准确性,同时满足机构的临床需求。本
研究中使用的机构特定提示的调整工作流程见图 2。
在对特定机构的提示进行调整后,每个疾病部位随机抽取 50 名患者进行评估。在分析每个疾
3 成果
每个疾病部位考虑的结构名称数量(每个疾病部位 50 名患者)反映了其整体复杂性。前列腺
个被考虑在内。
病部位分列的股道名称重新标记准确性结果。优化靶体积(OTV)仅用于本机构的质子治疗
7
用 GPT-4 进行结构重标记
"PTV_Lumpectomy"。在某些情况下,本应大写的字母没有大写。
8
用 GPT-4 进行结构重标记
,而本应标注为 "Bronchus_Prox"。
表 1:每个疾病部位的总体准确率。
4 讨论
处理各疾病部位高度异构的结构名称集方面表现出色,证明了其在真实世界临床环境中工作
的能力。事实上,我们的诊所正在将这一应用用于结构对比研究以及数据预处理,以训练需
要结构轮廓的人工智能模型。
9
用 GPT-4 进行结构重标记
个明显的优势。LLM 具备所有
10
用 GPT-4 进行结构重标记
11
用 GPT-4 进行结构重标记
12
用 GPT-4 进行结构重标记
导致 OTV 性能不佳。
GPT-4 的一些轶事观察结果如下:在不考虑准确性的结构名称中,错误分类似乎最常发生在
方式出错,这就有可能对算法进行修正。最后,幻觉在本应用中基本不存在,这可能是由于
GPT-4 的反应缺乏自由度。虽然错误分类可被视为幻觉,但没有比人类可能犯下的错误更严
重的错误。
本研究或方法存在以下局限性。根据使用情况,错误可能难以解决,但可以通过检查应用日
志文件来缓解。由于标签的标准化精确度很高,假定研究中存在一组特定的相关结构名称,
那么被误标 的结构应该相对容易识别,因为绝大多数结构名称都是正确的。有些结构名称不
13
用 GPT-4 进行结构重标记
"CTV_Prostate_5000"。这个问题可以通过考虑比结构名更多的信息来解决。如前所述,在确
我们的目的主要是考虑在以数据为中心的放射肿瘤学研究中会感兴趣的结构名称(详见第 2
节)。
14
用 GPT-4 进行结构重标记
与这一概念相关的未来工作可能包括利用原始标签和地面实况标签对较小的基础模型进
,除了结构名称之外,还可以通过提供额外的信息来提高性能,例如 CT 信息、结构体积
大小或剂量信息等文本信息。例如,除了每个结构的结构名称外,还可以在提示中使用结
构的体积大小、最小剂量和最大剂量。最后,随着基础模型获得多模态功能,AAPM TG-
263 报告可能会与结构集、CT、剂量等的可视化表示一起包含进来。
5 结论
准的理想方法。
A 前列腺病例
## gpt -4 response
理由 :
Otv 前列腺 :这是前列腺的优化目标体积。
根据指南,优化卷的前缀应为 "z"。因此,应更名为 z OTV_Prostate。
膀胱:这是一个标准结构名称,格式已经正确。
fem_head_r : 表示右股骨头。根据指南,应将其更名为 Femur_Head_R。
fem_head_l : 表示左侧股骨头。根据指南,应将其更名为 Femur_Head_L。
rectum(直肠):这是一个标准结构名,格式已经正确。
penile_bulb:这是一个标准结构名,格式已经正确。
bowel_large:这是一个标准结构名,格式已经正确。
Ctv 前列腺 :这是前列腺的临床目标体积。根据指南,应将其更名为 CTV_Prostate。
svprox:代表近端精囊。根据指南,它应更名为 Seminal Ves_Prox。
BODY:代表身体。根据指导原则,应将其更名为 Body。
Body - OTV:表示减去优化目标体积后的身体。根据指南,应更名为身体 - OTV。
sv:表示精囊。根据指南,它应更名为精囊。
bowel_small:这是一个标准结构名,格式已经正确。
15
用 GPT-4 进行结构重标记
直肠尖端:表示直肠的尖端。根据指南,应将其更名为 Rectal_Tip。
stv:表示扫描目标体积。根据指南,应将其更名为 STV。
前列:这是一个标准结构名称,格式已经正确。
FD_Artifact : 这表示一个定位工件。根据指南,应将其更名为 FD_Artifact。
FD_Air : 这表示一个靶标空气。根据指南,应将其更名为 FD_Air。
LET : 这不是一个标准的结构名称,应保持原样。
重新标注结构名称 :
{'Otv前列腺':'z OTV_前列腺','膀胱':'膀胱','fem_head_r':'Femur_Head_R',
'fem_head_l':'Femur_Head_L','直肠':'直肠','penile_bulb':'阴茎球',
'bowel_large':BODY ': ' Body ', ' body - otv ':' Body - OTV ', ' sv ': '
Seminal Ves ', ' bowel_small ': ' Bowel_Small ','BODY ': ' Body ', ' body - otv
': ' Body - OTV ', ' sv ': ' Seminal Ves ','bowel_small ': ' Bowel_Small ', '
BODY ':' Body
直肠尖端":"Rectal_Tip","stv":"STV"," 前列腺":"Prostate","FD_Artifact":
"FD_Artifact","FD_Air":"FD_Air","LET":"LET '}
## re - labeling
Otv 前列腺 - - - - - - - - > z OTV_ 前列腺膀胱 ------
-- > 膀胱
fem_head_r -------- > Femur_Head_R fem_head_l
-------- > Femur_Head_L rectum -------- >
直肠
阴茎球茎 -------- > Penile Bulb bowel_large
-------- >Bowel_Large 0 _Fiducials not
considered by GPT - 4... unchanged Ctv Prostate --
------ >CTV_Prostate svprox --------
>Seminal Ves_Prox
正文 -------- > 身体
身体 - OTV -------- >身体 - OTV
sv -------- >精囊 Ves bowel_small ----
---- >Bowel_Small 直肠尖端 --------
>Rectal_Tip stv -------- >STV
前列腺 -------- >前列腺 FD_Artifact
-------- >FD_Artifact FD_Air ----
---- >FD_Air
LET -------- > LET
B 头颈部案例
## gpt -4 response
理由 :
16
用 GPT-4 进行结构重标记
17
用 GPT-4 进行结构重标记
重新标注结构名称 :
{'BODY':'Body','brain_stem':' Brainstem','brain_stem_prv':'Brainstem_PRV',
'cochlea_l':'Cochlea_L','cochlea_r':'耳蜗_R': '耳蜗_R', 'constrictor prv':
'Musc_Constrict_PRV' , 'constrictors_p' : ' Musc_Constrict_P', 'cord'
: 'Spinal Cord','cord_prv':脊髓_PRV":"脊髓_PRV","环_p_入口":"环咽","食道":
18
用 GPT-4 进行结构重标记
19
用 GPT-4 进行结构重标记
## re - labeling
正文 -------- > 身体
脑干 -------- > 脑干 brain_stem_prv -----
--- >Brainstem_PRV cochlea_l -------- >Cochlea_L
cochlea_r -------- >Cochlea_R
constrictor prv -------- >Musc_Constrict_PRV
constrictors_p -------- >Musc_Constrict_P 脊髓
-------- >脊髓
脊髓_PRV -------- > 脊髓_PRV 环_p_入
口 -------- >环咽 食管 -------- >食道
esophagus_cerv -------- >Esophagus_Cerv
ext_aud_canal_l -------- >Ext Aud Canal_L
ext_aud_canal_r -------- >Ext Aud Canal_R add 63--
------ >ad 63
热 63 -------- > 热 63
喉 -------- > 喉
喉 - ctv -------- > 喉 - CTV
喉 - ptv -------- > 喉 - PTV
嘴唇 -------- > 嘴唇
下颌骨 -------- >骨_下颌骨乳突_l --
------ >骨_乳突_ L 乳突_R -------- >骨_乳突
_R 口腔腔 --------
>Cavity_Oral oral_cavity - ptv --------
>Cavity_Oral - PTV parotid_l --------
>Parotid_L parotid_l_prv --------
>Parotid_PRV_L PTV_ 7000 -------- >PTV_
7000
PTV_ 6300 -------- > PTV_ 6300
PTV_ 5600 -------- > PTV_ 5600
semi_cir_canal_l -------- > Semicir Canal_L
semi_cir_canal_r -------- > Semicir Canal_R sub_mandib_l
- - -- - - - - > Glnd_Submand_L
20
用 GPT-4 进行结构重标记
21
用 GPT-4 进行结构重标记
C 胸腔
理由 :
22
用 GPT-4 进行结构重标记
重新标注结构名称 :
{' BODY ': ' Body ', ' SCF_r LN PTV ': ' PTV_LN_Sclav_R ', ' lung_l ': ' Lung_L ',
' lung_r ': ' Lung_R ', ' Scar wire ':' FD_Scar ', ' med wire ': ' FD_Med ','lat
wire ': ' FD_Lat ', ' cord ': ' Spinal Cord ', ' esophagus ': ' Esophagus ',
' heart ': ' Heart ':心脏":"心脏","lung_total":"肺","thyroid":
"Glnd_Thyroid","body - ptv": " Body - PTV","CW_r PTV":"PTV_Chestwall_R","CW_r
PTV_EVAL":"PTV_Chestwall_R_Eval","trachea":"Trachea","hum_head_r":"Humeral
Head_R","Bolus_ 0 .3 cm ': ' Bolus_03 ', ' IDL 50 perc CW ': ' IDL 50
_Chestwall ', ' surgical clips ': ' Clips_Surgical ', ' CW_r CTV ': '
CTV_Chestwall_R ', ' carina ': ' carina ', ' liver ': ' Liver ', '
chestwall_liver ': 肝脏":"Chestwall_Liver","IDL 50 p CW_flash":"IDL 50
_Chestwall_Flash ","SCF_r LN CTV":"CTV_LN_Sclav_R","IDL 50 perc SC":"IDL 50
_Spinal Cord","Couch Surface":"Couch Surface","Couch Interior":"Couch
Interior"}。
## re - labeling
正文 -------- > 身体
SCF_r LN PTV -------- > PTV_LN_Sclav_R
lung_l -------- > 肺_L
lung_r -------- > 肺_R
疤痕线 -------- > FD_Scar
药线 -------- > FD_Med
纬线 -------- > FD_Lat
脊髓 -------- >脊髓 食管 --------
>食道 心脏 -------- >心脏
肺_总计 -------- > 肺部 甲状
腺 -------- >Glnd_Thyroid body - ptv-------
- >身体 - PTV
CW_r PTV -------- > PTV_Chestwall_R
CW_r PTV_EVAL -------- >PTV_Chestwall_R_Eval 气管 -
23
用 GPT-4 进行结构重标记
------- >气管
24
用 GPT-4 进行结构重标记
参考资料
构的有效方法。放射肿瘤学进展》, 4(1):191-200,2019。
[3] William C. Sleeman IV, Joseph Nalluri, Khajamoinuddin Syed, Preetam Ghosh, Bartosz
Krawczyk, Michael Hagan, Jatinder Palta, and Rishabh Kapoor.用机器学习方法将任意
Dicom结构集重新标记为Tg-263定义的标签。生物医学 信息学杂志》,109:103527,
2020 年。
类的机器学习。应用临床医学物理学杂志》, 23(9):e13662,2022。
25
用 GPT-4 进行结构重标记
称标准化。医疗保健》,8(2),2020 年。
26
用 GPT-4 进行结构重标记
像与放射肿瘤学杂志》,63(4):517-529, 2019。
[8] 亚历克西斯-安德鲁-米勒放射肿瘤规划中轮廓和体积标准化命名的合理信息化方法。放射
Fong 、 Heping Xu 、 Matthew Kovoor 、 Joonsang Lee 、 Arvind Rao 、 Mary Martel 、 Reid
确定为现实世界大数据的挑战:多中心大数据聚合(Lambda)联盟分析学习的结果。放
[10] Tufve Nyholm, Caroline Olsson, Måns Agrup, Peter Björk, Thomas Björk-Eriksson, Giovanna
Gagliardi, Hanne Grinaker, Adalsteinn Gunnlaugsson, Anders Gustafsson, Magnus Gustafsson,
Bengt Johansson、Stefan Johnsson、Magnus Karlsson、Ingrid Kristensen、Per Nilsson、Leif
治疗数据的全国性方法。放射治疗和 肿瘤学》,119(2):344-350,2016 年。
较。 医学中的澳大利亚物理与工程科学》,39:633-644,2016。
化和人工智能。临床肿瘤学》, 34(2):128-134,2022。
[13] Rex A.Cardan, Elizabeth L. Covington, and Richard A. Popple.技术说明:改善 tg-263 合规性
Physics), 20(9):163-165,2019。
[14] 郑万佳、麦秀英、游奕琪、黄思娟、陶雅兰、池峰、曹新平、林成光、黄晓燕、杨昕。
宫颈癌放疗术语标准化。中华放射肿瘤学杂志》,第180-185页,2021年。
。Front Oncol, 8:110, 2018.2234-943x Feng, Mary Valdes, Gilmer Dixit, Nayha Solberg, Timothy
27
用 GPT-4 进行结构重标记
等。铅笔束扫描质子疗法(ppspt)治疗头颈部癌症患者下颌骨骨坏死(orn)的经验性相
2022。
[17] Y Yang, Samir H Patel, J Bridhikitti, William W Wong, Michele Y Halyard, LA McGee,
JC Rwigema, Steven Eric Schild, SA Vora, T Liu, et al.
28
用 GPT-4 进行结构重标记
采用强度调制质子疗法(IPT)治疗的头颈部癌症患者不良反应区的线性能量转移(
量转移(let)体积直方图(dlvh)用于强度调制质子治疗(impt)不良事件研究的探索性研究
):1189-1199,2021年。
制质子疗法(impt)与强度调制放射 (imrt)治疗Ⅲ期非小细胞肺癌后的心肺毒性。临
床肺癌》,2022 年。
Rwigema 等.局部晚期非小细胞肺癌患者接受强度调制质子疗法与强度调制放疗的早期疗
:450-458,2020 年。
子束放疗或强度调制光子放疗治疗食管癌后的急性毒性和短期患者预后:马约诊所 。放
射肿瘤学进展》,5(5):871-879,2020 年。
[22] Ronik S Bhangoo 、 Trey C Mullikin 、 Jonathan B Ashman 、 Tiffany W Cheng 、 Michael A
100675,2021。
[23] Elizabeth Huynh, Ahmed Hosny, Christian Guthier, Danielle S. Bitterman, Steven F. Petit,
Daphne A. Haas-Kogan, Benjamin Kann, Hugo J. W. L. Aerts, and Raymond H. Mak.放射肿瘤
学中的人工 智能。自然-临床肿瘤学评论》,17(12):771-781,2020 年。
[24] Lian Zhang, Jason M Holmes, Zhengliang Liu, Sujay A Vora, Terence T Sio, Carlos E Vargas,
29
用 GPT-4 进行结构重标记
Nathan Y Yu, Sameer R Keole, Steven E Schild, Martin Bues, et al. Beam mask and sliding
window-facilitated deep learning-based accurate and efficient dose prediction for pencil beam
scanning proton therapy. arXiv preprint arXiv:2305.18572, 2023.
[25] Y Ding、Z Liu、H Feng、J Holmes、Y Yang、N Yu、T Sio、S Schild、B Li 和 W Liu
。基于深度神经网络的肺癌精确高效可变形图像配准方法。医学物理学》第 49 卷第
基于深度学习的医生风格感知分割网络,用于前列腺癌术后临床 目标体积。医学人工智
能》,121:102195,2021。
30
用 GPT-4 进行结构重标记
[28] 廖文雄、刘正良、戴海星、吴子豪、张逸阳、黄晓珂、陈裕忠、蒋曦、朱大江、刘天明
[29] Jason Holmes 、 Zhengliang Liu 、 Lian Zhang 、 Yuzhen Ding 、 Terence T. Sio 、 Lisa A.
[30] Zhengliang Liu, Peilong Wang, Yiwei Li, Jason Holmes, Peng Shu, Lian Zhang, Chenbin Liu,
Ninghao Liu, Dajiang Zhu, Xiang Li, et al. Radonc-gpt:用于放射 肿瘤学的大型语言模型。
arXiv preprint arXiv:2309.10160, 2023.
[31] Lian Zhang, Zhengliang Liu, Lu Zhang, Zihao Wu, Xiaowei Yu, Jason Holmes, Hongying Feng,
Haixing Dai, Xiang Li, Quanzheng Li, et al. Segment anything model (Sam) for radiation
oncology. arXiv preprint arXiv:2306.11730, 2023.
[33] Haixing Dai, Zhengliang Liu, Wenxiong Liao, Xiaoke Huang, Zihao Wu, Lin Zhao, Wei Liu,
Ninghao Liu, Sheng Li, Dajiang Zhu, et al. Chataug : Leveraging chatgpt for text data
augmentation. arXiv preprint arXiv:2302.13007, 2023.
[34] 吴子豪、张璐、曹超、于晓伟、戴海星、马冲、刘正良、赵林、李刚、刘伟等:探索权
会、多方利益相关者、共识驱动的信息学标准,支持临床和研究使用来自接受 治疗的癌
症患者的真实世界数据。国际放射肿瘤学*生物学*物理学杂志》,117(3):533-550,
2023。
31
用 GPT-4 进行结构重标记
[36] Charles S. Mayo, Jean M. Moran, Walter Bosch, Ying Xiao, Todd McNutt, Richard Popple, Jeff
Michalski, Mary Feng, Lawrence B. Marks, Clifton D. Fuller, Ellen Yorke, Jatinder Palta, Peter
E. Gabriel, Andrea Molineu, Martha M. Matuszak, Elizabeth Covington, Kathryn Masi, Susan
L. Richardson, Timothy Ritter, Tomasz Morgas, Stella Flampouri, Lakshmi
Santanam.Matuszak, Elizabeth Covington, Kathryn Masi, Susan L. Richardson, Timothy Ritter,
Tomasz Morgas, Stella Flampouri, Lakshmi Santanam, Joseph A. Moore, Thomas G. Purdie,
Robert C. Miller, Coen Hurkmans, Judy Adams, Qing-
32
用 GPT-4 进行结构重标记
Rong Jackie Wu 、 Colleen J. Fox 、 Ramon Alfredo Siochi 、 Norman L. Brown 、 Wilko
J. Fitzgerald 、 Theodore Hong 、 Rishabh Kapoor 、 Beth Lansing 、 Shruti Jolly 、 Mary E.
Napolitano 、 James Percy 、 Mark S. Rose 、 Salim Siddiqui 、 Christof Schadt 、 William E.
Simon 、 William L. Straube 、 Sara T. St.Napolitano, James Percy, Mark S. Rose, Salim
Siddiqui, Christof Schadt, William E. Simon, William L. Straube, Sara T. St. James, Kenneth
Ulin, Sue S. Yom, and Torunn I. Yock.美国医学物理学家协会第 263 工作组:放射肿瘤学术
辅助医学教育和决策的潜力与挑战。肿瘤学前沿》,13:1265024,2023。
[39] Jason Holmes, Zhengliang Liu, Lian Zhang, Yuzhen Ding, Terence T Sio, Lisa A McGee,
Jonathan B Ashman, Xiang Li, Tianming Liu, Jiajian Shen, et al. Evaluating large language
mod- els on a highly-specialized topic, radiation oncology physics. ArXiv preprint
arXiv:2304.01938, 2023.
[40] Chenbin Liu, Zhengliang Liu, Jason Holmes, Lu Zhang, Lian Zhang, Yuzhen Ding, Peng Shu,
Zihao Wu, Haixing Dai, Yiwei Li, Dinggang Shen, Ninghao Liu, Quanzheng Li, Xiang Li,
Dajiang Zhu, Tianming Liu, and Wei Liu.放射肿瘤学人工通用智能, 2023。
C Hong)。释放 chatgpt、人工智能和大型语言模型的力量:给放射肿瘤学家的实用建议》。
实用 放射肿瘤学》,2023 年。
[42] Takeshi Kojima, Shixiang (Shane) Gu, Machel Reid, Yutaka Matsuo, and Yusuke Iwasawa.大
[43] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian ichter, Fei Xia, Ed Chi,
Quoc V Le, and Denny Zhou.大型语言模型中的思维链提示推理。S. Koyejo、S. Mohamed
33
用 GPT-4 进行结构重标记
34