<MultiTool-CoT: GPT-3 Can Use Multiple External Tools with Chain of Thought Prompting> 论文粗读
💡 Meta Data
| Title | MultiTool-CoT: GPT-3 Can Use Multiple External Tools with Chain of Thought Prompting | | —————————————————————— | ———————————————————————————————————————————————- | | Journal | () | | Authors | Inaba Tatsuro,Kiyomaru Hirokazu,Cheng Fei,Kurohashi Sadao | | Pub.date | 2023 |
📜 研究背景 & 基础 & 目的 (Motivation)
-
LLM 在各种推理任务上取得了令人瞩目的性能。
-
外部工具注入推理过程的研究都集中于单个外部攻击解决LLM的单个问题，而没有一起解决不同的问题
- 本文解决：多个外部工具、同时解决多个问题
-
为了进一步提高性能，提出了MultiTool-CoT
🔬 研究方法
提出了MultiTool-CoT 交互式框架：利用CoT提示在推理过程中整合多种外部工具（计算器、知识检索器）（包含工具触发的推理）
训练方法：few-shot learning ，学习在适当的推理步骤中调用多个外部工具
-
指令包括：可用的外部工具、带有推理过程的少样本示例、待解决的问题
-
工具触发器：«外部工具名称»
-
工具触发的流程：
- 在推理时如果生成了工具触发，则停止文本生成，
- 然后从推理过程中提取外部工具的名称和工具的输入，
- 然后执行工具，并将结果附加到推理过程末尾
- 如果工具调用失败，则回退让GPT生成工具的输出
-
答案：用额外的few-shot从最后一句输出映射到答案值
🚩 结论
- NumGLUE 的任务 2 数据集（该数据集需要数值推理和特定领域的知识），MultiTool-CoT 显著优于强大的基线模型，并取得了最先进的性能
error case:
- 不正确的推理过程（39%）
- 无效的工具输入（35%）
- 格式错误（11%）
- 不正确的答案（15%）
📌 感想 & 疑问
-
这里的工具调用是如何实现停止的？（直接输出停止吗？）
- 是检测到工具触发格式了就停止生成了。然后调用工具继续再生成
*
*