论文解读:小模型是较弱的工具学习者:多模型代理

论文地址：https://arxiv.org/html/2401.07324v1

大型语言模型 (LLM) 代理显着扩展了独立 LLM 的功能，使它们能够与外部工具（例如 API、函数）交互并以自我指导的方式完成复杂的任务。当工具更新时，整个法学硕士可能需要重新培训。特别是对于较小的模型，能力限制特别明显。作者提出的多 LLM 代理框架α-UMi。 该多LLM代理包括规划器、调用器和摘要器，用于与外部工具交互以完成用户的复杂指令。

方法论：

工具学习代理是旨在帮助用户通过一系列决策过程和工具使用来完成任务的系统 。工具学习任务对法学硕士的能力提出了很高的要求，包括任务规划、工具选择和调用、结果总结等。 使用单一开源法学硕士应对所有这些功能，尤其是在选择较小的法学硕士时，似乎具有挑战性。引入了 α-UMi框架，将工具学习任务分解为三个子任务，并将每个子任务分配给专门的LLM。 这些模型根据其在工具使用中的角色进行区分，每个模型都有独特的任务定义、系统提示和模型输入。

规划器：承担规划和决策的责任，作为我们代理框架的“大脑”。规划器生成下一步的决策：

(1) 如果决策是“下一步：调用者”，则调用器将被激活，并且将生成调用工具的操作。

(2) 如果决策是“下一步：摘要器”，则摘要器将被激活，为用户生成最终答案，代理执行将结束。

(3) 如果决策为“下一步：放弃”，则表示用户的指令在当前情况下无法解决，系统将被终止。

调用器：与代码解释器和API等环境交互需要LLM生成合法且有用的代码或请求，这可能会在微调 中与其他能力（例如推理和一般响应生成）发生冲突。 因此训练专门的调用者来生成使用工具的操作。

摘要器：代理的最终响应旨在向用户提供信息丰富且有用的信息，这与主要侧重于规划和推理的基本原理不同，引导模型集中精力总结执行轨迹并向用户呈现答案。

全局到局部的渐进微调 ，

第一阶段，LLM主干在原始训练数据集上进行训练，不区分子任务，从而增强对工具学习任务的全面理解。 创建该 LLM 主干的三个副本以分别实例化规划器、调用器和摘要器。

第二阶段，训练数据集被重新组织成适合每个法学硕士在工具使用中的角色的新数据集，并对规划者、调用者和总结者在各自的数据集上进行持续微调，微调目标分别是生成基本原理、行动和最终答案。

实验设置如下：

1、基准测试，在四个工具学习基准上评估了框架的有效性：ToolBenchqin、ToolAlpaca、 MATH和GSM8K。 为了促进我们框架的训练，我们使用 gpt-3.5-turbo-1106 OpenAI和 gpt-4 OpenAI 收集训练集的执行轨迹。

2、指标 ，ToolBench的测试集涉及通过RapidAPI调用API ，此外，我们还检查 API 名称幻觉的频率以及智能体在每一步决策的准确性 (Plan ACC)，包括工具调用、答案生成和放弃决策。对于 ToolAlpaca，评估过程正确率（Proc.）和最终答案正确率（Ans.），均由 GPT-4 评估。 在 MATH 和 GSM8K 的情况下，将最终答案准确性（ACC）作为关键指标。

3、实施细节，在第一阶段，我们对主干LLM进行微调，学习率为5e-5，持续2个epoch。 然后，我们创建这个微调主干的三个副本，分别实例化规划器、调用器和摘要器。 在第二阶段，我们对三个 LLM 进行微调，学习率降低为 1e-5。 规划器和调用器经过 1 个 epoch 的微调，而摘要器经过 2 个 epoch 的微调。

4、基线，与三种基线方法进行比较，Single-LLM是指传统的single-LLM工具学习方法，Multi-LLMone-stage涉及直接在自己的子任务数据集上微调规划器、调用器和摘要器，而不采用我们的两阶段微调策略，Single-LLMmulti-task指使用同一个法学硕士来履行计划者、调用者和总结者的角色。

结果：

α-UMi 在各种工具学习基准测试中均优于 Single-LLM、Multi-LLMone-stage和 Single-LLMmulti-task。

α-UMi 将复杂的任务分解为更简单的任务，减轻LLM的工作量。

α-UMi 在提示设计方面提供了更高的灵活性，为每个 LLM 创建特定的提示和模型输入，以充分利用其在子任务中的功能。

从全局到局部渐进微调（GLPFT）策略对于增强我们的多LLM系统中的微调过程至关重要。

α-UMi旨在通过集成多个LLM形成一个代理来减轻LLM在工具使用任务中的工作量，特别适合开源、小型LLM。

点评：

由于资源和成本的限制，大多数企业无法获取更大更优秀的大模型，充分利用开源的小模型，通过微调它们的能力，使其部分增强，分别执行不同的子任务来实现复杂任务的执行能力。这是一个有趣的思路和有益的尝试，当然选择这样的小模型需要有一个相当全面的能力评估，越强大的小模型作为基础模型来做后面的微调效果越好，当然微调的方法（SPIN、反实时DPO）以及数据集（自蒸馏等）还可以有更多优化完善的地方。