微软亚研院新作：让大模型一口气调用数百万个 API

近些年，人工智能产业快速，特别是像 ChatGPT 这种基本大模型，在会话、前后文认知和编码生成等多个方面发挥出色，可以为多种多样每日任务提供建议。

但特定领域任务上，因为技术专业数据信息的缺失和可能的计算误差，他们表现并不是很好。与此同时，尽管已经有一些专业对特定任务 AI 模型和系统表现优异，但它们往往不容易和基础大模型集成化。

为解决这种关键问题，TaskMatrix.AI 化茧成蝶、应时而生，它是由微软公司（Microsoft）设计方案公布的新式 AI 绿色生态系统。

其关键技术最近在《科学》协作刊物 Intelligent Computing 上发表的论文 TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs 中首次亮相，作者为微软亚洲研究院的段楠博士团队：

（详细连接：https://spj.science.org/doi/10.34133/icomputing.0063）

TaskMatrix.AI 将基本大模型与数以百万计的应用程序编程接口（APIs）相互连接达到目标。

其核心内容是利用已有的基本大模型做为相近大脑中间系统，结合其他 AI 模型和系统的 APIs 做为各种各样子目标解决者，并完成数据和物理行业的多元化每日任务。

▲ 图由 DALL・E 3 生成TaskMatrix.AI 如何运行？

TaskMatrix.AI 的整体框架由下列四个关键部件组成：

跨模态会话基本模型（MCFM）：承担和用户沟通交流，了解他们的目标和前后文（跨模态），同时结合 API 生成可执行代码并完成相应每日任务。MCFM 能够处理文字、图像、短视频、声频和编码等跨模态键入，生成实行特殊每日任务代码。它还能够从客户命令中获取具体内容，并给出有效解决方案考试大纲，协助选择最合适的 API 开展编码生成。

API 平台：提供一个统一的 API 文本文档架构设计，用于存储数以百计具备不同功能的 API，并允许 API 开发者和使用者申请注册、升级和删除他的 API。API 平台根据统一的文本文档架构设计协助 MCFM 更好地了解和利用各种各样 API。

API 选择符：依据 MCFM 对消费者指令的了解，强烈推荐有关的 API。API 选择符具有搜索能力，可以在拥有众多 API 的平台上快速查找到与任务要求和解决方案考试大纲相符的 API。

API 执行机构：根据启用有关 API 实行生成动作编码，并返回正中间和最后的执行过程。API 执行机构设计用于运作各种各样 API，包含从传统的 HTTP 要求到繁杂算法或需要多个输入数据的 AI 模型。

以上四个部件协调工作，一同构建了一个高效率的系统。MCFM 做为用户交互的重要插口，承担生成解决方法。API 平台则提供了一个规范化的 API 文本格式，并作为一个集中化存储库，容纳了上百万 API。API 选择符依据 MCFM 对用户需求了解，从 API 平台中选取适宜的 API。

最终，API 执行机构负责执行由选中 API 生成代码，并处理每日任务。

除此之外，TaskMatrix.AI 还提供两个可学习培训的制度，以更有效的将 MCFM 与 API 两端对齐：

根据人们反映的增强学习（RLHF）：这是一种基本大模型的通用规范，并且使用增强学习方式，利用人们意见反馈来提升机器学习算法模型。在 TaskMatrix.AI 中，RLHF 利用这种意见反馈来提升 MCFM 和 API 选择符，进而在处理复杂任务后完成更快地收敛性和更好的特性。

向 API 开发者提供意见反馈：TaskMatrix.AI 完成任务后，会把用户满意度以适当的形式传达给 API 开发人员，标示他的 API 成功与否用以达到目标。这类包括 客户命令、API 启用和用户满意度 的三元组不但展现特殊 API 使用情况，也可以作为 API 开发人员改善 API 文档参照，使文本文档对 MCFM 和 API 选择符更加友好和易于理解。

因而，TaskMatrix.AI 可以被视为一个超级 AI，同时也是一个绿色生态系统，主要有以下重要优点：

可以通过应用基本大模型作为重要系统，最先了解不同种类的跨模态键入（如文字、图像、短视频、声频和编码），随后生成启用 API 完成任务的编码，去执行各种数字和物理每日任务。

拥有一个 API 平台，做为各种任务专家存储库。该平台上的各种 API 都是有一致的文本格式，这也使得基本大模型能够轻松安装他们，开发人员也方便添加新的 API。

有着强大的持续学习能力，由于它的专业技能能通过向 API 平台加上具有特定作用的全新 API 来扩展，以处理新要求。

可以提供更可解释性的回应，由于每日任务处理逻辑性（即行为编码）和 API 的结果还是可理解的。

TaskMatrix.AI 可以完成什么任务？

TaskMatrix.AI 能解决的问题十分广泛，小至文本、图像信息内容的相关信息解决，大至操纵智能机器人平台、连接物联网技术（IoT）等通用性平台每日任务，TaskMatrix 都能够胜任。

图像解决每日任务

TaskMatrix.AI 可以执行图像解决每日任务，并且能接纳思维和语言图像作为输入。下面的图展现了 TaskMatrix.AI 的有关版本号 Visual ChatGPT，它不仅能够了解人们用意，还可以处理语言和图像键入，并完成包含图像生成、提问回答和编辑等在内的繁杂视觉效果每日任务。

下面的图展现了使用多个 API 合作生成高像素图像的实例。在这个例中，解决方法架构由 3 个 API 构成：图像互动问答、图像文章标题及其图像目标更换。

左边边线一部分展现了解决方案架构怎样帮助将图像拓展至 2048×4096 屏幕分辨率。根据迭代更新实行框架中的形式参数流程，TaskMatrix.AI 能够生成一切需要规格的高分辨率图像。

办公系统

TaskMatrix.AI 可以通过语音命令理解和自动完成计算机技能系统、技术专业软件及其智能手机应用操作。利用 TaskMatrix.AI，能够快速入门繁杂软件。

除此之外，它还有助于客户在没有点击搜索的情形下访问外网需要作用。下列是一个 PowerPoint 自动化案例，TaskMatrix.AI 可以根据客户指定主题风格全自动生成ppt，智能化调节具体内容合理布局，插进和改进图像，并应用对应的主题元素，进而明显提高工作效率。

机器人和物联网产品操纵

TaskMatrix.AI 可以连接机器人和物联网产品，完成对体力活和智能家居系统操控的智能化管理。根据集成化前沿的自动化技术，TaskMatrix.AI 可以实行一系列每日任务，如一个物体捡取与摆放及其对于家庭物联网产品的智能控制系统。

除此之外，该平台还融合了多种多样最流行的信息服务，包含但是不限于日历 API、气温 API 和资讯新闻 API，提供了更加丰富多彩和便捷的使用体验。

TaskMatrix.AI 的考验

虽然 TaskMatrix.AI 早就在各种任务中验证了其强大的功能和实用性，但还面临着以下几种考验：

跨模态对话基本大模型：TaskMatrix.AI 需要一个能够处理多种多样键入（文字、图像、短视频、声频和编码）的巨大基本大模型。这一模型必须可以从前后文中学到，应用基本常识开展推理和方案，并生成高质量编码来达到目标。除此之外因为 TaskMatrix.AI 需要解决更多样化的键入方式，这就要求确定一个最少方式集来练习 MCFM。

API 平台：构建和维护一个包括上百万 API 的平台要解决文本文档生成、API 品质保证和 API 建立提议等挑战。API 文档明确性和 API 的品质针对 TaskMatrix.AI 的成就尤为重要。除此之外，平台还需要根据用户满意度具体指导 API 开发人员创建新的 API 去解决特殊每日任务。

API 启用：在对待很多 API 时，TaskMatrix.AI 必须可以选择合适的的推荐有关的 API 来达到目标。除此之外还涉及线上整体规划，则在没法马上生成解决方法时，与用户交互并尝试不同的解决方法。

安全与隐私：在 API 可以浏览物理和数字空间时，保证模型忠实于客户命令并保持数据隐秘性是十分重要的。这就要求在实施操作之前认证模型的举动，以确保传送数据的安全性数据库访问的授权。

人性化：TaskMatrix.AI 必须人性化策略来协助开发人员搭建定做的 AI 页面，并为消费者提供私人秘书。主要包括减少拓展成本与应用少许实例去学习客户的喜好，便于生成合乎用户需求解决方法。

有关 Intelligent Computing

Intelligent Computing 由之江实验室和美国科学研究会（AAAS）共同创办，是《科学》协作刊物框架中智能测算行业的第一本开放获取（Open Access）国际期刊。刊物以「面对智能计算、智能驱动测算」和「智能、数据和测算驱动科学发觉」为主题，关键刊登原创研究毕业论文、综述论文和意见毕业论文。

本文来自微信公众平台：量子位 （ID：QbitAI），创作者：关心前沿技术

广告宣传申明：文章正文所含的对外开放跳转页面（包括不限于网页链接、二维码、动态口令等方式），用以传递更多信息，节约优选时长，结论仅作参考，电脑系统网全部文章内容均包括本声明。