全新的八爪鱼V2：一款革命性的设备端语言模型

波音高级技术专家/工程师/科学家/发明家/云架构师/软件开发人员/@波音全球服务部门

Octopus V2，由Nexa AI开发，是一个具有20亿参数的先进开源语言模型[1]。该模型在大规模语言模型（LLMs）应用于函数调用方面取得了重大进展，特别为Android API进行了优化[1]。

语言模型，即自然语言处理模型，在各种软件应用中显示了有效性，特别是在与自动工作流程相关的任务中[2]。这些模型可以调用创建AI代理所需的关键函数[2]。然而，在云环境中大规模的语言模型常常引发隐私和成本方面的顾虑[2]。当前用于函数调用的设备上的模型面临延迟和准确性的问题[2]。为了应对这些常见问题，Octopus V2应运而生。

Octopus V2在准确性和延迟方面都超过了GPT-4的表现，并将上下文长度缩减了95%[2]。与使用基于RAG的功能调用机制的Llama-7B相比，Octopus V2将延迟降低了35倍[2]。这种方法将延迟降到适合各种边缘设备在生产环境中部署的程度，符合实际应用的性能需求[2]。

在Octopus V2取得成功之后，Nexa AI发布了Octopus V3和Octopus V4。Octopus V3的大小不到其前身Octopus V2的一半，并且能够处理文本和图像输入。Octopus V4是一个先进的开源语言模型，拥有30亿个参数，作为Nexa AI语言模型图中的控制器节点。它将查询引导到适当的专用模型，确保查询处理既准确又高效。

我分享了一个经过彻底测试的Octopus V2笔记本文件，以在Google Colab中展示其能力。

Octopus V2通过解决了当前大型语言模型应用所面临的延迟、准确性和隐私问题，彻底革新了设备端语言模型的领域[3,4]。其后续版本Octopus V3和V4继续了这一趋势，进一步增强了设备端语言模型的能力[1]。随着AI的不断发展，像Octopus V2及其后续版本这样的模型将在设备端应用的未来发展中扮演关键角色。

1.- NexaAIDev/Octopus-v2 · Hugging Face [一个来自Hugging Face的NexaAIDev/Octopus-v2模型]

2.- [2404.01744] Octopus v2：设备端语言模型，用于超级智能代理 (arxiv.org)

3.- 斯坦福大学的研究人员推出Octopus v2：使设备端语言模型具备超级代理助手功能 — MarkTechPost

4.- 斯坦福团队研发的比GPT-4更好的大模型可以在手机上运行，一夜之间下载量便超过2000 | 作者：林耀坤 (@MachineLearningQuickNotes) | 2024年4月发布 | Level Up Coding (gitconnected.com)

5.- MLxDL/Octopus_v2.ipynb（main分支上的）