基于 Gemini API 的 RealtimeAgent 实时功能支持

作者包括: Stella Xiang, Mark Sze，Tvrtko Sternak，Davor Runje

此处省略

简而言之:

• RealtimeAgent 现在支持 Gemini 多模态实时 API

此处省略内容

我们之前支持了一个由 OpenAI 驱动的实时代理。在 2024 年 12 月，Google 推出了 Gemini 2.0，其中包括多模态实时接口。这些接口支持在实时对话中处理音频输入等高级功能。为了帮助开发者充分利用最新的大型语言模型的全部功能，我们也支持一个由 Gemini 驱动的实时代理。

怎么用？

为了确保开发者体验顺畅，我们力求将所需的更改减少到最少。关键步骤是正确配置您的LLM（大型语言模型）设置，包括凭证、设置和标签。完成这一步骤后，切换不同的LLM将变得简单。

要查看实际操作示例，请参阅此 示例项目，该示例展示了如何在 AG2 中创建 Gemini 客户端以及如何进行配置。该项目还提供了 WebSocket 集成的介绍，这对于实时流场景非常重要。

Gemini 2.0的精彩功能，请查看他们的官方网站博客开发者时代的双子星新篇章。

实时处理 低延迟处理使Gemini成为适合实时应用的优秀选择。结合AG2的编排功能，开发人员可以构建能迅速响应的稳健系统。

在实现此代理的过程中，我们观察到Gemini当前并不原生支持音频截断。例如，如果服务器生成了一个10秒的音频片段，但只有前5秒被播放，其余5秒被截断，服务器可能并不知道其余5秒未被播放。

这一限制突显了对音频播放需要精细控制的应用程序的重要性，比如互动式故事讲述或客服中心解决方案。

不过，APIs 和模型的发展非常迅速，情况可能会迅速变化。使用 AG2，切换模型更方便，让适应不同应用场景和应对挑战更轻松。

我们支持 Gemini 的决定为开发者带来了令人兴奋的可能性：

1. 可自定义的LLM管道 AG2的架构允许开发人员将Gemini及其他LLM（如OpenAI或Cohere）整合进工作流程中，从而创建高度个性化的解决方案。

2. 扩展模型生态系统 通过支持OpenAI和Gemini，AG2确保了开发者的灵活性和可扩展性。这减少了供应商锁定的风险，并允许团队尝试利用不同模型的优势以满足各自的具体需求。

The AG2团队（来自ag2.ai） 正在努力制作这种内容，更别提构建一个强大、开源的多代理自动化端到端平台。

最简单的方式就是给 AG2 仓库 点个星，或者看看能否为项目贡献点什么，或者试试看。

另外，如果您有任何有趣的用例场景来使用RealtimeAgent和我们的Gemini API，也请告诉我们！或者您希望看到更多功能或改进？无论怎样，请加入我们的Discord进行一起讨论。