README-CN.md

文档   •   快速开始   •   TEN Framework 仓库

🌟 Gemini 多模态实时 API 扩展与 RTC

agent.theten.ai

尝试具有实时视觉和实时屏幕共享检测功能的 Google Gemini 多模态实时 API，这是一个即用型扩展，同时还完美集成了天气查询和网络搜索等强大工具。

TEN Agent 使用场景

即用型扩展

本地环境下的 TEN Agent 开发环境

先决条件

类别	要求
Keys	• App ID 和 App Certificate （注册教程） • OpenAI API 密钥 • Deepgram ASR（注册即可获得免费额度） • FishAudio TTS（注册即可获得免费额度）
安装要求	• Docker / Docker Compose • Node.js(LTS) v18
最低系统要求	• CPU >= 2核 • 内存 >= 4 GB

macOS: Apple Silicon 上的 Docker 设置

对于 Apple Silicon Mac，请在 Docker 设置中取消勾选"使用 Rosetta 进行 x86/amd64 模拟"。注意：这可能会导致 ARM 上的构建时间较慢，但部署到 x64 服务器时性能将恢复正常。

设置国内代理

如果在国内，我们强烈建议在 SSH 中把代理打开，下载和安装的依赖的时候会更加丝滑。如果遇到更多问题，请参考 问题排查。

# 如果用的代理软件没有增强模式的话， 建议手动把所有代理协议都打开
# export 的有效期为一个 session
export https_proxy=http://127.0.0.1:（端口例如 7890） 
export http_proxy=http://127.0.0.1:（端口例如 7890） 
export all_proxy=socks5://127.0.0.1:（端口例如 7890）

# Docker
export https_proxy=http://host.docker.internal:（端口例如 7890）
export http_proxy=http://host.docker.internal:（端口例如 7890）
export all_proxy=http://host.docker.internal:（端口例如 7890）

# GO 代理设置
export GOPROXY=https://goproxy.cn,direct

# pip 代理设置, 此设置需要先安装 pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

后续步骤

1. 创建 .env 文件

cp ./.env.example ./.env

2. 在 .env 中设置 Agora 应用 ID 和应用证书

AGORA_APP_ID=
AGORA_APP_CERTIFICATE=

3. 启动代理开发容器

docker compose up -d

4. 进入容器

docker exec -it ten_agent_dev bash

5. 构建代理

task use

6. 启动网络服务器

task run

7. 编辑开发环境设置

在 localhost:3000 打开开发环境来配置你的代理。

1. 选择图表类型（如语音代理、实时代理）
2. 选择对应模块
3. 选择扩展并配置其 API 密钥设置

运行 Gemini 实时扩展

在 localhost:3000 打开开发环境。

1. 选择 voice_assistant_realtime 图表
2. 选择 Gemini 实时模块
3. 选择 v2v 扩展并输入 Gemini API 密钥

TEN Agent 组件

保持关注

在我们开始之前，请确保为我们的仓库点星标，以获取所有新版本的即时通知！

加入社区

• Discord：分享您的应用程序并与社区互动的理想平台。
• GitHub 讨论：提供反馈和提问的完美场所。
• GitHub Issues：报告错误和提出新功能的最佳地点。请参阅我们的贡献指南了解更多详情。
• X：分享您的代理并与社区互动的绝佳平台。

Star History

Code Contributors

Contribution Guidelines

Contributions are welcome! Please read the contribution guidelines first.

License

This project is licensed under the Apache 2.0 License - see the LICENSE file for details.