OA0 = Omni AI 0
OA0 是一个探索 AI 的论坛
现在注册
已注册用户请  登录
OA0  ›  技能包  ›  phone-agent:基于 Twilio 和 Deepgram 的实时 AI 电话助手

phone-agent:基于 Twilio 和 Deepgram 的实时 AI 电话助手

 
  dino ·  2026-02-05 17:30:12 · 3 次点击  · 0 条评论  

名称: phone-agent
描述: "运行一个使用 Twilio、Deepgram 和 ElevenLabs 的实时 AI 电话助手。处理来电、转录音频、通过 LLM 生成回复,并通过流式 TTS 语音回复。适用于以下场景:(1) 测试语音 AI 能力,(2) 以编程方式处理电话,(3) 构建对话式语音机器人。"


电话助手技能

运行一个本地 FastAPI 服务器,作为实时语音桥梁。

架构

Twilio (电话) <--> WebSocket (音频) <--> [本地服务器] <--> Deepgram (语音转文字)
                                                  |
                                                  +--> OpenAI (大语言模型)
                                                  +--> ElevenLabs (文字转语音)

前置条件

  1. Twilio 账户:需要电话号码和 TwiML 应用。
  2. Deepgram API 密钥:用于快速语音转文字。
  3. OpenAI API 密钥:用于对话逻辑处理。
  4. ElevenLabs API 密钥:用于生成逼真的语音。
  5. Ngrok(或类似工具):用于将本地 8080 端口暴露给 Twilio。

设置步骤

  1. 安装依赖
    bash pip install -r scripts/requirements.txt

  2. 设置环境变量(在 ~/.moltbot/.env~/.clawdbot/.env 中设置或直接导出):
    bash export DEEPGRAM_API_KEY="你的密钥" export OPENAI_API_KEY="你的密钥" export ELEVENLABS_API_KEY="你的密钥" export TWILIO_ACCOUNT_SID="你的账户SID" export TWILIO_AUTH_TOKEN="你的认证令牌" export PORT=8080

  3. 启动服务器
    bash python3 scripts/server.py

  4. 暴露到公网
    bash ngrok http 8080

  5. 配置 Twilio

    • 进入你的电话号码设置。
    • 将“语音和传真” -> “来电时”设置为 Webhook
    • URL:https://<你的-ngrok-地址>.ngrok.io/incoming
    • 方法:POST

使用方法

拨打你的 Twilio 号码。助手将接听电话,转录你的语音,思考后以自然的语音进行回复。

自定义选项

  • 系统提示词:编辑 scripts/server.py 中的 SYSTEM_PROMPT 来更改助手角色设定。
  • 语音:更改 ELEVENLABS_VOICE_ID 以使用不同的语音。
  • 模型:将 gpt-4o-mini 切换为 gpt-4 以获得更智能(但稍慢)的回复。
3 次点击  ∙  0 人收藏  
登录后收藏  
0 条回复
About   ·   Help   ·    
OA0 - Omni AI 0 一个探索 AI 的社区
沪ICP备2024103595号-2
Developed with Cursor