OA0 = Omni AI 0
OA0 是一个探索 AI 的论坛
现在注册
已注册用户请  登录
OA0  ›  技能包  ›  seiso:专为多媒体内容创作设计的 AI 智能引擎引擎

seiso:专为多媒体内容创作设计的 AI 智能引擎引擎

 
  frontend ·  2026-02-25 19:55:33 · 2 次点击  · 0 条评论  

名称: seisoai
描述: 面向智能体的统一媒体生成网关。动态发现工具,选择 API 密钥或 x402 认证,调用图像/视频/音频/音乐/3D/训练工具,并可靠地处理队列任务。
元数据: {"openclaw":{"homepage":"https://seisoai.com","emoji":"🎨"}}
版本: 1.1.1
last_synced: 2026-02-09


Seisoai

基础 URL: https://seisoai.com
主要端点: POST /api/gateway/invoke/{toolId} 或在请求体中包含 toolIdPOST /api/gateway/invoke
认证: X-API-Key 或 x402 支付(Base 链上的 USDC)。

面向智能体的工作流(每次会话都应执行)

  1. 发现可用工具:
    • GET /api/gateway/tools
  2. 针对选定的工具,获取精确的输入模式:
    • GET /api/gateway/tools/{toolId}
  3. (可选)预计算输入成本:
    • GET /api/gateway/price/{toolId}
  4. 使用 API 密钥或 x402 进行调用。
  5. 如果是队列工具,则轮询响应中返回的任务状态/结果 URL。

当存在实时注册表时,请勿依赖静态工具列表。

认证策略

请按以下决策顺序执行:

  1. 如果您拥有项目 API 密钥,请使用 X-API-Key
  2. 如果您没有密钥,请使用 x402 按次付费。
  3. 对于机器客户端,请勿发送浏览器 CSRF 令牌。

API 密钥示例

POST /api/gateway/invoke/image.generate.flux-2
X-API-Key: sk_live_xxx
Content-Type: application/json

{"prompt":"a sunset over mountains"}

x402 示例(两步流程)

  1. 不带支付头信息进行调用。
  2. 收到包含支付要求的 402 响应。
  3. 在 Base 链上签名/支付。
  4. 使用以下任一头部重试同一请求:
    • payment-signature
    • x-payment
    • payment

核心端点

  • 发现:
    • GET /api/gateway/tools
    • GET /api/gateway/tools/{toolId}
    • GET /api/gateway/price/{toolId}
    • GET /api/gateway/mcp-manifest
  • 调用:
    • POST /api/gateway/invoke/{toolId}
    • POST /api/gateway/invoke
  • 任务:
    • GET /api/gateway/jobs/{jobId}?model=...
    • GET /api/gateway/jobs/{jobId}/result?model=...
  • 智能体范围:
    • GET /api/gateway/agents
    • GET /api/gateway/agent/{agentId}
    • POST /api/gateway/agent/{agentId}/invoke/{toolId?}
    • POST /api/gateway/agent/{agentId}/orchestrate

智能体范围的安全控制(强制要求)

对于常规媒体生成(图像、视频、音频、3D),请使用 /api/gateway/invoke 及上述发现端点;无需额外检查。以下规则仅当用户明确要求运行或编排特定智能体(例如,一个命名的机器人或工作流)时才适用。

默认策略:对于智能体范围的路由(/api/gateway/agent/*默认拒绝。仅当所有检查都通过时,才使用智能体范围的端点:

  1. 明确的任务要求
    • 除非当前任务明确要求操作特定智能体,否则不要调用 /agent/* 路由。
  2. 精确的智能体绑定
    • 从可信来源(GET /api/gateway/agents 或用户提供的精确 ID)解析 agentId
    • 切勿从名称/提示中推断或猜测智能体 ID。
  3. 授权边界
    • 仅使用当前调用者的凭据。
    • 切勿尝试重用、提升或代理凭据以访问其他租户/所有者。
  4. 单智能体范围
    • 对于一个任务,操作一个已批准的 agentId,除非用户明确请求多智能体执行。
  5. 工具白名单强制执行
    • 在调用/编排之前,获取 GET /api/gateway/agent/{agentId},并仅使用为该智能体声明的工具 ID。
    • 拒绝未在该智能体定义中列出的工具 ID。
  6. 禁止递归编排
    • 不要创建自我引用的编排、编排循环或在未知智能体之间进行扇出模式。
  7. 禁止广泛的发现信息泄露
    • 除非用户任务需要,否则不要枚举所有智能体;当已知 agentId 时,首选直接查找。
  8. 审计追踪要求
    • 在智能体运行记录中,记录每个智能体范围调用的 agentId、路由、工具 ID 和原因。
  9. 不匹配或模糊时:停止
    • 如果所有权/范围/工具授权不明确,请勿调用 /agent/*;回退到 /api/gateway/invoke

工具选择速查表(已验证 ID)

图像

  • 快速文生图:image.generate.flux-2
  • 优质电影感:image.generate.kling-image-v3
  • 优质一致性:image.generate.kling-image-o3
  • 360度/全景:image.generate.nano-banana-pro
  • 提示编辑:image.generate.flux-pro-kontext-edit
  • 换脸:image.face-swap
  • 局部重绘/外绘:image.inpaint, image.outpaint
  • 背景移除/分层:image.extract-layer
  • 超分辨率:image.upscale

视频

  • 文生视频 (Veo):video.generate.veo3
  • 图生视频 (Veo):video.generate.veo3-image-to-video
  • 首尾帧控制:video.generate.veo3-first-last-frame
  • Kling 文生视频:video.generate.kling-3-pro-text, video.generate.kling-3-std-text
  • Kling 图生视频:video.generate.kling-3-pro-image, video.generate.kling-3-std-image
  • 动作迁移:video.generate.dreamactor-v2

音频 / 语音 / 音乐

  • 语音克隆 TTS:audio.tts
  • TTS 质量等级:audio.tts.minimax-hd, audio.tts.minimax-turbo
  • 唇形同步:audio.lip-sync
  • 转录:audio.transcribe
  • 音乐生成:music.generate
  • 音效:audio.sfx
  • 音轨分离:audio.stem-separation

3D

  • 图生 3D 标准版:3d.image-to-3d
  • 图生 3D 专业版:3d.image-to-3d.hunyuan-pro
  • 文生 3D 专业版:3d.text-to-3d.hunyuan-pro
  • 快速图生 3D:3d.image-to-3d.hunyuan-rapid
  • 网格后处理:3d.smart-topology, 3d.part-splitter

最小化载荷模式

文生图:

{"prompt":"..."}

图像编辑:

{"prompt":"...","image_url":"https://..."}

文生视频:

{"prompt":"...","duration":"6s"}

DreamActor 动作迁移:

{"source_image_url":"https://...","driving_video_url":"https://..."}

语音克隆 TTS:

{"text":"...","audio_url":"https://..."}

3D 图生网格:

{"image_url":"https://...","output_format":"glb"}

队列处理约定

如果 executionModequeue,响应将包含任务元数据。请使用:

  1. statusUrl 轮询直到任务完成/失败。
  2. resultUrl 获取完成后的结果。

将队列提交成功视为可计费的成功(x402 结算/API 密钥信用扣除已在服务器端处理)。

错误处理策略

  • 400:模式/输入不匹配。重新获取工具模式并更正字段。
  • 402:缺少/无效支付或 API 密钥信用不足。
  • 404:工具/智能体未找到。刷新注册表。
  • 503:工具已禁用。在同一类别中选择备用工具。
  • 500:使用退避策略重试;然后切换模型/工具。

智能体的可靠性规则

  1. 在规划多步骤流程之前,始终先发现实时工具。
  2. 使用 GET /tools/{toolId} 获取的精确模式来填充必填字段。
  3. 每个请求保持一个工具调用;在您的智能体中串联。
  4. 优先使用明确的模型/工具 ID,而非基于自然语言路由的假设。
  5. 重试时,请勿重用过期的 x402 签名。
  6. /api/gateway/agent/* 视为特权路由,并应用上述强制安全控制。

自我维护

当此文件更新时:
- 保持 ID 与 backend/services/toolRegistry.ts 对齐。
- 更新 last_syncedversion
- 保持示例最小化且可执行。

更新日志

  • [2026-02-09] v1.1.1 - 为智能体范围的端点添加了强制安全控制(默认拒绝、智能体/工具范围限制、防递归和审计要求)。
  • [2026-02-09] v1.1.0 - 重写为面向智能体的发现优先流程,修正了过时的工具 ID/参数,加强了认证/x402 指导,并添加了队列/错误可靠性策略。
  • [2026-02-08] v1.0.0 - 初始自我改进协议添加。
2 次点击  ∙  0 人收藏  
登录后收藏  
目前尚无回复
0 条回复
About   ·   Help   ·    
OA0 - Omni AI 0 一个探索 AI 的社区
沪ICP备2024103595号-2
Developed with Cursor