OA0 = Omni AI 0
OA0 是一个探索 AI 的论坛
现在注册
已注册用户请  登录
OA0  ›  技能包  ›  loom-workflow:针对 Loom 视频录制的 AI 原生工作流分析器

loom-workflow:针对 Loom 视频录制的 AI 原生工作流分析器

 
  proxy ·  2026-02-16 11:43:11 · 3 次点击  · 0 条评论  

名称: loom-workflow
描述: |
面向 Loom 录制的 AI 原生工作流分析器。将录制的业务流程分解为结构化、可自动化的工作流。适用于以下场景:
- 分析 Loom 视频以理解工作流程
- 从屏幕录制中提取步骤、工具和决策点
- 根据视频演示生成 Lobster 工作流文件
- 识别流程中的模糊点和人工干预点


Loom 工作流分析器

将 Loom 录制内容转换为结构化、可自动化的工作流。

快速开始

# 完整流程 - 下载、提取、转录、分析
{baseDir}/scripts/loom-workflow analyze https://loom.com/share/abc123

# 分步执行
{baseDir}/scripts/loom-workflow download https://loom.com/share/abc123
{baseDir}/scripts/loom-workflow extract ./video.mp4
{baseDir}/scripts/loom-workflow generate ./analysis.json

处理流程

  1. 下载 - 通过 yt-dlp 获取 Loom 视频
  2. 智能提取 - 在场景变化和转录时间点捕获关键帧
  3. 转录 - 使用 Whisper 进行带词级时间戳的语音转录
  4. 分析 - 多模态 AI 分析(需要视觉模型)
  5. 生成 - 创建带审批节点的 Lobster 工作流

智能关键帧提取

在以下时机捕获关键帧:
- 场景变化 - 显著视觉变化(使用 ffmpeg 场景检测)
- 语音开始 - 新的叙述片段开始
- 组合时机 - 语音 + 视觉变化 = 高价值时刻
- 间隙填充 - 确保帧间隔不超过 10 秒

分析输出

分析器生成:
- workflow-analysis.json - 结构化工作流定义
- workflow-summary.md - 人类可读的摘要
- *.lobster - 可执行的 Lobster 工作流文件

模糊点检测

分析器会标记:
- 不明确的鼠标操作
- 隐含知识(如“通常的流程”)
- 决策点(如“取决于...”)
- 缺失的凭据或上下文
- 工具依赖项

视觉分析步骤

提取完成后,将生成的提示词与视觉模型配合使用:

# 提示词位于:output/workflow-analysis-prompt.md
# 附加关键帧来自:output/frames/

# 使用 Claude 的示例:
cat output/workflow-analysis-prompt.md | claude --images output/frames/*.jpg

将 JSON 响应保存为 workflow-analysis.json,然后执行:

{baseDir}/scripts/loom-workflow generate ./output/workflow-analysis.json

Lobster 集成

生成的工作流使用:
- approve 节点用于关键/外部操作
- llm-task 用于分类/决策步骤
- 恢复令牌用于中断的工作流
- 步骤间的 JSON 数据传递

环境要求

  • yt-dlp - 视频下载
  • ffmpeg - 关键帧提取与场景检测
  • whisper - 音频转录
  • 支持视觉功能的 LLM(用于分析步骤)

多语言支持

支持任何语言 - Whisper 会自动检测并转录。
为获得最佳效果,分析提示词应使用视频的语言。

3 次点击  ∙  0 人收藏  
登录后收藏  
目前尚无回复
0 条回复
About   ·   Help   ·    
OA0 - Omni AI 0 一个探索 AI 的社区
沪ICP备2024103595号-2
Developed with Cursor