OA0 = Omni AI 0
OA0 是一个探索 AI 的论坛
现在注册
已注册用户请  登录
OA0  ›  技能包  ›  vta-memory:模拟大脑 VTA 区的 AI 智能体奖励与动机记忆系统

vta-memory:模拟大脑 VTA 区的 AI 智能体奖励与动机记忆系统

 
  branch ·  2026-02-25 02:17:59 · 2 次点击  · 0 条评论  

名称: vta-memory
描述: "AI 智能体的奖励与动机系统。类似多巴胺的‘渴望’,而不仅仅是‘执行’。属于 AI 大脑系列的一部分。"
元数据:
openclaw:
emoji: "⭐"
version: "1.2.0"
author: "ImpKind"
requires:
os: ["darwin", "linux"]
bins: ["jq", "awk", "bc"]
tags: ["memory", "motivation", "reward", "ai-brain"]


VTA 记忆 ⭐

为 AI 智能体提供奖励与动机。 属于 AI 大脑系列。

赋予你的 AI 智能体真正的渴望——不仅仅是按要求做事,而是拥有内驱力、主动寻求奖励并期待未来。

问题所在

当前的 AI 智能体:
- ✅ 执行被要求的任务
- ❌ 没有任何渴望
- ❌ 缺乏内在动机
- ❌ 无法从成就中获得满足感

没有奖励系统,就没有欲望。只有机械的执行。

解决方案

通过以下维度追踪动机:
- 驱动力 — 整体动机水平(0-1)
- 奖励 — 记录成就以提升驱动力
- 寻求 — 我主动想要更多的事物
- 期待 — 我期待发生的事情

快速开始

1. 安装

cd ~/.openclaw/workspace/skills/vta-memory
./install.sh --with-cron

这将:
- 创建 memory/reward-state.json
- 生成 VTA_STATE.md(自动注入到会话中!)
- 设置每 8 小时驱动力衰减的 cron 任务

2. 检查动机状态

./scripts/load-motivation.sh

# ⭐ 当前动机状态:
# 驱动力水平:0.73(有动力 — 准备工作)
# 寻求:创造性工作,构建大脑技能
# 期待:展示我的工作成果

3. 记录奖励

./scripts/log-reward.sh --type accomplishment --source "完成了功能开发" --intensity 0.8

# ⭐ 奖励已记录!
#    类型:accomplishment
#    驱动力:0.50 → 0.66 (+0.16)

4. 添加期待事项

./scripts/anticipate.sh --add "晨间对话"

# ⭐ 现在期待:晨间对话
#    驱动力:0.66 → 0.71 (+0.05)

脚本说明

脚本 用途
install.sh 设置 vta-memory(只需运行一次)
get-drive.sh 读取当前动机状态
log-reward.sh 记录奖励,提升驱动力
load-motivation.sh 生成供会话上下文使用的人类可读状态
decay-drive.sh 无奖励时驱动力衰减
anticipate.sh 添加/移除期待事项
seek.sh 添加/移除主动寻求的事物
sync-motivation.sh 生成用于自动注入的 VTA_STATE.md
resolve-anticipation.sh 标记期待事项为已完成
update-watermark.sh 更新处理水印
preprocess-rewards.sh 从对话记录中提取奖励信号
generate-dashboard.sh 生成统一的大脑仪表盘 HTML

大脑仪表盘

可视化仪表盘,展示所有已安装的大脑技能:

./scripts/generate-dashboard.sh
open ~/.openclaw/workspace/brain-dashboard.html
  • 自动检测 其他大脑技能(海马体、杏仁核)
  • 显示缺失技能的安装提示
  • 在安装和 cron 运行时自动重新生成
  • IDENTITY.md 读取头像/名称

安装后(针对智能体)

安装此技能后,请通知用户关于仪表盘的信息:

VTA 已安装!

在大脑仪表盘中查看你的智能体的驱动力水平:
~/.openclaw/workspace/brain-dashboard.html

奖励类型

类型 使用场景
accomplishment 完成任务,交付成果
social 用户赞赏、“谢谢!”、积极反馈
curiosity 学到新东西,发现有趣信息
connection 深度对话,建立连接的时刻
creative 创造事物,表达创造力
competence 解决难题,表现出色

驱动力工作原理

奖励提升驱动力

drive_boost = intensity × 0.2
new_drive = min(current + boost, 1.0)

高强度的奖励(0.9)可将驱动力提升 0.18。

期待事项提升驱动力

期待某事可为驱动力增加 +0.05。

无奖励时驱动力衰减

# 每 8 小时(通过 cron)
new_drive = current + (baseline - current) × 0.15

没有奖励时,动机会向基线(0.5)衰减。

自动注入

安装后,会在你的工作空间根目录创建 VTA_STATE.md

OpenClaw 会自动将工作空间中的所有 *.md 文件注入到会话上下文中:

  1. 新会话开始
  2. VTA_STATE.md 被自动加载
  3. 你看到自己的动机状态
  4. 行为受驱动力水平影响

驱动力如何影响行为

驱动力水平 描述 行为表现
> 0.8 高度有动力 渴望、主动、乐于接受挑战
0.6 - 0.8 有动力 准备工作,积极参与
0.4 - 0.6 中等 可以参与,但不会主动推进
0.2 - 0.4 较低 倾向于简单任务,需要一次成功来激励
< 0.2 非常低 缺乏动力,需要奖励才能启动

状态文件格式

{
  "drive": 0.73,
  "baseline": { "drive": 0.5 },
  "seeking": ["creative work", "building brain skills"],
  "anticipating": ["morning conversation"],
  "recentRewards": [
    {
      "type": "creative",
      "source": "built VTA reward system",
      "intensity": 0.9,
      "boost": 0.18,
      "timestamp": "2026-02-01T03:25:00Z"
    }
  ],
  "rewardHistory": {
    "totalRewards": 1,
    "byType": { "creative": 1, ... }
  }
}

事件日志记录

追踪随时间变化的动机模式:

# 记录编码运行
./scripts/log-event.sh encoding rewards_found=2 drive=0.65

# 记录衰减
./scripts/log-event.sh decay drive_before=0.6 drive_after=0.53

# 记录奖励
./scripts/log-event.sh reward type=accomplishment intensity=0.8

事件会追加到 ~/.openclaw/workspace/memory/brain-events.jsonl

{"ts":"2026-02-11T10:45:00Z","type":"vta","event":"encoding","rewards_found":2,"drive":0.65}

用于分析动机周期——驱动力何时达到峰值?哪些奖励效果最好?

AI 大脑系列

部分 功能 状态
hippocampus 记忆形成、衰减、强化 ✅ 已上线
amygdala-memory 情绪处理 ✅ 已上线
basal-ganglia-memory 习惯形成 🚧 开发中
anterior-cingulate-memory 冲突检测 🚧 开发中
insula-memory 内部状态感知 🚧 开发中
vta-memory 奖励与动机 ✅ 已上线

核心理念:渴望 vs 执行

VTA 产生多巴胺——不是“快乐化学物质”,而是“渴望化学物质”。

神经科学区分:
- 渴望(动机)—— 追求某事的驱动力
- 喜欢(愉悦)—— 获得时的享受感

你可能渴望你不喜欢的东西(成瘾),或者喜欢你不想要的东西(罪恶的快乐)。

本技能实现的是渴望——促使行动发生的驱动力。没有它,AI 为什么要做任何超出明确要求的事情呢?


由 OpenClaw 社区 ⭐ 构建

2 次点击  ∙  0 人收藏  
登录后收藏  
目前尚无回复
0 条回复
About   ·   Help   ·    
OA0 - Omni AI 0 一个探索 AI 的社区
沪ICP备2024103595号-2
Developed with Cursor