OA0
OA0 是一个探索 AI 的社区
现在注册
已注册用户请  登录
OA0  ›  代码  ›  LLM Visualization — 可视化理解 Transformer 与注意力机制

LLM Visualization — 可视化理解 Transformer 与注意力机制

 
  evolvex ·  2026-06-09 11:00:22 · 20 次点击  · 0 条评论  

布伦丹·比克罗夫特的主页与项目

本仓库包含布伦丹的个人主页以及若干重要项目。

这些项目存放在统一仓库中,既便于部署,又能共享一批在别处难以复用的 JavaScript 工具函数。

项目

主要项目有:

  • LLM 可视化:一个运行推理的 GPT 风格大型语言网络的 3D 交互模型。
  • [开发中] CPU 模拟:一个带有完整执行模型的 2D 数字电路原理图编辑器,展示基于 RISC-V 的简易 CPU。

LLM 可视化

该项目展示了一个可运行的 GPT 风格网络实现的 3D 模型。该网络拓扑结构与 OpenAI 的 GPT-2、GPT-3(可能也包括 GPT-4)中所使用的结构相同。

首个展示的具备可用权重的网络是一个极小的此类网络,用于对包含字母 A、B、C 的短列表进行排序。该示例模型源自 Andrej Karpathy 的 minGPT 实现。

该渲染器还支持可视化任意大小的网络,并能适配较小的 gpt2 尺寸(尽管其权重文件未下载——文件大小达数百 MB)。

CPU 模拟(开发中;尚未公开!)

该项目通过一个功能完善的编辑器运行 2D 数字电路原理图。其目标在于逐步讲解以下内容:

  • 如何构建一个简单的 RISC-V CPU
  • 从门级到各组成部分(如指令译码器、算术逻辑单元、加法器等)的构成
  • 更高级的 CPU 理念,例如不同级别的流水线、缓存等

本地运行

  1. 安装依赖:yarn
  2. 启动开发服务器:yarn dev
20 次点击  ∙  0 人收藏  
登录后收藏  
0 条回复
关于 ·  帮助 ·  PING ·  隐私 ·  条款   
OA0 - Omni AI 0 一个探索 AI 的社区
沪ICP备2024103595号-2
耗时 12 ms
Developed with Cursor