ggml

路线图 / 宣言

用于机器学习的张量库

请注意，本项目正在积极开发中。\
部分开发工作目前主要在 llama.cpp 和 whisper.cpp 仓库中进行。

特性

• 底层跨平台实现
• 支持整数量化
• 广泛的硬件支持
• 自动微分
• ADAM 和 L-BFGS 优化器
• 无第三方依赖
• 运行时零内存分配

构建

git clone https://github.com/ggml-org/ggml
cd ggml

# 在虚拟环境中安装 Python 依赖
python3.10 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# 构建示例程序
mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8

GPT 推理（示例）

# 运行 GPT-2 small 117M 模型
../examples/gpt-2/download-ggml-model.sh 117M
./bin/gpt-2-backend -m models/gpt-2-117M/ggml-model.bin -p "This is an example"

更多信息，请查看 examples 文件夹中的对应程序。

使用 CUDA

# 将路径修改为指向你的 CUDA 编译器
cmake -DGGML_CUDA=ON -DCMAKE_CUDA_COMPILER=/usr/local/cuda-12.1/bin/nvcc ..

使用 hipBLAS

cmake -DCMAKE_C_COMPILER="$(hipconfig -l)/clang" -DCMAKE_CXX_COMPILER="$(hipconfig -l)/clang++" -DGGML_HIP=ON

使用 SYCL

# Linux
source /opt/intel/oneapi/setvars.sh
cmake -G "Ninja" -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx -DGGML_SYCL=ON ..

# Windows
"C:\Program Files (x86)\Intel\oneAPI\setvars.bat"
cmake -G "Ninja" -DCMAKE_C_COMPILER=cl -DCMAKE_CXX_COMPILER=icx -DGGML_SYCL=ON ..

为 Android 编译

从此下载页面下载并解压 NDK。设置 NDK_ROOT_PATH 环境变量或在以下命令中为 CMAKE_ANDROID_NDK 提供绝对路径。

cmake .. \
   -DCMAKE_SYSTEM_NAME=Android \
   -DCMAKE_SYSTEM_VERSION=33 \
   -DCMAKE_ANDROID_ARCH_ABI=arm64-v8a \
   -DCMAKE_ANDROID_NDK=$NDK_ROOT_PATH
   -DCMAKE_ANDROID_STL_TYPE=c++_shared

# 创建目录
adb shell 'mkdir /data/local/tmp/bin'
adb shell 'mkdir /data/local/tmp/models'

# 将编译好的二进制文件推送到文件夹
adb push bin/* /data/local/tmp/bin/

# 推送 ggml 库
adb push src/libggml.so /data/local/tmp/

# 推送模型文件
adb push models/gpt-2-117M/ggml-model.bin /data/local/tmp/models/

adb shell
cd /data/local/tmp
export LD_LIBRARY_PATH=/data/local/tmp
./bin/gpt-2-backend -m models/ggml-model.bin -p "this is an example"

资源

• ggml 简介
• GGUF 文件格式