Kornia 基于PyTorch的可微分计算机视觉处理库

Kornia 是一个可微分的计算机视觉库，提供了一套丰富的可微分图像处理和几何视觉算法。它构建于 PyTorch 之上，能够无缝集成到现有的 AI 工作流中，让你充分利用强大的批处理变换、自动微分和GPU加速。无论你是在进行图像变换、数据增强，还是 AI 驱动的图像处理，Kornia 都能为你提供将想法变为现实所需的工具。

📢 公告: Kornia 正朝着端到端视觉模型的方向发展。我们正专注于集成最先进的视觉语言模型（VLM）和视觉语言智能体（VLA），以提供全面的端到端视觉解决方案。

核心组件

1. 可微分图像处理
   
   Kornia 提供了一套全面的图像处理算子，全部可微分，并可直接集成到深度学习流程中。
   • 滤波器: 高斯、Sobel、中值、盒式模糊等。
   • 变换: 仿射、单应性、透视等。
   • 增强: 直方图均衡化、CLAHE、伽马校正等。
   • 边缘检测: Canny、拉普拉斯、Sobel等。
   • ... 更多内容请查看我们的文档。
2. 高级数据增强
   
   使用 Kornia 内置函数执行强大的数据增强，非常适合训练具有复杂增强流程的 AI 模型。
   • 增强流程: AugmentationSequential, PatchSequential, VideoSequential 等。
   • 自动增强: AutoAugment, RandAugment, TrivialAugment。
3. AI 模型
   
   利用在 Kornia 生态系统中优化的预训练 AI 模型，适用于各种视觉任务。
   • 人脸检测: YuNet
   • 特征匹配: LoFTR, LightGlue
   • 特征描述符: DISK, DeDoDe, SOLD2
   • 分割: SAM
   • 分类: MobileViT, VisionTransformer。

半精度支持

✅ 支持   ⚠️ 部分支持   ❌ 不支持

测试结果 (提交 6131e98, 2026-03-21):

详情请参阅完整精度指南。

赞助

Kornia 是一个由志愿者开发和维护的开源项目。无论您将其用于研究还是商业目的，请考虑赞助我们或与我们合作。您的支持将有助于确保 Kornia 的持续发展和创新。今天就联系我们，共同塑造这个激动人心的项目的未来！

安装

通过 pip 安装

bash pip install kornia

快速开始

Kornia 不仅仅是另一个计算机视觉库——它是你通往轻松计算机视觉和 AI 的门户。

import numpy as np
import kornia_rs as kr

from kornia.augmentation import AugmentationSequential, RandomAffine, RandomBrightness
from kornia.filters import StableDiffusionDissolving

# 加载并准备你的图像
img: np.ndarray = kr.read_image_any("img.jpeg")
img = kr.resize(img, (256, 256), interpolation="bilinear")

# 或者，使用 PIL 加载图像
# img = Image.open("img.jpeg").resize((256, 256))
# img = np.array(img)

img = np.stack([img] * 2)  # 批处理图像

# 定义一个增强流程
augmentation_pipeline = AugmentationSequential(
    RandomAffine((-45., 45.), p=1.),
    RandomBrightness((0.,1.), p=1.)
)

# 利用 StableDiffusion 模型
dslv_op = StableDiffusionDissolving()

img = augmentation_pipeline(img)
dslv_op(img, step_number=500)

dslv_op.save("Kornia-enhanced.jpg")

import numpy as np
from kornia.onnx import ONNXSequential
# 将 HuggingFace 仓库中的 ONNX 模型和你自己的本地模型链接在一起
onnx_seq = ONNXSequential(
    "hf://operators/kornia.geometry.transform.flips.Hflip",
    "hf://models/kornia.models.detection.rtdetr_r18vd_640x640",  # 或者你可以使用 "YOUR_OWN_MODEL.onnx"
)
# 准备一些输入数据
input_data = np.random.randn(1, 3, 384, 512).astype(np.float32)
# 执行推理
outputs = onnx_seq(input_data)
# 打印模型输出
print(outputs)

# 导出一个链接了所有三个模型的新 ONNX 模型！
onnx_seq.export("chained_model.onnx")

多框架支持

你现在可以在 TensorFlow、JAX 和 NumPy 中使用 Kornia。详情请参阅多框架支持。

import kornia
tf_kornia = kornia.to_tensorflow()

由

诚邀贡献者

你是否对计算机视觉、AI 和开源开发充满热情？加入我们，共同塑造 Kornia 的未来！我们正在积极寻找贡献者，以帮助扩展和增强我们的库，使其更强大、更易用、更多样化。无论你是经验丰富的开发者还是刚刚起步，我们的社区都有你的一席之地。

易用的 AI 模型

我们很高兴地宣布我们最新的进展：一项旨在将轻量级 AI 模型无缝集成到 Kornia 中的新计划。
我们的目标是让任何模型都能像 StableDiffusion 这样的大型模型一样流畅运行，并在多个方面为它们提供良好支持。

优先关注：VLM/VLA 模型

我们的主要重点是集成视觉语言模型（VLM）和视觉语言智能体（VLA），以实现端到端的视觉解决方案。我们正在积极寻找贡献者来帮助我们：

• VLM/VLA 集成（优先）：实现并集成最先进的视觉语言模型和视觉语言智能体。这包括像 Qwen2.5-VL、SAM-3 这样的