OpenVINO — Intel 推理优化工具

用于优化和部署深度学习模型的开源软件工具套件。

文档 • 博客 • 核心特性 • 教程 • 集成 • 性能基准 • 生成式 AI

[](https://badge.fury.io/py/openvino) [](https://anaconda.org/conda-forge/openvino) [](https://formulae.brew.sh/formula/openvino) [](https://pepy.tech/project/openvino) [](https://anaconda.org/conda-forge/openvino/files) [](https://formulae.brew.sh/formula/openvino)

• 推理优化：在计算机视觉、自动语音识别、生成式 AI、大/小语言模型自然语言处理以及许多其他常见任务中，提升深度学习性能。
• 灵活的模型支持：支持使用 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax 等流行框架训练的模型。通过 Optimum Intel 直接集成来自 Hugging Face Hub 的 transformers 和 diffusers 构建的模型。无需原始框架即可转换和部署模型。
• 广泛的平台兼容性：降低资源需求，并高效部署在从边缘到云的各种平台上。OpenVINO™ 支持在 CPU（x86、ARM）、GPU（英特尔集成及独立 GPU）和 AI 加速器（英特尔 NPU）上进行推理。
• 社区与生态系统：加入活跃的社区，共同提升各领域的深度学习性能。

查看 OpenVINO 速查表 和 核心特性 快速入门。

安装

获取您偏好的 OpenVINO 发行版，或使用以下命令快速安装：

pip install -U openvino

查看 系统要求 和 支持的设备 获取详细信息。

教程与示例

OpenVINO 快速入门示例 将引导您完成部署第一个模型的基础知识。

通过 OpenVINO Notebooks📚 学习如何优化和部署流行模型：
- 使用 OpenVINO 创建基于 LLM 的聊天机器人
- YOLOv11 优化
- 文生图
- 使用 LLaVa 和 OpenVINO 的多模态助手
- 使用 Whisper 和 OpenVINO 进行自动语音识别

在 OpenVINO 示例（Python 和 C++） 和 Notebooks（Python） 中发现更多示例。

以下是易于遵循的代码示例，演示了如何使用 OpenVINO 运行 PyTorch 和 TensorFlow 模型推理：

PyTorch 模型

import openvino as ov
import torch
import torchvision

# 将 PyTorch 模型加载到内存中
model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT")

# 将模型转换为 OpenVINO 模型
example = torch.randn(1, 3, 224, 224)
ov_model = ov.convert_model(model, example_input=(example,))

# 为 CPU 设备编译模型
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 在随机数据上推理模型
output = compiled_model({0: example.numpy()})

TensorFlow 模型

import numpy as np
import openvino as ov
import tensorflow as tf

# 将 TensorFlow 模型加载到内存中
model = tf.keras.applications.MobileNetV2(weights='imagenet')

# 将模型转换为 OpenVINO 模型
ov_model = ov.convert_model(model)

# 为 CPU 设备编译模型
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 在随机数据上推理模型
data = np.random.rand(1, 224, 224, 3)
output = compiled_model({0: data})

OpenVINO 支持 CPU、GPU 和 NPU 设备，并兼容来自 PyTorch、TensorFlow、ONNX、TensorFlow Lite、PaddlePaddle 和 JAX/Flax 框架 的模型。它提供 C++、Python、C、NodeJS 的 API，并为优化的模型流水线和性能提供 GenAI API。

使用 OpenVINO 进行生成式 AI

从 OpenVINO GenAI 安装 开始，并参考 详细指南 探索使用 OpenVINO 的生成式 AI 功能。

学习如何在 OpenVINO™ GenAI 仓库 中通过 示例 运行 LLM 和 GenAI。通过 Jupyter notebooks 查看 GenAI 的实际应用：基于 LLM 的聊天机器人 和 LLM 指令跟随流水线。

文档

用户文档 包含关于 OpenVINO 的详细信息，并指导您从安装到为 AI 应用优化和部署模型的全过程。

开发者文档 侧重于 OpenVINO 架构，并描述了 构建 和 贡献 流程。

OpenVINO 生态系统

OpenVINO 工具

• 神经网络压缩框架 (NNCF) - 高级模型优化技术，包括量化和稀疏化。
• GenAI 仓库 和 OpenVINO Tokenizers - 用于开发和优化生成式 AI 应用的资源和工具。
• OpenVINO™ 模型服务器 (OVMS) - 一个可扩展、高性能的解决方案，用于服务针对英特尔架构优化的模型。
• Intel® Geti™ - 一个用于计算机视觉用例的交互式视频和图像标注工具。

集成

• 🤗Optimum Intel - 在 Hugging Face API 中抓取和使用利用 OpenVINO 的模型。
• Torch.compile - 通过 JIT 编译代码为优化内核，将 OpenVINO 用于 Python 原生应用。
• ExecuTorch - 将 ExecuTorch 与 OpenVINO 结合使用，以高效优化和运行 AI 模型。
• 使用 vLLM 进行 OpenVINO LLM 推理和服务 - 通过 OpenVINO 后端增强 vLLM 快速简便的模型服务。
• ONNX Runtime 的 OpenVINO 执行提供程序 - 在您现有的 ONNX Runtime 代码中使用 OpenVINO 作为后端。
• LlamaIndex - 使用 LlamaIndex 框架构建上下文增强的 GenAI 应用，并通过 OpenVINO 提升运行时性能。
• LangChain - 将 OpenVINO 与 LangChain 框架集成，以提升 GenAI 应用的运行时性能。
• Keras 3 - Keras 3 是一个多后端深度学习框架。用户可以使用 Keras API 将模型推理切换到 OpenVINO 后端。

查看 Awesome OpenVINO 仓库，发现一系列基于 OpenVINO 的社区 AI 项目！

性能

探索 OpenVINO 性能基准，以发现最佳的硬件配置，并根据已验证的数据规划您的 AI 部署。

贡献与支持

查看 贡献指南 获取更多详情。
如果您正在寻找开始贡献的地方，请阅读 Good First Issues 部分。我们欢迎各种形式的贡献！

您可以通过以下渠道提问和获取支持：

• GitHub Issues。
• Intel DevHub Discord 服务器 上的 OpenVINO 频道。
• Stack Overflow* 上的 openvino 标签。

资源

• 发布说明
• OpenVINO 博客
• Medium 上的 OpenVINO™ 工具套件

遥测

OpenVINO™ 收集软件性能和使用数据，目的是改进 OpenVINO™ 工具。
此数据由 OpenVINO™ 直接收集或通过使用 Google Analytics 4 收集。
您可以通过运行以下命令随时选择退出：

opt_in_out --opt_out

更多信息请参见 OpenVINO™ 遥测。

许可证

OpenVINO™ 工具套件根据 Apache License Version 2.0 授权。
通过向项目贡献，您同意其中的许可证和版权条款，并根据这些条款发布您的贡献。

* 其他名称和品牌可能被声明为其所有者的财产。