OpenMMLab PlayTorch?

 

OpenMMLab 官方网站 ^热门      OpenMMLab 平台 ^立即体验

 

[](https://pypi.org/project/mmpretrain) [](https://mmpretrain.readthedocs.io/en/latest/) [](https://github.com/open-mmlab/mmpretrain/actions) [](https://codecov.io/gh/open-mmlab/mmpretrain) [](https://github.com/open-mmlab/mmpretrain/blob/main/LICENSE) [](https://github.com/open-mmlab/mmpretrain/issues) [](https://github.com/open-mmlab/mmpretrain/issues) [📘 文档](https://mmpretrain.readthedocs.io/en/latest/) | [🛠️ 安装](https://mmpretrain.readthedocs.io/en/latest/get_started.html#installation) | [👀 模型库](https://mmpretrain.readthedocs.io/en/latest/modelzoo_statistics.html) | [🆕 更新日志](https://mmpretrain.readthedocs.io/en/latest/notes/changelog.html) | [🤔 报告问题](https://github.com/open-mmlab/mmpretrain/issues/new/choose) [English](/README.md) | 简体中文

简介

MMPreTrain 是一个基于 PyTorch 的开源预训练工具箱，是 OpenMMLab 项目的一部分。

main 分支支持 PyTorch 1.8+。

主要特性

• 丰富的骨干网络和预训练模型
• 丰富的训练策略（监督学习、自监督学习、多模态学习等）
• 训练技巧集合
• 大规模训练配置
• 高效率和可扩展性
• 强大的模型分析和实验工具箱
• 多种开箱即用的推理任务：
• 图像分类
• 图像描述
• 视觉问答
• 视觉定位
• 检索（图-图、文-图、图-文）

https://github.com/open-mmlab/mmpretrain/assets/26739999/e4dcd3a2-f895-4d1b-a351-fbc74a04e904

最新动态

🌟 v1.2.0 于 2023 年 04 月 01 日发布

• 支持 LLaVA 1.5
• 基于 gradio 界面实现了 RAM

🌟 v1.1.0 于 2023 年 10 月 12 日发布

• 支持 Mini-GPT4 训练，并提供基于 Baichuan-7B 的中文模型
• 支持基于 CLIP 的零样本分类

🌟 v1.0.0 于 2023 年 07 月 04 日发布

• 支持更多多模态算法的推理，如 LLaVA、MiniGPT-4、Otter 等。
• 支持约 10 种多模态数据集！
• 新增 iTPN、SparK 自监督学习算法
• 提供 New Config 和 DeepSpeed/FSDP with FlexibleRunner 的使用示例。相关文档链接：New Config 和 DeepSpeed/FSDP with FlexibleRunner

🌟 从 MMClassification 升级到 MMPreTrain

• 集成了来自 MMSelfSup 的自监督学习算法，如 MAE、BEiT 等。
• 支持 RIFormer，一种通过移除 token mixer 来简化而有效的视觉骨干。
• 重构了数据集流水线的可视化。
• 新增了对 LeViT、XCiT、ViG、ConvNeXt-V2、EVA、RevViT、EfficientnetV2、CLIP、TinyViT 和 MixMIM 骨干网络的支持。

此版本引入了全新且灵活的训练和测试引擎，但仍在持续完善中。欢迎根据文档进行尝试。

同时存在一些不兼容的变更，请查阅迁移教程。

更多详情和其他版本历史，请参阅更新日志。

安装

以下是快速安装步骤：

conda create -n open-mmlab python=3.8 pytorch==1.10.1 torchvision==0.11.2 cudatoolkit=11.3 -c pytorch -y
conda activate open-mmlab
pip install openmim
git clone https://github.com/open-mmlab/mmpretrain.git
cd mmpretrain
mim install -e .

更详细的安装和数据集准备步骤，请查阅安装文档。

如需支持多模态模型，请额外安装以下依赖：

mim install -e ".[multimodal]"

用户指南

我们为新用户提供了一系列关于 MMPreTrain 基本用法的教程：

• 了解配置
• 准备数据集
• 使用现有模型进行推理
• 训练
• 测试
• 下游任务

更多详情，请查阅我们的文档。

模型库

模型和实验结果可在模型库中查看。

贡献

我们感谢所有为改进 MMPreTrain 所做的贡献。请参阅贡献指南了解如何贡献。

致谢

MMPreTrain 是一个开源项目，由来自不同高校和公司的研究人员和工程师共同贡献。我们感谢所有实现其方法或添加新功能的贡献者，以及提供宝贵反馈的用户。我们希望这个工具箱和基准能够通过提供灵活的框架来重现现有方法并支持他们自己的学术研究，从而为不断壮大的研究社区服务。

引用

如果您在研究中使用了本项目，请考虑引用：

@misc{2023mmpretrain,
    title={OpenMMLab的预训练工具箱和基准},
    author={MMPreTrain 贡献者},
    howpublished = {\url{https://github.com/open-mmlab/mmpretrain}},
    year={2023}
}

许可

该项目采用 Apache 2.0 许可证发布。

OpenMMLab 项目

• MMEngine: OpenMMLab 训练深度学习模型的基础库。
• MMCV: OpenMMLab 计算机视觉基础库。
• MIM: MIM 用于安装 OpenMMLab 包。
• MMEval: 针对多个机器学习库的统一评估库。
• MMPreTrain: OpenMMLab 预训练工具箱和基准。
• MMDetection: OpenMMLab 检测工具箱和基准。
• MMDetection3D: OpenMMLab 通用 3D 目标检测平台。
• MMRotate: OpenMMLab 旋转目标检测工具箱和基准。
• MMYOLO: OpenMMLab YOLO 系列工具箱和基准。
• MMSegmentation: OpenMMLab 语义分割工具箱和基准。
• MMOCR: OpenMMLab 文本检测、识别和理解工具箱。
• MMPose: OpenMMLab 姿态估计工具箱和基准。
• MMHuman3D: OpenMMLab 3D 人体参数模型工具箱和基准。
• MMSelfSup: OpenMMLab 自监督学习工具箱和基准。
• MMRazor: OpenMMLab 模型压缩工具箱和基准。
• MMFewShot: OpenMMLab 小样本学习工具箱和基准。
• MMAction2: OpenMMLab 下一代动作理解工具箱和基准。
• MMTracking: OpenMMLab 视频感知工具箱和基准。
• MMFlow: OpenMMLab 光流工具箱和基准。
• MMagic: MMLab Advanced， Generative and Intelligent Creation 工具箱。
• MMGeneration: OpenMMLab 图像和视频生成模型工具箱。
• MMDeploy: OpenMMLab 模型部署框架。
• Playground: 收集和展示基于 OpenMMLab 构建的优秀项目的中心枢纽。