Ray Serve — 分布式模型部署框架

.. image:: https://github.com/ray-project/ray/raw/master/doc/source/images/ray_header_logo.png

.. image:: https://readthedocs.org/projects/ray/badge/?version=master
:target: http://docs.ray.io/en/master/?badge=master

.. image:: https://img.shields.io/badge/Ray-Join%20Slack-blue
:target: https://www.ray.io/join-slack

.. image:: https://img.shields.io/badge/Discuss-Ask%20Questions-blue
:target: https://discuss.ray.io/

.. image:: https://img.shields.io/twitter/follow/raydistributed.svg?style=social&logo=twitter
:target: https://x.com/raydistributed

.. image:: https://img.shields.io/badge/Get_started_for_free-3C8AE9?logo=data%3Aimage%2Fpng%3Bbase64%2CiVBORw0KGgoAAAANSUhEUgAAABAAAAAQCAYAAAAf8%2F9hAAAAAXNSR0IArs4c6QAAAERlWElmTU0AKgAAAAgAAYdpAAQAAAABAAAAGgAAAAAAA6ABAAMAAAABAAEAAKACAAQAAAABAAAAEKADAAQAAAABAAAAEAAAAAA0VXHyAAABKElEQVQ4Ea2TvWoCQRRGnWCVWChIIlikC9hpJdikSbGgaONbpAoY8gKBdAGfwkfwKQypLQ1sEGyMYhN1Pd%2B6A8PqwBZeOHt%2FvsvMnd3ZXBRFPQjBZ9K6OY8ZxF%2B0IYw9PW3qz8aY6lk92bZ%2BVqSI3oC9T7%2FyCVnrF1ngj93us%2B540sf5BrCDfw9b6jJ5lx%2FyjtGKBBXc3cnqx0INN4ImbI%2Bl%2BPnI8zWfFEr4chLLrWHCp9OO9j19Kbc91HX0zzzBO8EbLK2Iv4ZvNO3is3h6jb%2BCwO0iL8AaWqB7ILPTxq3kDypqvBuYuwswqo6wgYJbT8XxBPZ8KS1TepkFdC79TAHHce%2F7LbVioi3wEfTpmeKtPRGEeoldSP%2FOeoEftpP4BRbgXrYZefsAI%2BP9JU7ImyEAAAAASUVORK5CYII%3D
:target: https://www.anyscale.com/ray-on-anyscale?utm_source=github&utm_medium=ray_readme&utm_campaign=get_started_badge

Ray 是一个用于扩展 AI 和 Python 应用程序的统一框架。它包含一个核心分布式运行时和一套用于简化机器学习计算的 AI 库：

.. image:: https://github.com/ray-project/ray/raw/master/doc/source/images/what-is-ray-padded.svg

..
https://docs.google.com/drawings/d/1Pl8aCYOsZCo61cmp57c7Sja6HhIygGCvSZLi_AuBuqo/edit

了解更多关于 Ray AI 库_ 的信息：

• Data_: 用于机器学习的可扩展数据集
• Train_: 分布式训练
• Tune_: 可扩展的超参数调优
• RLlib_: 可扩展的强化学习
• Serve_: 可扩展且可编程的服务

或者了解更多关于 Ray 核心_ 及其关键抽象：

• Tasks_: 在集群中执行的无状态函数。
• Actors_: 在集群中创建的有状态工作进程。
• Objects_: 可在集群中访问的不可变值。

了解更多关于监控和调试的信息：

• 使用 Ray 仪表盘 <https://docs.ray.io/en/latest/ray-core/ray-dashboard.html>__ 监控 Ray 应用和集群。
• 使用 Ray 分布式调试器 <https://docs.ray.io/en/latest/ray-observability/ray-distributed-debugger.html>__ 调试 Ray 应用。

Ray 可以在任何机器、集群、云提供商和 Kubernetes 上运行，并拥有一个不断增长的 社区集成生态系统_。

通过以下命令安装 Ray：pip install ray。如需获取 nightly 版本，请参阅 安装页面 <https://docs.ray.io/en/latest/ray-overview/installation.html>__。

.. Serve: https://docs.ray.io/en/latest/serve/index.html
.. Data: https://docs.ray.io/en/latest/data/dataset.html
.. Workflow: https://docs.ray.io/en/latest/workflows/
.. Train: https://docs.ray.io/en/latest/train/train.html
.. Tune: https://docs.ray.io/en/latest/tune/index.html
.. RLlib: https://docs.ray.io/en/latest/rllib/index.html
.. _ecosystem of community integrations: https://docs.ray.io/en/latest/ray-overview/ray-libraries.html

为什么选择 Ray？

当今的机器学习工作负载对计算能力的要求越来越高。虽然像个人笔记本电脑这样的单节点开发环境很方便，但它们无法扩展以满足这些需求。

Ray 提供了一种统一的方式，可以将 Python 和 AI 应用程序从笔记本电脑扩展到集群。

借助 Ray，您可以无缝地将同一份代码从笔记本电脑扩展到集群。Ray 被设计为通用框架，这意味着它可以高性能地运行任何类型的工作负载。如果您的应用程序是用 Python 编写的，您就可以使用 Ray 来扩展它，无需其他基础设施。

更多信息

• 文档_
• Ray 架构白皮书_
• Exoshuffle: Ray 中的大规模数据洗牌_
• 所有权：用于细粒度任务的分布式 Futures 系统_
• RLlib 论文_
• Tune 论文_

较早的文档：

• Ray 论文_
• Ray HotOS 论文_
• Ray 架构 v1 白皮书_

.. Ray AI 库: https://docs.ray.io/en/latest/ray-air/getting-started.html
.. Ray 核心: https://docs.ray.io/en/latest/ray-core/walkthrough.html
.. Tasks: https://docs.ray.io/en/latest/ray-core/tasks.html
.. Actors: https://docs.ray.io/en/latest/ray-core/actors.html
.. Objects: https://docs.ray.io/en/latest/ray-core/objects.html
.. 文档: http://docs.ray.io/en/latest/index.html
.. Ray 架构 v1 白皮书: https://docs.google.com/document/d/1lAy0Owi-vPz2jEqBSaHNQcy2IBSDEHyXNOQZlGuj93c/preview
.. Ray 架构白皮书: https://docs.google.com/document/d/1tBw9A4j62ruI5omIJbMxly-la5w4q_TjyJgJL_jN2fI/preview
.. Exoshuffle: Ray 中的大规模数据洗牌: https://arxiv.org/abs/2203.05072
.. 所有权：用于细粒度任务的分布式 Futures 系统: https://www.usenix.org/system/files/nsdi21-wang.pdf
.. Ray 论文: https://arxiv.org/abs/1712.05889
.. Ray HotOS 论文: https://arxiv.org/abs/1703.03924
.. RLlib 论文: https://arxiv.org/abs/1712.09381
.. Tune 论文: https://arxiv.org/abs/1807.05118

参与其中

.. list-table::
:widths: 25 50 25 25
:header-rows: 1

• • 平台
  • 用途
  • 预计响应时间
  • 支持级别
• • Discourse 论坛_
  • 用于讨论开发和咨询使用问题。
  • < 1 天
  • 社区
• • GitHub Issues_
  • 用于报告错误和提交功能请求。
  • < 2 天
  • Ray 开源团队
• • Slack_
  • 用于与其他 Ray 用户协作。
  • < 2 天
  • 社区
• • StackOverflow_
  • 用于询问如何使用 Ray。
  • 3-5 天
  • 社区
• • Meetup 小组_
  • 用于了解 Ray 项目和最佳实践。
  • 每月
  • Ray 开发者关系团队
• • Twitter_
  • 用于获取新功能的最新信息。
  • 每日
  • Ray 开发者关系团队

.. Discourse 论坛: https://discuss.ray.io/
.. GitHub Issues: https://github.com/ray-project/ray/issues
.. StackOverflow: https://stackoverflow.com/questions/tagged/ray
.. Meetup 小组: https://www.meetup.com/Bay-Area-Ray-Meetup/
.. Twitter: https://x.com/raydistributed
.. Slack: https://www.ray.io/join-slack?utm_source=github&utm_medium=ray_readme&utm_campaign=getting_involved