文生图评测方法论

范围与背景

对通过无服务器 API 端点提供的图像生成模型进行评测。本页说明文生图的质量与性能评测方法。

当客户仅按使用量付费、而非按固定费率使用系统时，我们将该图像生成端点视为无服务器（参见下方关于 Midjourney 的说明）。

我们定义「默认设置、1024×1024 尺寸」的图片，在所有模型与厂商间统一生成。各关键指标均使用相同设置（含推理步数）以保证可比性；例如 Stable Diffusion XL 1.0 使用 30 推理步，图像竞技场投票、生成时间与千图价格均采用相同设置。

关键指标

我们使用以下指标跟踪文生图模型的质量、性能与价格：

• 质量 ELO：由 Artificial Analysis 图像竞技场（Image Arena）中大量用户投票得出的相对 ELO 分数，计算方式与 LMSys Chatbot Arena 的 ELO 类似。
• 千图价格：厂商每张图片价格（美元）× 1000。按推理时间计费的厂商（如 Replicate、Fal、Deepinfra）我们基于约 100 张图的推理时间与单价估算；按推理步数计费的（如 Fireworks、Amazon Bedrock、Together.ai）按每步价格×该模型推理步数计算；订阅制按 80%（月额度）或 70%（日额度）利用率折算。
• 生成时间：过去 14 天测量的中位数——从请求到单张图片生成完成的时间。若 API 返回 URL 而非图片数据，则包含下载时间以反映用户侧延迟。当前仅评测批大小为 1。

生成时间测试方法

• 每天随机时间运行 4 次评测。
• 每次生成使用唯一提示。
• 在可能的情况下关闭水印与安全检测。

模型推理步数

文生图主流架构为扩散模型，通过多步去噪生成图像，步数即扩散步数/推理步数。对支持设置推理步数的模型，我们采用模型创建方默认值或各厂商默认步数的中位数，且同一模型在所有测试（含图像竞技场、性能与定价）中均使用相同步数。

模型与厂商纳入标准

我们旨在覆盖主流且表现优异的文生图模型与厂商，采用「行业影响力」与竞争表现作为纳入依据，并持续完善标准。建议新增模型或厂商可通过联系页反馈。

独立性声明

评测严格保持独立与客观，不因上榜或有利结果从任何厂商处获得报酬。

关于 Midjourney

Midjourney 无开发者 API，仅提供固定价格订阅，因此不符合我们定义的无服务器端点。鉴于其在文生图市场的重要地位，我们仍将其纳入评测。需注意：（1）我们通过 ImagineAPI 等第三方接入 Midjourney 进行评测；（2）每次提示默认返回 4 张图，生成时间相当于批大小 4，与其他厂商直接对比需谨慎；（3）千图价格按订阅下「快速生成」最大可生成张数折算，每提示计为 1 张图，未体现一次提示得 4 张的收益。