On-demand Quantization for Green Federated Generative Diffusion in Mobile Edge Networks
基本信息
- 标题： On-demand Quantization for Green Federated Generative Diffusion in Mobile Edge Networks
- 作者： Bingkun Lai, Jiayi He, Jiawen Kang, Gaolei Li, Minrui Xu, Tao Zhang, Shengli Xie
- 提交日期： 2024年3月7日
- 分类： Machine Learning (cs.LG); Distributed, Parallel, and Cluster Computing (cs.DC); Networking and Internet Architecture (cs.NI)
- arXiv ID： 2403.04430
摘要
生成式人工智能（GAI）在移动边缘网络（如元宇宙和工业物联网）中展现出显著的生产力和创造力。联邦学习因其数据分布特性，是在移动边缘网络中高效训练GAI模型的一种有前景的技术。然而，在移动边缘网络中训练大型GAI模型（如生成扩散模型）时，存在显著的通信消耗问题。此外，训练基于扩散的模型所带来的巨大能耗，以及边缘设备的有限资源和网络环境的复杂性，对提高GAI模型的训练效率构成了挑战。
为解决这一问题，本文提出了一种面向移动边缘网络的按需量化节能联邦扩散方法。具体而言，我们首先设计了一种考虑边缘设备不同需求的动态量化联邦扩散训练方案。然后，我们研究了基于特定量化需求的能效问题。数值结果表明，与基线联邦扩散方法和固定量化联邦扩散方法相比，所提出的方法显著降低了系统能耗和传输模型大小，同时有效保持了生成数据的合理质量和多样性。