Federated Learning Assisted Deep Q-Learning for Joint Task Offloading and Fronthaul Segment Routing in Open RAN

基本信息

• 标题：Federated Learning Assisted Deep Q-Learning for Joint Task Offloading and Fronthaul Segment Routing in Open RAN
• 作者：Anselme Ndikumana, Kim Khoa Nguyen, Mohamed Cheriet
• 提交日期：2023年8月14日
• arXiv 编号：arXiv:2308.07258 [cs.NI]
• 主题分类：Computer Science > Networking and Internet Architecture (cs.NI)
• DOI：https://doi.org/10.48550/arXiv.2308.07258

摘要

将计算密集型任务卸载至边缘云已成为支撑资源受限边缘设备的一种有效方式。然而，由于边缘云与边缘设备之间网络容量有限，任务卸载时延仍是一个突出问题。本文研究开放无线接入网（Open Radio Access Network, O-RAN）中的任务卸载问题。O-RAN 是一种新型 5G RAN 架构，允许开放中央单元（O-CU）与开放分布式单元（O-DU）共置于边缘云，以提供低时延服务。O-RAN 依赖前传网络连接 O-RAN 无线单元（O-RU）与承载 O-DU 的边缘云。因此，任务需经由无线网络与前传网络卸载至边缘云，这涉及路由问题。由于各边缘云可用计算资源不同，且任务的计算截止时间各异，需要一种面向多边缘云的任务分配方法。已有工作尚未同时解决任务卸载、前传路由与边缘计算的联合问题。

为此，本文利用分段路由（segment routing）、O-RAN 智能控制器和多边缘云，构建了一个优化问题，以最小化 O-RAN 中的卸载、前传路由与计算时延。针对这一 NP-hard 问题，作者采用联邦学习辅助的深度 Q 学习（Deep Q-Learning）方法求解，并设计了以降低时延代价（Cost of Delay, CoD）为目标的奖励函数。仿真结果表明，所提方案在最小化 CoD 方面能够最大化奖励。