可重构智能表面和无人机辅助通信：深度强化学习方法

本文研究了基于深度强化学习（DRL）的无人机（UAV）辅助通信系统，重点探讨了可重构智能表面（RIS）和UAV在提升网络性能方面的应用。文章首先介绍了UAV和RIS辅助通信的优势和挑战，然后分别针对以下三个主要问题提出了DRL解决方案：

• 3D无人机轨迹和数据收集优化：针对UAV辅助物联网（IoT）系统，设计了新的DRL技术，以在满足飞行时间、传输距离等约束条件下，最大化UAV收集的数据量，并最小化其飞行路径。通过将飞行区域划分为网格，并使用深度Q学习（DQL）和dueling DQL算法进行训练，UAV能够自主地选择最佳路径，实现高效的数据收集。
• RIS辅助物联网无线能量传输：针对UAV辅助IoT无线能量传输系统，提出了基于DRL的解决方案，以最大化网络总速率。文章考虑了两种UAV场景：悬停UAV和移动UAV，并分别设计了相应的DRL算法。通过联合优化UAV轨迹、IoT设备能量收集调度和RIS相移矩阵，实现了高效的能量传输和信息收集。
• 可重构智能表面辅助多UAV网络：针对多UAV辅助无线通信系统，提出了基于DRL的资源分配方法，以最大化网络能效（EE）。文章提出了集中式和并行式DRL算法，分别用于联合优化UAV的功率分配和RIS的相移矩阵，并通过近端策略优化（PPO）算法进一步提升了网络性能。

研究结果表明，所提出的DRL方法能够有效地解决UAV和RIS辅助通信系统中的资源分配和优化问题，并在动态环境和时间变化信道条件下实现实时决策。与现有方法相比，DRL方法在最大化网络总速率和能效方面具有显著优势，为未来无线通信技术的发展提供了新的思路。