基于PPO的深度强化学习算法用于光伏-电池储能系统容量调度

投资者拥有的光伏-电池储能系统（PV-BSS）可以通过提供多种服务，包括光伏充电和频率调节，以及进行能量套利来获取收益。容量调度（CS）是PV-BSS能量管理的关键组成部分，旨在确保PV-BSS的安全和经济运行。

本文提出了一种基于近端策略优化（PPO）的深度强化学习（DRL）智能体，用于执行PV-BSS的容量调度。与之前使用基于价值的方法和离散动作空间的工作不同，PPO可以轻松地处理连续动作空间，并确定具体的充电/放电量。

为了强制执行BSS的能量和功率容量的安全约束，提出了一种使用串行策略的安全控制算法，与PPO智能体协同工作。PPO智能体可以在最大限度地提高累积净收益的同时，安全地利用BSS的容量。

经过训练后，PPO智能体可以适应高度不确定和波动的市场信号和光伏发电量。所提出的CS方案的有效性通过使用真实市场数据得到证实。对比结果表明，PPO智能体在盈利能力和样本效率方面优于深度确定性策略梯度智能体、优势行动者-评论家智能体和双深度Q网络智能体。

思维导图:

[图片]