StreetFighterCustomWrapper 类详解：OpenAI Gym 环境自定义包装

这段代码定义了一个名为 'StreetFighterCustomWrapper' 的类，它继承自 OpenAI Gym 的环境类。该类主要用于自定义环境，并对原始环境进行一些增强。

该类有以下几个主要属性：

• 'env'：表示原始环境，即被包装的 OpenAI Gym 环境。
• 'frame_stack'：一个长度为 9 的 'deque'，用于存储最近的 9 帧图像。帧堆叠是一种常见的强化学习技巧，它可以帮助模型更好地理解环境的状态变化。
• 'observation_space'：一个 'Box' 空间，表示观测空间的范围。在这个例子中，观测空间是一个 100x128x3 的三维数组，代表游戏画面。

此外，该类还定义了一些参数，例如：

• 'num_frames'：帧堆叠的帧数，这里设置为 9。
• 'num_step_frames'：每一步需要堆叠的帧数，这里设置为 6。
• 'reward_coeff'：奖励系数，用于调整奖励的大小。
• 'full_hp'：玩家和对手的初始血量，这里设置为 176。
• 'prev_player_health' 和 'prev_oppont_health'：用于存储上一帧的玩家和对手血量，方便计算奖励。
• 'reset_round'：用于指定是否需要重置游戏回合。
• 'rendering'：用于指定是否需要渲染游戏画面。

通过自定义这些参数，可以根据具体需求调整环境的行为，例如：

• 通过改变 'frame_stack' 的长度来调整帧堆叠的程度。
• 通过调整 'reward_coeff' 来改变奖励的大小。
• 通过设置 'reset_round' 来控制游戏回合的重置方式。
• 通过设置 'rendering' 来决定是否需要渲染游戏画面。

总而言之，'StreetFighterCustomWrapper' 类提供了一种方便的方法来对 OpenAI Gym 环境进行自定义，从而增强环境的学习效果，使其更适合于特定的强化学习任务。