门控信号z是一种用于控制记忆和遗忘的信号,它的取值范围在0到1之间。当z越接近1时,说明模型会更多地记住历史信息;而当z越接近0时,则代表模型更多地遗忘历史信息。相比于LSTM,GRU的优点在于只需要一个门控z即可同时实现遗忘和选择记忆,而不需要使用多个门控。在GRU中,门控z的作用是同步进行遗忘和选择记忆。具体来说,这一步操作会忘记历史状态h中的某些维度信息,并同时加入当前输入的某些维度信息。值得注意的是,门控信号z和选择信号1-z是相互关联的,也就是说,对于传递进来的维度信息,模型会进行选择性遗忘。因此,遗忘所占的权重将使用包含当前输入的权重b进行弥补,以保持状态的稳定性。

门控信号z的范围为0~1。门控信号越接近1代表记忆下来的数据越多;而越接近0则代表遗忘的越多。 gru的优点在于可以使用同一个门控z同时进行遗忘和选择记忆lstm要使用多个门控。结合上述这一步的操作就是忘记h中的某些维度信息并且加入当前输入的某些维度信息。可以看到这里的遗忘z和选择1-

原文地址: https://www.cveoy.top/t/topic/cjCY 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录