神经网络中的Silu激活函数：门控输出与上下文分支的结合

其中，silu是门控F的输出，同时也是上下文分支G的输出。最终输出是将T和F相加得到的。

原文地址: https://www.cveoy.top/t/topic/nqbi 著作权归作者所有。请勿转载和采集!