神经网络架构与训练优化：Sigmoid、ReLU、SGD、Adam 和损失函数

对于神经网络的输出层，使用了对数Sigmoid函数，对于隐藏层神经元的激活函数，使用了双曲正切Sigmoid函数和修正线性单元(ReLU)函数。使用随机梯度下降和ADAM优化算法进行ANN的训练。对于回归问题，使用均方误差(MSE)损失函数，而对于分类问题，使用二元交叉熵损失函数。在表4中给出的参数范围内探索了全面的参数组合，以确定最佳组合。使用Python Keras库实现了ANN。