在深度学习中，优化算法是模型训练的核心部分之一。其中，随机梯度下降（SGD）是最经典的优化方法之一，简单且高效。那么，SGD的默认参数有哪些呢？让我们一起看看吧！🔍

首先，SGD的基本公式为：

\[ w_{t+1} = w_t - \eta \cdot \nabla L(w_t) \]

其中，\( w_t \) 是当前权重，\( \eta \) 是学习率，\( \nabla L(w_t) \) 是损失函数对权重的梯度。

默认参数通常如下：

- 学习率（Learning Rate, η）: 一般设为0.01。这是经验值，但可根据任务调整。

- 动量（Momentum）: 默认为0。动量可以加速收敛，建议设置为0.9。

- 权重衰减（Weight Decay）: 默认为0。用于防止过拟合，常设为\(1e^{-4}\)到\(1e^{-6}\)之间。

此外，SGD有多种变体，如Nesterov Momentum和Adagrad兼容版，进一步提升了性能。尽管如此，SGD依然以其简洁性和稳定性成为许多任务的首选。💪

如果你正在使用深度学习框架（如PyTorch或TensorFlow），这些默认参数通常已内置，只需稍作调整即可适配你的模型！🚀

深度学习 优化算法 SGD