optim.md

Оптимизаторы

• SGD
• Momentum
• RMSprop
• Adam
• NAdam

Gradient Descent

Источник

SGD mini-batch

Оптимизация весов модели по градиентам, полученных с loss function относительно весов $\theta$, с некоторым learning rate $\eta$, по её mini-batch'ам, а не конкретным примерам или всей выборки. Для обновление параметров мы усредняем по mini-batch градиенты. $\theta =\theta -\eta \cdot {\nabla }_{\theta }J(\theta ;x^{(i:i+n)};y^{(i:i+n)})$

Vanila GD

Оптимизация по всей выборки. Для обновление параметров мы усредняем градиенты. $\theta =\theta -\eta \cdot {\nabla }_{\theta }J(\theta )$

SGD

Оптимизация по одному примеру. $\theta =\theta -\eta \cdot {\nabla }_{\theta }J(\theta ;x^{(i)};y^{(i)})$

Проблемы классического подхода

• выбор learning rate;
• отсутствие регулировки learning rate в течение обучения;
• одинаковый learning rate для данных разной частоты;
• попадание в suboptimal minimum.

---

Momentum

Источник

Описание

Моментум — это метод, который позволяет ускорить SGD и погасить колебания. Методу удаётся это сделать за счёт добавления вектора обновления c предыдущего шага, умноженного на коэффициент $\gamma$. $v_t=\gamma v_{t-1}+\eta {\nabla }_{\theta }J(\theta )$ $\theta =\theta -v_t$

Интуитивно

Моментум делает наш вектор градиент более похожем на мяч на который теперь действует сила притяжения, из-за чего он скатывается по сколону быстрее и быстрее. Бесконечно сохранять скорость ему не даёт сила сопротивления "воздуха" γ (сохраняемая энергия) при кажом степе. Когда же он перескакивает низ склона залетая на противоположный склон знак градиента меняется и скорость постепенно замедляется после чего, направление меняется и он катится снова к низу. Так он итеративно и доходит до минимума.

---

RMSprop

Источник

Метод пытается решить проблему колебаний, как и Momentum, но заходя с другой стороны RMSprop вычисляет learning rate для каждого параметра отдельно, как Adagrad.

1. Метод позволяющий решить проблему Adagrad с радикально уменьшающимися learning rates;
2. Реализация Rprop для mini-batch.

$$E[g^2]t = 0.9E[g^2]{t-1} + 0.1g_t^2$$ ${\theta }_t={\theta }_{t-1}-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}{g}_t$

---

Adam

Источник

Описание

Adaptive Moment Estimation - adaptive learning rate метод. В дополнение к сохранению экспоненциального среднего квадратов градиентов $v_t$ как Adadelta и RMSprop, также сохраняет экспоненциальное среднее предыдущих градиентов $m_t$, как Momentum. $m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1)g_t$ $u_t={\beta }_2{u}_{t-1}+(1-{\beta }_2)g_t^2$

$m_t$ и $u_t$ сдвинуты к нулю, чтобы продействовать этому вычисляют bias-corrected estimates: ${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$ ${\hat{u}}_t=\frac{u_t}{1-{\beta }_2^t}$

$${\theta }_t={\theta }_{t-1}-\frac{\eta }{\sqrt{{\hat{u}}_t}+ϵ}{\hat{m}}_t$$

Интутивно

Если Momentum шар, то Adam это тяжёлый шар с сопротивлением, который будет предпочитать минимум на поверхности функции потерь.

---

NAdam

Описание

Как Adam только, если Adam=Momentum+RMSprop, то Nadam=NAG+RMSprop. ${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{u}}_t}+ϵ}({\beta }_1{\hat{m}}_t+\frac{(1-{\beta }_1)g_t}{1-{\beta }_1^t})$