Градиентные методы.

Градиентом скалярной функции в точке является вектор . Этот вектор перпендикулярен плоскости, проведенной через точку , и касательной к поверхности уровня (поверхности постоянного значения функции , проходящей через точку . Вектор-градиент направлен в сторону возрастания функции. Вектор, противоположный градиенту называется антиградиентом и направлен в сторону наибольшего убывания функции (рис. 3.1.). В точке минимума градиент функции равен нулю.

Выбирая в качестве направления спуска из формулы (44) антиградиент функции в точке получаем итерационный процесс вида:

, (45)

Все итерационные процессы, в которых направление движения на каждом шаге совпадает с антиградиентом (градиентом) функции называют градиентными методами. Они отличаются друг от друга способом выбора шага .

 

При методе с постоянным шагом для всех итераций выбирается некоторая постоянная для всех итераций величина шага. Достаточно малый шаг обеспечит убывание функции, т.е. выполнение неравенства:

(46)

Однако, это может привести к необходимости проводить очень большое число итераций для достижения точки минимума. С другой стороны, слишком большой шаг может вызвать неожиданный рост функции, либо привести к колебаниям около точки минимума. Из-за отсутствия информации для выбора величины шага методы с постоянным шагом применяются редко. Более экономичными в смысле количества итераций и надежными являются градиентные методы с переменным шагом, среди которых часто применяется метод наискорейшего спуска [11].

Предлагаю ознакомиться с аналогичными статьями: