Градиентные методы.

Градиентом скалярной функции в точке является вектор . Этот вектор перпендикулярен плоскости, проведенной через точку , и касательной к поверхности уровня (поверхности постоянного значения функции , проходящей через точку . Вектор-градиент направлен в сторону возрастания функции. Вектор, противоположный градиенту называется антиградиентом и направлен в сторону наибольшего убывания функции (рис. 3.1.). В точке минимума градиент функции равен нулю.

Выбирая в качестве направления спуска из формулы (44) антиградиент функции в точке получаем итерационный процесс вида:

, (45)

Все итерационные процессы, в которых направление движения на каждом шаге совпадает с антиградиентом (градиентом) функции называют градиентными методами. Они отличаются друг от друга способом выбора шага .

 

При методе с постоянным шагом для всех итераций выбирается некоторая постоянная для всех итераций величина шага. Достаточно малый шаг обеспечит убывание функции, т.е. выполнение неравенства:

(46)

Однако, это может привести к необходимости проводить очень большое число итераций для достижения точки минимума. С другой стороны, слишком большой шаг может вызвать неожиданный рост функции, либо привести к колебаниям около точки минимума. Из-за отсутствия информации для выбора величины шага методы с постоянным шагом применяются редко. Более экономичными в смысле количества итераций и надежными являются градиентные методы с переменным шагом, среди которых часто применяется метод наискорейшего спуска [11].

Предлагаю ознакомиться с аналогичными статьями:

Оптимизация

• Безусловная минимизация функций численными методами второго порядка.
• Метод сопряженных градиентов Флетчера-Ривса.
• Метод наискорейшего спуска.
• Формулировка задачи многомерной оптимизации.
• Метод поиска минимума функции одной переменной с использованием кубичной аппроксимации

методичка

• Построение изображений заданных решений линейной системы по минимальным многочленам векторов пространства состояний
• Моделирование процессов управления ЛА. Управление самолетом «Боинг - 747» при посадке.
• ПЕРЕПЛЕТ ЖУРНАЛОВ
• КАК ПРОДЛИТЬ КНИЖКЕ ЖИЗНЬ
• Договоренности и динамика знаков
• Активность

образование

• Мой тест по сетям
• Цифровая обработка сигналлов
• Интерфейсы. Общие положения.
• Активность
• Основная семиотическая конструкция: треугольник Фреге
• Семиотика и знания