Метод Льовенберга — Маркардта
Цей метод заснований на наступній ідеї. Щоб уникнути розходження приближень метода Ньютона, викликаних невдалим вибором початкового наближення (див. рис. 2), можна спробувати заборонити наступній ітерації бути дуже далеко від попередньої. Для цього наступну ітерацію шукають з умови
,
де ln — деякий параметр (свій на кожному кроці). Перші три додатки у визначенні функції є квадратичною апроксимацією функції f, а останній доданок — "штраф", що не дозволяє точці xn+1 відходити далеко від точки xn. Мінімум (принаймні стаціонарна точка) функції обчислюється в явному вигляді з наступного рівняння (щодо x):
Q = (x) = f (xn) + f (xn)(x xn) + ln(x xn).
Як легко побачити:
xn+1 = argmin (x) = xn [f (xn) + lnI]1f (xn). (2.16)
Остання формула і є метод Льовенберга-Маркардта.
Очевидно, що якщо ln= 0, то (2.22) і є метод Ньютона, а якщо ln велике, то (оскільки [f (xn) + lnI]1 (ln)1I при великих ln) формула (2.16) близька до градієнтного метода. Тому, підбираючи значення параметра ln, можна добитися, щоб метод (2.16), по-перше сходиться глобально, і по-друге квадратично. Можна, наприклад, вибирати ln з наступних міркувань: кут між напрямами кроку і антиградієнтом повинен бути гострим, а значення функції на кожному кроці повинне кваліфіковано убувати. В цьому випадку ln повинне задовольняти наступним умовам (тут ми позначаємо „анти напрямок” кроку [f (xn) + lnI]1f (xn) через yn):
|
|
|
f(xn+1) f(xn) 2(yn, f (xn)),
де 1 (0, 1) и 2 (0, 1/2) - параметри.
Проте, як завжди, існує ще один недолік методу Ньютона, тому розглянемо - модифікований метод Ньютона. В деяких задачах більш істотним недоліком методу Ньютона є його велика обчислювальна трудність: на кожному кроці потрібне обчислення оператора (матриці) f (xn) і його (її) обіг, що при великих розмірностях коштує в обчислювальному плані дуже дорого. Один із способів обходу цих труднощів полягає в „заморожуванні” оператора f (xn) - використовуванні на [f (x0)]1 замість [f (xn)]1:
xn+1 = xn [f (x0)]1f (xn). (2.17)
Рисунок 2.2 - Геометрична інтерпретація модифікованого методу Ньютона
Можна показати, що при природних обмеженнях модифікований метод Ньютона сходиться лише лінійно (це платня за зменшення об'єму обчислень). Можна також не заморожувати оператор [f (xn)]1 назавжди, а обновляти його через певнечисло кроків, скажімо до:
xn+1 = xn [f (x[n/k]·k)]1f (xn), (2.18)
Можна довести, що якщо функція f сильно випукла і f задовольняє умові Липшиця, то
|
|
|
||xn+k x*|| C||xn x*||k+1,
тобто за k кроків порядок погрішності зменшується в k+1 разів, що відповідає наступній оцінці погрішності на кожному кроці:
||xn+1 x*|| C||xn x*||kk+1.
Іншими словами, метод (2.18) є методом kk+1-го порядку збіжності. Таким чином, метод (2.18) займає проміжне положення між методом Ньютона (k=1) і модифікованим методом Ньютона (2.17) (k=) як по швидкості збіжності, так і за об'ємом обчислень.
Інший спосіб зменшення об'єму роботи, пов'язаного з обчисленням функції f (xn) можна описати так. Метод січних рішення рівняння (2.11) полягає в наближеній заміні функції F в рівнянні не дотичної y=F(xn)+F (xn)(x-xn), а січною гіперплощиною. Наприклад, в одновимірному випадку - прямою y=F(xn)+(F(xn)F(xn1))(x-xn)/(xnxn1) (див. рис.2.3). Ця заміна призводить (в скалярному випадку!) до наступного методу рішення задачі (2.10):
(2.19)
який і називається методом січних. Відомо, що для достатньо гладких випуклих функцій порядок сходимісті цього методу рівний , де =(+1)21.618 - відома константа (звана золотим перетином).
Рисунок 2.3. - Геометрична інтерпретація одновимірного випадку метода січних рішень
|
|
|
В багатовимірному випадку поступають таким чином. Хай xn, xn1, ..., xnm - вже обчислені m + 1 ітерації. Для кожної компоненти fj функції f (j=1..., m) побудуємо в Rm+1 гіперплощину Sj, що проходить через m+1 точку (xi, fj(xi)) (i = nm,..., n) графіка цієї компоненти. Хай P — „горизонтальна гіперплощина, яка проходить через нуль” в Rm+1: P = {(x, y) Rm×R; y = 0}. Як xn+1 візьмемо точку перетину гіперплощин P і Sj:
(в загальному положенні ця точка єдина).
Нескладні міркування показують, що xn+1 можна обчислювати так. Хай 0,...,n - рішення системи
(2.20)
Тоді
Потім описані дії повторюються для точок xn+1, xn, ..., xnm+1.
Відзначимо, що оскільки на кожному кроці в системі (2.20) змінюється лише один стовпець, то її рішення на кожному кроці можна обновляти за допомогою спеціальної процедури, що не вимагає великого об'єму обчислень.
Відзначимо, що метод сікучих, на відміну від методів, що раніше розглядалися, не є одно кроковим в тому значенні, що для обчислення наступної ітерації йому не достатньо інформації, отриманої на попередньому кроці потрібна інформація, отримана на m + 1 попередніх кроках. Такі методи називаються багатокроковими. Методи ж Ньютона і градієнтний є одно кроковими: для обчислення xn+1 вимагається знати поведінку функції і її похідних тільки в точці xn.
|
|
|
Були так досконало розглянули усі можливі ситуації при використанні метода Ньютона, бо саме на нього і буде опиратися наша оптимізація пошуку найдешевшого переказу через Microsoft Excel „Пошук рішення”. Та найдешевша траса не завжди є оптимальною, бо крім вартості необхідно враховувати багато нечітких, проте, з економічної точки зору, більш вагомих чинників, як то досвід, забаганка клієнта та інше в залежності від пріоритетів банку. Тому щоб перейти до суто математичної оптимізації, на початку необхідно пройти етап непараметричної статистика, яка робить можливим вищезазначені процеси.
Для того, щоб вивчати ці процеси, а потім ефективно керувати ними, необхідно знати ступінь впливу кожного фактора на процес та взаємний зв’язок факторів між собою.
Основні знання про об’єкти керування та їх особливості найкраще відображаються на математичних моделях, в побудуванні яких приймають участь методи математичної статистики. Ці методи, що базуються на класичній теорії ймовірності, використовуються для обробки кількісних оцінок факторів, і вимагають прийняття ряду припущень, зо не завжди відповідають природі об’єктів або явищ, що досліджуються.
Переваги непараметричних методів :
1. Методи потребують небагато припущень відносно властивостей генеральних сукупностей. Зокрема, вони не потребують традиційного припущення щодо нормального розподілення.
2. Непараметричні методи часто простіші до застосування, ніж їх традиційні прототипи.
3. Як правило, ці методи добре розуміються та легко інтерпретуються користувачами.
4. Непараметричні методи видаються корисними також в тих випадках, коли досліджуванні змінні не є кількісними, тобто не відображаються в кількісних шкалах, а відображаються тільки в шкалі переваг.
5. Непараметричні методи за відсутністю порушень припущень лише трохи менш ефективні, ніж їх традиційні прототипи, що розроблені для нормального розподілення. Зате за порушенням нормальності вони не мають конкурентів.
Непараметрична статистика являє собою порівняно молодий напрямок математики. Її вік не перевищує 60-ти років.
Непараметрична статистика має великі можливості щодо застосування до економічних та соціальних досліджень. По-перше, можна упевнено припустити, що більшість економічних та соціальних показників оцінюються за статистичними даними, що не підкоряються нормальному розподіленню. По-друге, серед факторів, що впливають на хід економічних та соціальних процесів, багато таких, що не можуть бути виміряними кількісно. Їх можна оцінити лише зробивши ранжирування за убуванням або зростанням якоїсь якості, тобто представити у вигляді рангів.
Дата добавления: 2019-07-15; просмотров: 124; Мы поможем в написании вашей работы! |
Мы поможем в написании ваших работ!