Bezuvjetna optimizacija. Metoda najstrmijeg spusta

Metoda najstrmijeg spuštanja je metoda gradijenta s promjenjivim korakom. U svakoj se iteraciji veličina koraka k odabire iz uvjeta minimuma funkcije f(x) u smjeru spuštanja, tj.

Ovaj uvjet znači da se kretanje duž antigradijenta događa sve dok vrijednost funkcije f (x) opada. S matematičkog gledišta, u svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije po funkciji

()=f (x (k) -f (x (k)))

Za to upotrijebimo metodu zlatnog reza.

Algoritam metode najvećeg spuštanja je sljedeći.

Zadane su koordinate početne točke x (0).

U točki x (k), k = 0, 1, 2, ..., izračunava se vrijednost gradijenta f (x (k)).

Veličina koraka k određena je jednodimenzionalnom minimizacijom pomoću funkcije

()=f (x (k) -f (x (k))).

Koordinate točke x (k) su određene:

x i (k+1) = x i (k) - k f i (x (k)), i=1, …, n.

Provjerava se uvjet za zaustavljanje iterativnog procesa:

||f (x (k +1))|| .

Ako je ispunjen, tada se obračuni zaustavljaju. U suprotnom prelazimo na korak 1. Geometrijska interpretacija metode najvećeg spuštanja prikazana je na sl. 1.

Riža. 2.1. Blok dijagram metode najstrmijeg spuštanja.

Implementacija metode u programu:

Metoda najstrmijeg spusta.

Riža. 2.2. Implementacija metode najstrmijeg spuštanja.

Zaključak: U našem slučaju metoda je konvergirala u 7 iteracija. Točka A7 (0,6641; -1,3313) je točka ekstrema. Metoda konjugiranih pravaca. Za kvadratne funkcije možete stvoriti gradijentnu metodu u kojoj će vrijeme konvergencije biti konačno i jednako broju varijabli n.

Nazovimo određeni smjer i konjugaciju u odnosu na neku pozitivno određenu Hessovu matricu H ako:

Tada tj. Dakle, za jedinicu H, konjugirani smjer znači njihovu okomicu. U općem slučaju, H je netrivijalan. U općem slučaju, konjugacija je primjena Hessove matrice na vektor - to znači zakretanje ovog vektora za neki kut, njegovo istezanje ili sažimanje.

I sada je vektor ortogonalan, tj. konjugacija nije ortogonalnost vektora, već ortogonalnost rotiranog vektora, tj.

Riža. 2.3. Blok dijagram metode konjugiranih pravaca.

Implementacija metode u program: Metoda konjugiranih pravaca.

Riža. 2.4. Primjena metode konjugiranih pravaca.

Riža. 2.5. Graf metode konjugiranih pravaca.

Zaključak: Točka A3 (0,6666; -1,3333) pronađena je u 3 iteracije i točka je ekstrema.

3. Analiza metoda za određivanje minimalne i maksimalne vrijednosti funkcije uz postojanje ograničenja

Podsjetimo se da opći problem ograničene optimizacije izgleda ovako:

f(x) ® min, x O W,

gdje je W pravi podskup od R m. Podklasa problema s ograničenjima tipa jednakosti razlikuje se po tome što je skup  definiran ograničenjima oblika

f i (x) = 0, gdje je f i: R m ®R (i = 1, …, k).

Dakle,W = (x O R m: f i (x) = 0, i = 1, …, k).

Bit će nam zgodno da za funkciju f napišemo indeks "0". Stoga se problem optimizacije s ograničenjima tipa jednakosti piše kao

f 0 (x) ® min, (3.1)

f i (x) = 0, i = 1, …, k. (3.2)

Ako sada s f označimo funkciju na R m s vrijednostima u R k, čija koordinatna oznaka ima oblik f(x) = (f 1 (x), ..., f k (x)), tada ( 3.1)–(3.2) možemo zapisati i u obliku

f 0 (x) ® min, f(x) = Q.

Geometrijski, problem s ograničenjima tipa jednakosti je problem pronalaženja najniže točke grafa funkcije f 0 preko mnogoznačnika  (vidi sliku 3.1).

Točke koje zadovoljavaju sva ograničenja (tj. točke u skupu ) obično se nazivaju dopustivima. Dopuštenu točku x* nazivamo uvjetnim minimumom funkcije f 0 pod ograničenjima f i (x) = 0, i = 1, ..., k (ili rješenjem problema (3.1)–(3.2)), ako za sve dopustive točke x f 0 (x *)  f 0 (x). (3.3)

Ako je (3.3) zadovoljeno samo za dopustivi x koji leži u nekoj okolini V x * točke x*, tada govorimo o lokalnom uvjetnom minimumu. Koncepti uvjetnih strogih lokalnih i globalnih minimuma definirani su na prirodan način.

Primjer 6.8.3-1. Pronađite minimum funkcije Q(x,y) koristeći GDS metodu.

Neka je Q(x,y) = x 2 +2y 2 ; x 0 = 2; y 0 = 1.

Provjerimo dovoljne uvjete za postojanje minimuma:

Napravimo jednu iteraciju prema algoritmu.

1. Q(x0,y0) = 6.

2. Za x = x 0 i y = y 0,

3. Korak l k = l 0 = 0,5

dakle 4< 8, следовательно, условие сходимости не выполняется и требуется, уменьшив шаг (l=l /2), повторять п.п.3-4 до выполнения условия сходимости. То есть, полученный шаг используется для нахождения следующей точки траектории спуска.

Suština metode je sljedeća. Iz odabrane točke (x 0 ,y 0) spuštanje se provodi u smjeru antigradijenta dok se ne postigne minimalna vrijednost funkcije cilja Q(x, y) duž zrake (sl. 6.8.4-1) . U pronađenoj točki zraka dodiruje liniju razine. Zatim se od te točke spuštanje izvodi u smjeru antigradijenta (okomito na liniju razine) sve dok odgovarajuća zraka ne dodirne liniju razine koja prolazi kroz nju u novoj točki, itd.

Izrazimo ciljnu funkciju Q(x, y) u terminima koraka l. U ovom slučaju ciljnu funkciju u određenom koraku prikazujemo kao funkciju jedne varijable, tj. veličina koraka

Veličina koraka u svakoj iteraciji određena je iz minimalnog uvjeta:

Min( (l)) l k = l*(x k , y k), l >0.

Stoga, u svakoj iteraciji, izbor koraka l k uključuje rješavanje jednodimenzionalnog problema optimizacije. Prema načinu rješavanja ovog problema razlikuju se:

· analitička metoda (NAA);

· numerička metoda (NMS).

U NSA metodi vrijednost koraka dobiva se iz uvjeta, au NSF metodi se vrijednost l k nalazi na segmentu sa zadanom točnošću pomoću jedne od metoda jednodimenzionalne optimizacije.

Primjer 6.8.4-1. Odredite minimum funkcije Q(x,y)=x 2 + 2y 2 s točnošću e=0,1, pri početnim uvjetima: x 0 =2; y 0 =1.

Napravimo jednu iteraciju koristeći metodu NSA.

=(x-2lx) 2 +2(y-4ly) 2 = x 2 -4lx 2 +4l 2 x 2 +2y 2 -16ly 2 +32l 2 y 2 .

Iz uvjeta ¢(l)=0 nalazimo vrijednost l*:

Rezultirajuća funkcija l=l(x,y) omogućuje vam da pronađete vrijednost l. Za x=2 i y=1 imamo l=0,3333.

Izračunajmo koordinate sljedeće točke:

Provjerimo ispunjenje kriterija za završetak iteracija na k=1:

Budući da |2*0.6666|>0.1 i |-0.3333*4|>0.1, tada nisu ispunjeni uvjeti za završetak procesa ponavljanja, tj. minimum nije pronađen. Stoga biste trebali izračunati novu vrijednost l za x=x 1 i y=y 1 i dobiti koordinate sljedeće točke spuštanja. Proračuni se nastavljaju dok se ne ispune uvjeti za završetak spuštanja.

Razlika između numeričke NN metode i analitičke je u tome što se traženje vrijednosti l u svakoj iteraciji odvija pomoću jedne od numeričkih metoda jednodimenzionalne optimizacije (na primjer, metoda dihotomije ili metoda zlatnog reza). U ovom slučaju, raspon dopuštenih vrijednosti l - služi kao interval nesigurnosti.

Napomena: Ovo predavanje široko pokriva višeparametarske metode optimizacije kao što su metoda najvećeg spuštanja i Davidon–Fletcher–Powell metoda. Osim toga, provodi se usporedna analiza gore navedenih metoda kako bi se odredila najučinkovitija, identificiraju se njihove prednosti i nedostaci; te također razmatra višedimenzionalne probleme optimizacije, kao što su ravine metoda i multiekstremalna metoda.

1. Metoda najstrmijeg spusta

Suština ove metode je da korištenjem prethodno navedenih metoda koordinatnog spuštanja pretraga se provodi od zadane točke u smjeru paralelnom s jednom od osi do minimalne točke u tom smjeru. Pretraživanje se zatim izvodi u smjeru paralelnom s drugom osi i tako dalje. Upute su, naravno, fiksne. Čini se razumnim pokušati modificirati ovu metodu tako da se u svakoj fazi potraga za minimalnom točkom provodi duž "najboljeg" smjera. Nije jasno koji je smjer "najbolji", ali se zna da smjer gradijenta je smjer najbržeg porasta funkcije. Dakle, suprotan smjer je smjer najbržeg opadanja funkcije. Ovo se svojstvo može opravdati na sljedeći način.

Pretpostavimo da se krećemo od točke x do sljedeće točke x + hd, gdje je d određeni smjer, a h korak određene duljine. Posljedično, kretanje se vrši od točke (x 1, x 2, ..., x n) do točke (x 1 + zx 1, x 2 + zx 2, ..., x n + zx n), Gdje

Promjena vrijednosti funkcije određena je odnosima

(1.3)

Do prvog reda zx i, s parcijalnim derivatima koji se izračunavaju u točki x. Kako odabrati smjerove d i koji zadovoljavaju jednadžbu (1.2) da bi se dobila najveća vrijednost promjene funkcije df? Ovdje se javlja problem maksimizacije s ograničenjem. Primijenimo metodu Lagrangeovih množitelja pomoću koje određujemo funkciju

Vrijednost df koja zadovoljava ograničenje (1.2) doseže svoj maksimum kada funkcija

Doseže maksimum. Njegova izvedenica

Stoga,

(1.6)

Tada je di ~ df/dx i i pravac d je paralelan s pravcem V/(x) u točki x.

dakle, najveće lokalno povećanje funkcija za dani mali korak h događa se kada je d smjer Vf(x) ili g(x) . Stoga je smjer najstrmijeg spusta smjer

U jednostavnijem obliku, jednadžba (1.3) se može napisati na sljedeći način:

Gdje je kut između vektora Vf(x) i dx. Za danu vrijednost dx minimiziramo df odabirom da se smjer dx podudara sa smjerom -Vf(x).

Komentar. Smjer gradijenta okomito na bilo koju točku na liniji konstantne razine, budući da je duž te crte funkcija konstantna. Dakle, ako je (d 1, d 2, ..., d n) mali korak duž linije razine, tada

I stoga

(1.8)

Gradijent diferencijabilne funkcije f(x) u točki X nazvao n-dimenzionalni vektor f(x) , čije su komponente parcijalne derivacije funkcije f(x), izračunato u točki X, tj.

f"(x ) = (df(x)/dh 1 , …, df(x)/dx n) T .

Ovaj vektor je okomit na ravninu kroz točku X, a tangenta na plohu razine funkcije f(x), prolazeći kroz točku X.U svakoj točki takve plohe funkcija f(x) uzima istu vrijednost. Izjednačavajući funkciju s različitim konstantnim vrijednostima C 0 , C 1 , ..., dobivamo niz površina koje karakteriziraju njezinu topologiju (slika 2.8).

Riža. 2.8. Gradijent

Vektor gradijenta je usmjeren prema najbržem porastu funkcije u danoj točki. Vektor suprotan gradijentu (-f’(x)) , nazvao antigradijent a usmjeren je prema najbržem opadanju funkcije. U točki minimuma, gradijent funkcije je nula. Metode prvog reda, koje se nazivaju i gradijentne i metode minimizacije, temelje se na svojstvima gradijenata. Korištenje ovih metoda u općem slučaju omogućuje određivanje lokalne minimalne točke funkcije.

Očito, ako nema dodatnih informacija, onda od početne točke X mudro je prijeći na stvar X, koji leži u smjeru antigradijenta - najbrži pad funkcije. Odabir smjera spuštanja[r k ] anti-gradijent - f'(x ) [k] X[r u točki

], dobivamo iterativni proces forme X[ 1] = k+[r]-x f'(x ) , a k f"(x > 0; r=0, 1, 2, ...

i k

U koordinatnom obliku ovaj proces je zapisan na sljedeći način: r+1]=x i [[r] - x if(x f'(x ) a k

/x i n; r= 0, 1, 2,...

i = 1, ..., k+[r Kao kriterij za zaustavljanje iterativnog procesa ili ispunjenje uvjeta malog prirasta argumenta || +l][r] || <= e , либо выполнение условия малости градиента

|| - x[r f'(x ) || <= g ,

+l]

Ovdje su e i g date male količine. a k f"(x.

Moguć je i kombinirani kriterij koji se sastoji u istovremenom ispunjavanju navedenih uvjeta. Metode gradijenta razlikuju se jedna od druge po načinu odabira veličine koraka a k f"(x U metodi s konstantnim korakom odabire se određena konstantna vrijednost koraka za sve iteracije. Sasvim mali korak

će osigurati da funkcija opada, tj. nejednakost r+1]) = f(x f(x[ [k] – f'(x )) < f(x f'(x ) .

a k f'(x

Međutim, to može dovesti do potrebe za izvođenjem neprihvatljivo velikog broja ponavljanja da bi se dosegla minimalna točka. S druge strane, korak koji je prevelik može uzrokovati neočekivani porast funkcije ili dovesti do oscilacija oko minimalne točke (cikliranje). Zbog poteškoća u dobivanju potrebnih podataka za odabir veličine koraka, metode s konstantnim koracima rijetko se koriste u praksi. Gradijentni su ekonomičniji u smislu broja ponavljanja i pouzdanosti metode promjenjivog koraka,

kada se ovisno o rezultatima proračuna na neki način mijenja veličina koraka. Razmotrimo varijante takvih metoda koje se koriste u praksi. a k f"(x Kada koristite metodu najvećeg spuštanja u svakoj iteraciji, veličina koraka f(x) odabire se iz minimalnog uvjeta funkcije
f(x[r]u smjeru silaska, tj.[r])) = f(x f'(x –a k f’(x[r])) .

– af"(x f(x) Ovaj uvjet znači da se kretanje duž antigradijenta događa sve dok je vrijednost funkcije smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema A
funkcije j = f(x[r](a)[r])) .

-af"(x

Algoritam metode najvećeg spuštanja je sljedeći. X.

1. Postavite koordinate početne točke X[r], 2. U točki k = - x[r]) .

3. Određuje se veličina koraka a k, jednodimenzionalnom minimizacijom preko smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema funkcije j j = f(x[r](a)[r])).

4. Određene su koordinate točke X[X[ 1]:

x i [ X[ 1]= x i[r]– a k f’ i (x[r]), i = 1,..., str.

5. Provjeravaju se uvjeti za zaustavljanje procesa steracije. Ako su ispunjeni, tada se obračuni zaustavljaju. U suprotnom prijeđite na 1. korak.

U metodi koja se razmatra, smjer kretanja od točke X[r] dodiruje liniju razine u točki k+[X[ 1] (Slika 2.9). Putanja spuštanja je cik-cak, sa susjednim cik-cak vezama okomitim jedna na drugu. Doista, korak a k se bira minimiziranjem za smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema funkcije? j = f(x f'(x (a)[r])) . Neophodan uvjet za minimum funkcije d j(a)/da = 0.

Izračunavanjem derivacije složene funkcije dobivamo uvjet ortogonalnosti vektora smjerova spuštanja u susjednim točkama: dj[X[ 1]- x[r]) = 0.

(a)/da = -f’(x

Riža. 2.9. Geometrijska interpretacija metode najstrmijeg spuštanja Metode gradijenta konvergiraju na minimum pri velikoj brzini (brzina geometrijske progresije) za glatke konveksne funkcije. Takve funkcije imaju najveću M i najmanje

m svojstvene vrijednosti matrice drugih derivacija (Hessian matrica) malo razlikuju jedni od drugih, tj. matrice N(x) =1, …, n dobro kondicioniran. Podsjetimo se da su svojstvene vrijednosti l i,

ja , matrice su korijeni karakteristične jednadžbe<< Međutim, u praksi, u pravilu, funkcije koje se minimiziraju imaju loše uvjetovane matrice drugih derivacija (t/m 1). Vrijednosti takvih funkcija duž nekih smjerova mijenjaju se mnogo brže (ponekad za nekoliko redova veličine) nego u drugim smjerovima. Njihove ravne plohe su u najjednostavnijem slučaju jako izdužene (sl. 2.10), a u složenijim slučajevima se savijaju i izgledaju kao jaruge. Funkcije s takvim svojstvima nazivaju se

jaruga.

Smjer antigradijenta ovih funkcija (vidi sl. 2.10) značajno odstupa od smjera prema točki minimuma, što dovodi do usporavanja brzine konvergencije. X Riža. 2.10. Gullyjeva funkcija

Gore razmotrene metode gradijenta nalaze minimalnu točku funkcije u općem slučaju samo u beskonačnom broju ponavljanja. Metoda konjugiranog gradijenta generira smjerove pretraživanja koji su konzistentniji s geometrijom funkcije koja se minimizira. To značajno povećava brzinu njihove konvergencije i omogućuje, na primjer, minimiziranje kvadratne funkcije

f(x) = (x, Hx) + (b, x) + a

sa simetričnom pozitivno određenom matricom N u konačnom broju koraka p, jednak broju funkcijskih varijabli.

Bilo koja glatka funkcija u blizini točke minimuma može se dobro aproksimirati kvadratnom funkcijom, stoga se metode konjugiranog gradijenta uspješno koriste za minimiziranje nekvadratnih funkcija. U tom slučaju oni prestaju biti konačni i postaju iterativni. n Po definiciji, dva X-dimenzionalni vektor I na nazvao konjugiran u odnosu na matricu H u odnosu na matricu(ili -konjugiran), ako je skalarni produkt, (x Pa) = 0. Ovdje N - simetrična pozitivno određena matrica veličine n X

str. Jedan od najznačajnijih problema u metodama konjugiranih gradijenata je problem učinkovite konstrukcije pravaca. Fletcher-Reevesova metoda rješava ovaj problem transformacijom antigradijenta u svakom koraku[r]) -f(x u pravcu[r], u odnosu na matricu str Odabir smjera spuštanja, Odabir smjera spuštanja, ..., Odabir smjera spuštanja[r-konjugirati s prethodno pronađenim pravcima

-1]. Odabir smjera spuštanja[r Razmotrimo prvo ovu metodu u odnosu na problem minimiziranja kvadratne funkcije.

Upute r] = -- x[r]) ] izračunava se pomoću formula: u pravcu[r p[ r>= 1;

+b k-1 -l],’-konjugiran), ako je skalarni produkt) .

p = - r f u pravcu[r], Odabir smjera spuštanja[r b vrijednosti u odnosu na matricu-1 biraju se tako da smjerovi :

(u pravcu[r], -1] bili su[-konjugat 1])= 0.

HP

,

k-

Kao rezultat, za kvadratnu funkciju r f'(x iterativni proces minimizacije ima oblik[r]x[[r],

=x Odabir smjera spuštanja[r] - +a k str -konjugat Gdje smjer spuštanja do m korak; i k- veličina koraka. smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema Potonji je odabran iz minimalnog uvjeta funkcije

će osigurati da funkcija opada, tj. nejednakost r] + f(x)[r]) = f(x[r] + Po [r]) .

u smjeru kretanja, tj. kao rezultat rješavanja problema jednodimenzionalne minimizacije:

a k r

ar X Za kvadratnu funkciju u pravcu = -- x) .

Algoritam metode Fletcher-Reeves konjugiranog gradijenta je sljedeći. -konjugat 1. U točki smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema proračunati . 2. Uključeno X[X[ 1].

m korak, koristeći gornje formule, određuje se korak f(x[r+1]) k - x[r+1]) .

i točka - x) 3. Vrijednosti su izračunate X[r I 4. Ako= 0, zatim točka u pravcu[r+1] je minimalna točka funkcije

f(x). simetrična pozitivno određena matrica veličine U protivnom se određuje novi smjer +l] iz relacije te se provodi prijelaz na sljedeću iteraciju. Ovaj postupak će pronaći minimum kvadratne funkcije u ne više od X korake. X[simetrična pozitivno određena matrica veličine+1] , a izračuni završavaju na , gdje je zadani broj. U ovom slučaju koristi se sljedeća modifikacija metode:

Kao rezultat, za kvadratnu funkciju r f'(x = x[r]x[[r],

Upute r] = -f’(x[r])+ b -konjugat 1 u pravcu[r p[ r>= 1;

p = -f’( k+);

će osigurati da funkcija opada, tj. nejednakost r] + a k str[r]) = f(x[r] +ap[r];

.

Ovdje ja- mnogo indeksa: ja= (0, n, 2 p, plaća, ...), tj. metoda se ažurira svakih simetrična pozitivno određena matrica veličine korake.

Geometrijsko značenje metode konjugiranog gradijenta je sljedeće (slika 2.11). Iz zadane polazne točke X silazak se izvodi u smjeru Odabir smjera spuštanja = -f"(x). X U točki određuje se vektor gradijenta f"(x X). Od Odabir smjera spuštanja, je minimalna točka funkcije na pravcu ] anti-gradijent -) Da Odabir smjera spuštanja ortogonalno na vektor Odabir smjera spuštanja , u odnosu na matricu. Zatim se vektor pronađe Odabir smjera spuštanja-konjugirati na Odabir smjera spuštanja. Zatim nalazimo minimum funkcije duž pravca

itd. . Riža. 2.11

Putanja spuštanja u metodi konjugiranog gradijenta simetrična pozitivno određena matrica veličine korake.

Metode konjugiranog smjera su među najučinkovitijima za rješavanje problema minimizacije. Međutim, treba napomenuti da su osjetljivi na pogreške koje se javljaju tijekom procesa brojanja. S velikim brojem varijabli pogreška se može toliko povećati da će se proces morati ponoviti čak i za kvadratnu funkciju, tj. proces za nju ne uklapa se uvijek u smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema r Kada koristite metodu najvećeg spuštanja u svakoj iteraciji, veličina koraka f(x) odabire se iz minimalnog uvjeta funkcije

f(x[r] -a r određuje se vektor gradijenta[r])) = f(x f'(x -u smjeru silaska, tj.[r])) .

af"(x f(x) Ovaj uvjet znači da se kretanje duž antigradijenta događa sve dok je vrijednost funkcije smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema

funkcije j = f(x[r](a)[r])) .

j

• Algoritam metode najvećeg spuštanja je sljedeći. X.
• 1. Postavite koordinate početne točke X[r], 2. U točki Algoritam metode najvećeg spuštanja je sljedeći. određuje se vektor gradijenta[r]) .
• 3. Određuje se veličina koraka a 0, 1, 2, ... izračunava vrijednost gradijenta smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema k, jednodimenzionalnom minimizacijom preko j = f(x[r](a)[r])).
• 4. Određene su koordinate točke X[X[ 1]:

X N(x) [X[ 1]= x N(x) [r] -funkcije j r A N(x) f"[r]), i = 1,..., str.

(X

5. Provjeravaju se uvjeti za zaustavljanje procesa steracije. Ako su ispunjeni, tada se obračuni zaustavljaju. U suprotnom prijeđite na 1. korak. X[r U metodi koja se razmatra, smjer kretanja od točke k+[X[] dodiruje liniju razine u točki a k se bira minimiziranjem za smanjuje se. S matematičkog gledišta, pri svakoj iteraciji potrebno je riješiti problem jednodimenzionalne minimizacije prema 1] (Slika 2.9). Putanja spuštanja je cik-cak, sa susjednim cik-cak vezama okomitim jedna na drugu. Doista, korak j = f(x f'(x (a)[r])) funkcije? Neophodan uvjet za minimum funkcije. Neophodan uvjet za minimum funkcije j j

Neophodan uvjet za minimum funkcije. Neophodan uvjet za minimum funkcije Izračunavanjem derivacije složene funkcije dobivamo uvjet ortogonalnosti vektora smjerova spuštanja u susjednim točkama:[X[ 1]određuje se vektor gradijenta[r]) = 0.

(a)/da = -f"(x

Riža. 2.9. Geometrijska interpretacija metode najstrmijeg spuštanja Metode gradijenta konvergiraju na minimum pri velikoj brzini (brzina geometrijske progresije) za glatke konveksne funkcije. Takve funkcije imaju najveću M i najmanje

svojstvene vrijednosti matrice drugih derivacija (Hessian matrica) svojstvene vrijednosti matrice drugih derivacija (Hessian matrica) dobro uvjetovan. Podsjetimo se da su svojstvene vrijednosti l i, N(x) =1, …, n, matrice su korijeni karakteristične jednadžbe

Međutim, u praksi, u pravilu, funkcije koje se minimiziraju imaju loše uvjetovane matrice drugih derivacija (t/m<< 1). Vrijednosti takvih funkcija duž nekih smjerova mijenjaju se mnogo brže (ponekad za nekoliko redova veličine) nego u drugim smjerovima. Njihove ravne plohe su u najjednostavnijem slučaju jako izdužene (sl. 2.10), a u složenijim slučajevima se savijaju i izgledaju kao klanci. Funkcije s takvim svojstvima nazivaju se (t/m Smjer antigradijenta ovih funkcija (vidi sl. 2.10) značajno odstupa od smjera prema točki minimuma, što dovodi do usporavanja brzine konvergencije.

Riža. 2.10.

Stopa konvergencije gradijentnih metoda također značajno ovisi o točnosti izračuna gradijenata. Gubitak točnosti, koji se obično događa u blizini minimalnih točaka ili u situaciji vododerine, općenito može poremetiti konvergenciju procesa spuštanja gradijenta. Zbog navedenih razloga, metode gradijenta često se koriste u kombinaciji s drugim, učinkovitijim metodama u početnoj fazi rješavanja problema. U ovom slučaju, točka X je daleko od minimalne točke, a koraci u smjeru antigradijenta omogućuju postizanje značajnog smanjenja funkcije.