Gradiens módszerek áttekintése matematikai optimalizálási feladatokban. Gradiens módszerek

Gradiens módszerek

A korlátlan gradiens optimalizálási módszerek csak a célfüggvény első deriváltjait használják, és minden lépésben lineáris közelítési módszerek, azaz. a célfüggvényt minden lépésben az aktuális pontban lévő grafikonjának érintő hipersíkjával helyettesítjük.

A gradiens módszerek k-adik szakaszában az Xk pontból az Xk+1 pontba való átmenetet a következő összefüggés írja le:

ahol k a lépés mérete, k az Xk+1-Xk irányú vektor.

Legmeredekebb süllyedési módszerek

Ezt a módszert először O. Cauchy vette figyelembe és alkalmazta a 18. században. Az ötlet egyszerű: az f(X) célfüggvény gradiense bármely pontban a függvény értékének legnagyobb növekedése irányába mutató vektor. Következésképpen az antigradiens a funkció legnagyobb csökkenésének irányába fog irányulni, és ez a legmeredekebb süllyedés iránya. Az antigradiens (és a gradiens) merőleges az f(X) szintfelületre az X pontban. Ha bevezetjük az irányt (1.2)

akkor ez lesz a legmeredekebb ereszkedés iránya az Xk pontban.

Megkapjuk az Xk-ről Xk+1-re való átmenet képletét:

Az antigradiens csak a süllyedés irányát adja meg, de a lépés nagyságát nem. Általában egy lépés nem ad minimum pontot, ezért a süllyedési eljárást többször kell alkalmazni. A minimális ponton a gradiens összes összetevője egyenlő nullával.

Valamennyi gradiens módszer a megfogalmazott gondolatot használja, és technikai részletekben különbözik egymástól: deriváltak számítása analitikus képlet vagy véges különbség közelítés segítségével; a lépésméret lehet állandó, bizonyos szabályok szerint változhat, vagy egydimenziós optimalizálási módszerek antigradiens irányú alkalmazása után választható, stb. stb.

Nem részletezzük, mert... A legmeredekebb ereszkedési módszer általában nem ajánlott komoly optimalizálási eljárásként.

Ennek a módszernek az egyik hátránya, hogy bármely álló ponthoz konvergál, beleértve a nyeregpontot is, ami nem lehet megoldás.

De a legfontosabb az általános esetben a legmeredekebb ereszkedés nagyon lassú konvergenciája. A lényeg, hogy a leszállás helyi értelemben „leggyorsabb”. Ha a keresési hipertér erősen megnyúlt („szurdok”), akkor az antigradiens szinte merőlegesen irányul a „szakadék” aljára, azaz. a legjobb irány a minimum eléréséhez. Ilyen értelemben az angol "steepest descent" kifejezés közvetlen fordítása, i.e. a legmeredekebb lejtőn való leereszkedés jobban megfelel a dolgok állásának, mint az orosz nyelvű szakirodalomban elfogadott „leggyorsabb” kifejezés. Ebben a helyzetben az egyik kiút a második parciális származékok által biztosított információk felhasználása. Egy másik kiút a változók skálájának megváltoztatása.

lineáris közelítési derivált gradiens

Fletcher-Reeves konjugált gradiens módszer

A konjugált gradiens módszernél a keresési irányok sorozata épül fel, amelyek a legmeredekebb süllyedés aktuális irányának és a korábbi keresési irányoknak lineáris kombinációi, pl.

Ezenkívül az együtthatók úgy vannak megválasztva, hogy a keresési irányok konjugáltak legyenek. Az bebizonyosodott

és ez egy nagyon értékes eredmény, amely lehetővé teszi egy gyors és hatékony optimalizálási algoritmus felépítését.

Fletcher-Reeves algoritmus

1. X0-ban számítjuk ki.

2. A k-adik lépésben egydimenziós irányban történő kereséssel megtaláljuk az f(X) minimumot, amely meghatározza az Xk+1 pontot.

• 3. f(Xk+1) és kiszámítjuk.
• 4. Az irányt a kapcsolat határozza meg:

• 5. Az (n+1)-edik iteráció után (tehát ha k=n) újraindul: X0=Xn+1 tétele történik, és az 1. lépésre való áttérés történik.
• 6. Az algoritmus leáll, amikor

ahol egy tetszőleges állandó.

A Fletcher-Reeves algoritmus előnye, hogy nem igényel mátrix inverziót és számítógép memóriát takarít meg, hiszen nincs szüksége a newtoni módszerekben használt mátrixokra, ugyanakkor közel olyan hatékony, mint a kvázi-newtoni algoritmusok. Mert a keresési irányok kölcsönösen konjugáltak, akkor a másodfokú függvény legfeljebb n lépésben lesz minimalizálva. Általános esetben újraindítást használnak, amely lehetővé teszi az eredmény elérését.

A Fletcher-Reeves algoritmus érzékeny az egydimenziós keresés pontosságára, ezért használni kell az esetlegesen előforduló kerekítési hibák kiküszöbölésére. Ezenkívül az algoritmus meghibásodhat olyan helyzetekben, amikor a Hessian rosszul kondicionálódik. Az algoritmus nem garantálja a konvergenciát mindig és mindenhol, bár a gyakorlat azt mutatja, hogy az algoritmus szinte mindig hoz eredményt.

Newtoni módszerek

A legmeredekebb süllyedésnek megfelelő keresési irány a célfüggvény lineáris közelítésével van társítva. A másodlagos deriváltokat használó módszerek a célfüggvény másodfokú közelítéséből származnak, azaz a függvény Taylor-sorozatban történő bővítésekor a harmadik és magasabb rendű tagokat elvetik.

hol van a hesseni mátrix.

A jobb oldal minimumát (ha van) ugyanott érjük el, mint a másodfokú alak minimumát. Írjuk fel a képletet a keresési irány meghatározásához:

A minimumot ekkor érjük el

Az olyan optimalizáló algoritmust, amelyben a keresési irányt ebből a kapcsolatból határozzuk meg, Newton-módszernek, az irányt pedig newtoni iránynak nevezzük.

Egy tetszőleges másodfokú függvény minimumának megtalálása során a második derivált pozitív mátrixával a Newton-módszer egy iterációban ad megoldást, függetlenül a kiindulási pont megválasztásától.

A newtoni módszerek osztályozása

Maga a Newton-módszer abból áll, hogy egyszer alkalmazzuk a newtoni irányt egy másodfokú függvény optimalizálására. Ha a függvény nem másodfokú, akkor a következő tétel igaz.

Tétel 1.4. Ha egy általános alakú f nemlineáris függvény Hess-mátrixa az X* minimum pontban pozitív határozott, a kezdőpontot X*-hez kellően közel választjuk meg és a lépéshosszokat helyesen választjuk meg, akkor Newton módszere másodfokúval konvergál X*-hez. mérték.

A Newton-módszer referenciamódszernek számít, minden kidolgozott optimalizálási eljárást összehasonlítanak vele. A Newton-módszer azonban csak pozitív határozott és jól kondicionált Hess-mátrix esetén hatásos (determinánsának lényegesen nagyobbnak kell lennie nullánál, pontosabban a legnagyobb és a legkisebb sajátérték arányának egyhez közelinek kell lennie). Ennek a hiányosságnak a kiküszöbölésére módosított newtoni módszereket alkalmaznak, ahol lehetőség szerint newtoni irányokat használnak, és csak szükség esetén térnek el azoktól.

A Newton-módszer módosításainak általános elve a következő: minden iterációnál először létrejön egy bizonyos pozitív határozott mátrix, amelyhez „asszociálunk”, majd kiszámítjuk a képlet segítségével.

Mivel ez pozitív határozott, akkor - szükségszerűen lesz a leszállás iránya. A szerkesztési eljárás úgy van megszervezve, hogy egybeessen a hesseni mátrixszal, ha pozitív határozott. Ezek az eljárások bizonyos mátrixbontásokon alapulnak.

A módszerek egy másik csoportja, amely gyakorlatilag nem alacsonyabb sebességű Newton módszerénél, a Hess-mátrix véges különbségek segítségével történő közelítésén alapul, mivel Nem szükséges a deriváltak pontos értékeit használni az optimalizáláshoz. Ezek a módszerek akkor hasznosak, ha a származékok analitikus kiszámítása nehézkes vagy egyszerűen lehetetlen. Az ilyen módszereket diszkrét Newton-módszereknek nevezzük.

A Newton-típusú módszerek hatékonyságának kulcsa a minimálisra csökkentett függvény görbületére vonatkozó információk figyelembevétele, amely a Hess-mátrixban található, és lehetővé teszi a célfüggvény lokálisan pontos másodfokú modelljének felépítését. De lehetőség van egy függvény görbületére vonatkozó információkat gyűjteni és felhalmozni a gradiens változásának megfigyelése alapján a süllyedési iterációk során.

A megfelelő módszereket, amelyek egy nemlineáris függvény görbületének közelítésének lehetőségén alapulnak anélkül, hogy a Hess-mátrixot kifejezetten kialakítanák, kvázi-newtoni módszereknek nevezzük.

Megjegyzendő, hogy egy newtoni típusú (beleértve a kvázi-newtonit is) optimalizálási eljárás megalkotásakor figyelembe kell venni egy nyeregpont megjelenésének lehetőségét. Ebben az esetben a legjobb keresési irány vektora mindig a nyeregpont felé fog irányulni, ahelyett, hogy lefelé mozdulna el tőle.

Newton-Raphson módszer

Ez a módszer abból áll, hogy a nem kvadratikus függvények optimalizálásakor ismételten a newtoni irányt használják.

Alapvető iteratív képlet a többdimenziós optimalizáláshoz

Ebben a módszerben a relációból az optimalizálási irány kiválasztásakor használjuk

A valós lépéshossz a nem normalizált newtoni irányban van elrejtve.

Mivel ez a módszer nem igényli a célfüggvény értékét az aktuális pontban, néha közvetett vagy analitikus optimalizálási módszernek nevezik. Az a képessége, hogy egyetlen számításban meghatározza a másodfokú függvény minimumát, első pillantásra rendkívül vonzónak tűnik. Ez az „egyszeri számítás” azonban jelentős költségeket igényel. Először is ki kell számítani n elsőrendű parciális deriváltot és n(n+1)/2 - másodrendűt. Ezenkívül a Hess-mátrixot meg kell fordítani. Ez körülbelül n3 számítási műveletet igényel. Ugyanolyan költség mellett a konjugált iránymódszerek vagy a konjugált gradiens módszerek körülbelül n lépést vehetnek igénybe, azaz. majdnem ugyanazt az eredményt elérni. Így a Newton-Raphson módszer iterációja másodfokú függvény esetén nem nyújt előnyt.

Ha a függvény nem másodfokú, akkor

• - a kezdeti irány általánosságban már nem jelzi a tényleges minimum pontot, ami azt jelenti, hogy az iterációkat többször meg kell ismételni;
• - egy egységnyi hosszúságú lépés a célfüggvény rosszabb értékű pontjához vezethet, és a keresés rossz irányt adhat, ha például a hesseni nem pozitív határozott;
• - a hesseni kondicionálatlanná válhat, lehetetlenné téve megfordítását, i.e. a következő iteráció irányának meghatározása.

Maga a stratégia nem tesz különbséget, hogy melyik stacionárius ponthoz (minimum, maximum, nyeregpont) közeledik a keresés, és nem készülnek a célfüggvény értékeinek számításai, amelyek alapján nyomon lehetne követni, hogy a függvény növekszik-e. Ez azt jelenti, hogy minden attól függ, hogy a vonzási zónában melyik stacionárius ponton van a keresés kezdőpontja. A Newton-Raphson stratégiát ritkán alkalmazzák önmagában, bármilyen módosítás nélkül.

Pearson módszerek

Pearson több olyan módszert is javasolt, amelyek az inverz Hess-t közelítik anélkül, hogy kifejezetten második deriváltokat számítanának, pl. az antigradiens irányában bekövetkezett változások megfigyelésével. Ebben az esetben konjugált irányokat kapunk. Ezek az algoritmusok csak részletekben térnek el egymástól. Bemutatjuk azokat, amelyeket az alkalmazott területeken a legszélesebb körben alkalmaznak.

2. számú Pearson algoritmus.

Ebben az algoritmusban az inverz Hessianust a Hk mátrix közelíti, minden lépésben kiszámítva a képlet segítségével.

Egy tetszőleges pozitív határozott szimmetrikus mátrixot választunk kiindulási H0 mátrixnak.

Ez a Pearson-algoritmus gyakran vezet olyan helyzetekhez, amikor a Hk mátrix kondicionálatlanná válik, vagyis elkezd oszcillálni, oszcillálni a pozitív határozott és a nem pozitív definit között, miközben a mátrix determinánsa közel van a nullához. Ennek elkerülése érdekében a mátrixot n lépésenként újra kell definiálni, H0-val egyenlővé tenni.

3. számú Pearson algoritmus.

Ebben az algoritmusban a Hk+1 mátrixot a képletből határozzuk meg

Hk+1 = Hk+

Az algoritmus által generált süllyedési pálya hasonló a Davidon-Fletcher-Powell algoritmus viselkedéséhez, de a lépések valamivel rövidebbek. Pearson ennek az algoritmusnak egy variációját is javasolta ciklikus mátrix-visszaállítással.

Projektív Newton-Raphson algoritmus

Pearson egy olyan algoritmus ötletét javasolta, amelyben a mátrixot a relációból számítják ki

H0=R0, ahol az R0 mátrix megegyezik az előző algoritmusok kezdeti mátrixaival.

Ha k az n független változók számának többszöröse, a Hk mátrixot az összegként kiszámított Rk+1 mátrix helyettesíti.

A Hk(f(Xk+1) - f(Xk)) mennyiség a gradiens növekményvektor (f(Xk+1) - f(Xk) vetülete, amely az előző lépésekben az összes gradiens növekményvektorra merőleges. Minden n lépés után Rk az inverz Hessian H-1(Xk) érték közelítése, így gyakorlatilag egy (közelítő) Newton-keresés történik.

Davidon-Fletcher-Powell módszer

Ennek a metódusnak más neve is van - változómetrikus módszer, kvázi-Newton módszer, mert mindkét megközelítést alkalmazza.

A Davidon-Fletcher-Powell (DFP) módszer a newtoni irányok használatán alapul, de nem igényli az inverz Hess-féle számítást minden lépésben.

A keresési irány a k lépésben az irány

ahol Hi egy pozitív határozott szimmetrikus mátrix, amely minden lépésben frissül, és a határértékben egyenlő lesz az inverz Hess-mátrixszal. Az identitásmátrixot általában H kezdeti mátrixnak választják. Az iteratív DFT eljárás a következőképpen ábrázolható:

• 1. A k lépésben van egy Xk pont és egy Hk pozitív határozott mátrix.
• 2. Válassza ki az új keresési irányt

3. Az irány mentén végzett egydimenziós keresés (általában köbös interpoláció) meghatározza a k értéket, ami minimalizálja a függvényt.

4. Bízik.

5. Bízik.

6. Elszánt. Ha a Vk vagy elég kicsik, az eljárás véget ér.

• 7. Feltételezzük, hogy Uk = f(Xk+1) - f(Xk).
• 8. A Hk mátrix frissítése a képlet szerint történik

9. Növelje k ​​eggyel, és térjen vissza a 2. lépéshez.

A módszer akkor hatékony a gyakorlatban, ha a gradiens számítások hibája kicsi, és a Hk mátrix nem válik kondicionálatlanná.

Az Ak mátrix biztosítja a Hk konvergenciáját a G-1-hez, a Bk mátrix biztosítja a Hk+1 pozitív meghatározottságát minden szakaszban, és kizárja a H0-t a határértékből.

Másodfokú függvény esetén

azok. A DFP-algoritmus konjugált irányokat használ.

A DFT módszer tehát a newtoni megközelítés gondolatait és a konjugált irányok tulajdonságait egyaránt felhasználja, és a másodfokú függvény minimalizálásakor legfeljebb n iterációban konvergál. Ha az optimalizált függvény alakja közel áll egy másodfokú függvényhez, akkor a DFT módszer a jó G-1 közelítésének köszönhetően hatásos (Newton-módszer). Ha a célfüggvénynek általános alakja van, akkor a DFT módszer hatékony a konjugált irányok alkalmazása miatt.

Gradiens optimalizálási módszerek

A nemlineáris vagy nehezen kiszámítható összefüggésekkel kapcsolatos optimalizálási problémák, amelyek optimalizálási kritériumokat és megszorításokat határoznak meg, a nemlineáris programozás tárgyát képezik. A nemlineáris programozási problémákra általában csak numerikus módszerekkel lehet megoldást találni, számítástechnikát alkalmazva. Közülük a leggyakrabban alkalmazott gradiens módszerek (relaxációs, gradiens, legmeredekebb ereszkedési és emelkedési módszerek), determinisztikus keresés gradiensmentes módszerei (szkennelési módszerek, szimplex stb.), valamint véletlenszerű keresési módszerek. Mindezeket a módszereket az optimumok numerikus meghatározására használják, és széles körben foglalkoznak velük a szakirodalom.

Általában az optimalizálási kritérium értéke R függvénynek tekinthető R(x b xx..., x n), n-dimenziós térben határozzuk meg. Mivel az n-dimenziós térnek nincs vizuális grafikus ábrázolása, ezért a kétdimenziós tér esetét fogjuk használni.

Ha R(l b x 2) folyamatos a régióban D, majd az optimális pont körül M°(xi°, x g°) adott síkban egy zárt vonalat lehet húzni, amely mentén az érték R= konst. Sok ilyen vonal, úgynevezett egyenlő szintű vonal, megrajzolható az optimális pont körül (a lépéstől függően

A nemlineáris programozási problémák megoldására használt módszerek között jelentős helyet foglalnak el az optimalizálandó függvény irányára vonatkozó derivált elemzésén alapuló megoldáskereső módszerek. Ha a tér minden pontjában több változóból álló skalárfüggvény jól definiált értékeket vesz fel, akkor ebben az esetben skalármezővel (hőmérsékletmezővel, nyomásmezővel, sűrűségmezővel stb.) van dolgunk. A vektormező (erők, sebességek stb.) hasonló módon definiálható. Izotermák, izobárok, izokronok stb. - mindezek egyenlő szintű vonalak (felületek), a funkció egyenlő értékei (hőmérséklet, nyomás, térfogat stb.). Mivel egy függvény értéke pontról pontra változik a térben, szükségessé válik a függvény térbeli változási sebességének, azaz iránybeli deriváltjának meghatározása.

A gradiens fogalmát széles körben használják a mérnöki számításokban, amikor nemlineáris függvények szélsőértékeit keresik. A gradiens módszerek numerikus keresési módszerek. Univerzálisak és különösen hatékonyak nemlineáris függvények szélsőséges megszorításokkal történő keresése esetén, valamint olyan esetekben, amikor az analitikai függvény teljesen ismeretlen. Ezeknek a módszereknek a lényege, hogy a gradiens mentén haladva meghatározzuk a célfüggvény szélsőértékét adó változók értékét (kereséskor max) vagy az ellenkező irányba (perc). A különböző gradiens módszerek abban különböznek egymástól, hogy meghatározzák az optimum felé való mozgást. A lényeg az, hogy ha egyenlő szintű vonalak R(xu x i) grafikusan jellemezze a függőséget R(x\jc?), akkor az optimális pont keresése többféleképpen történhet. Például rajzoljon egy hálót egy síkra x\, xr az értékek feltüntetésével R rács csomópontjainál (2.13. ábra).

Ezután kiválaszthatja a szélső értéket a csomópontértékek közül. Ez az út nem racionális, sok számításhoz kapcsolódik, és a pontosság alacsony, mivel lépéstől függ, és az optimum a csomópontok között lehet.

Numerikus módszerek

A matematikai modellek a vizsgált vagy feldolgozási kísérletek eredményeként kapott folyamatok elméleti elemzése alapján összeállított összefüggéseket tartalmaznak (adattáblázatok, grafikonok). Mindenesetre a matematikai modell csak megközelítőleg írja le a valós folyamatot. Ezért a modell pontosságának és megfelelőségének kérdése a legfontosabb. Magának az egyenletnek a megoldása során is felmerül a közelítések szükségessége. A nemlineáris differenciálegyenleteket vagy parciális differenciálegyenleteket tartalmazó modelleket a közelmúltig nem lehetett analitikai módszerekkel megoldani. Ugyanez vonatkozik az égbolt integrálok számos osztályára. A numerikus elemzés módszereinek fejlődése azonban lehetővé tette a matematikai modellek elemzési lehetőségeinek határainak végtelen kiterjesztését, különösen a számítógépek használatával vált ez lehetővé.

A numerikus módszereket függvények közelítésére, differenciálegyenletek és rendszereik megoldására, integrálásra és differenciálásra, valamint numerikus kifejezések kiszámítására használják.

A függvény megadható analitikusan, táblázatként vagy grafikonként. A kutatás során gyakori feladat egy függvény közelítése olyan analitikus kifejezéssel, amely kielégíti a megadott feltételeket. Ez négy problémát old meg:

Csomópontok kiválasztása, kísérletek elvégzése a független változók bizonyos értékein (szintjein) (ha egy tényező megváltoztatásának lépése rosszul van megválasztva, akkor vagy „elhagyjuk” a vizsgált folyamat egy jellemzőjét, vagy meghosszabbítjuk az eljárást és növeli a minta keresésének bonyolultságát);

Közelítő függvények választása polinomok, empirikus képletek formájában, egy konkrét probléma tartalmától függően (törekedni kell a közelítő függvények lehető legnagyobb mértékű egyszerűsítésére);

Egyezési kritériumok kiválasztása és használata, amelyek alapján a közelítő függvények paramétereit megtaláljuk;

Adott pontosság követelményeinek teljesítése közelítő függvény kiválasztásához.

A függvények polinomokkal való közelítése során három osztályt használunk

Hatványfüggvények lineáris kombinációja (Taylor sorozat, Lagrange, Newton polinomok stb.);

Funkciók kombinációja soz ph, w őket(Fourier sorozat);

Függvényekkel alkotott polinom exp(-a, d).

A közelítő függvény megtalálásakor a kísérleti adatokkal való egyezés különböző kritériumait alkalmazzuk.

A gradiens módszerrel történő optimalizálás során a vizsgált objektum optimumát a kimeneti változó leggyorsabb növekedése (csökkenése) irányába keresik, azaz. a gradiens irányába. De mielőtt egy lépést tenne a gradiens felé, ki kell számítania azt. A gradiens egy meglévő modell segítségével számítható ki

dinamikus gradiens polinom modellezése

ahol a parciális derivált az i-edik tényezőhöz képest;

i, j, k - egységvektorok a faktortér koordinátatengelyeinek irányában, vagy n próbamozgás eredménye szerint a koordinátatengelyek irányában.

Ha egy statisztikai folyamat matematikai modellje lineáris polinom alakú, amelynek b i regressziós együtthatói az y = f(X) függvény Taylor-sorba való kiterjesztésének parciális deriváltjai x i hatványaiban, akkor az optimum a gradiens irányába keresve egy bizonyos h i lépéssel:

pkfv n(H)= és 1 r 1 + és 2 r 2 +…+ és t r t

Az irány minden lépés után módosul.

A gradiens módszer a számos módosításával együtt egy általános és hatékony módszer a vizsgált objektumok optimumának megkeresésére. Tekintsük a gradiens módszer egyik módosítását - a meredek emelkedés módszerét.

A meredek emelkedés módszere vagy másképpen a Box-Wilson módszer három módszer előnyeit ötvözi - a Gauss-Seidel módszer, a gradiens módszer és a teljes (vagy töredékes) faktoriális kísérletek módszere egy lineáris matematikai modell előállításának eszközeként. . A meredek emelkedés módszerének feladata, hogy lépésenkénti mozgást hajtson végre a kimeneti változó leggyorsabb növekedése (vagy csökkenése) irányába, vagyis a grad y(X) mentén. Ellentétben a gradiens módszerrel, az irányt nem minden következő lépés után állítjuk be, hanem akkor, amikor a célfüggvény egy adott szélső pontját elérjük egy adott irányban, ahogy a Gauss-Seidel módszernél is. Egy adott extrémum pontján új faktoriális kísérletet hajtanak végre, matematikai modellt határoznak meg, és ismét egy meredek emelkedést hajtanak végre. A megadott módszerrel az optimum felé való elmozdulás során rendszeresen elvégzik a köztes keresési eredmények statisztikai elemzését. A keresés leáll, ha a regressziós egyenletben szereplő másodfokú hatások szignifikánssá válnak. Ez azt jelenti, hogy elértük az optimális régiót.

Leírjuk a gradiens módszerek alkalmazásának elvét két változó függvényének példáján

két további feltétellel:

Ez az elv (módosítás nélkül) tetszőleges számú változóra, valamint további feltételekre alkalmazható. Tekintsük az x 1 , x 2 síkot (1. ábra). A (8) képlet szerint minden pont egy bizonyos F értéknek felel meg. Az 1. ábrán az ehhez a síkhoz tartozó F = const egyeneseket zárt görbék ábrázolják az M * pontot körülvevő, ahol F minimális. A kezdeti pillanatban az x 1 és x 2 értékek feleljenek meg az M 0 pontnak. A számítási ciklus próbalépések sorozatával kezdődik. Először az x 1 értékét egy kis növekményt adunk; ekkor x 2 értéke változatlan. Ezután meghatározzuk az eredő F értéknövekedést, amely arányosnak tekinthető a parciális derivált értékével

(ha az érték mindig ugyanaz).

A (10) és (11) parciális derivált definíciója azt jelenti, hogy egy és koordinátákkal rendelkező vektort találtunk, amelyet az F érték gradiensének nevezünk, és a következőképpen jelöljük:

Ismeretes, hogy ennek a vektornak az iránya egybeesik F értékének legmeredekebb növekedésének irányával. Az ellenkező irány a „legélesebb ereszkedés”, vagyis F értékének legmeredekebb csökkenése.

A gradiens összetevőinek megtalálása után a próbamozgásokat leállítjuk és a gradiens irányával ellentétes irányban munkalépéseket hajtunk végre, és minél nagyobb a grad F vektor abszolút értéke, annál nagyobb a lépés mérete. teljesülnek, ha a munkalépések értékei arányosak a parciális deriváltak korábban kapott értékeivel:

ahol b egy pozitív állandó.

Minden munkalépés után megbecsüljük az F értéknövekedést. Ha az negatívnak bizonyul, akkor a mozgás a megfelelő irányba történik, és ugyanabba az irányba kell tovább haladni M 0 M 1. Ha az M 1 pontban a mérési eredmény ezt mutatja, akkor a munkamozgások leállnak és újabb próbamozgások sorozata kezdődik. Ebben az esetben a gradiens gradF az új M 1 pontban kerül meghatározásra, majd a munkamozgás az új megtalált legmeredekebb ereszkedési irány mentén folytatódik, azaz az M 1 M 2 egyenes mentén stb. Ezt a módszert nevezik a legmeredekebb ereszkedés/legmeredekebb emelkedés módszerének.

Amikor a rendszer a minimum közelében van, amit egy kis érték jelez

át kell térni egy „óvatosabb” keresési módszerre, az úgynevezett gradiens módszerre. A legmeredekebb ereszkedési módszertől annyiban tér el, hogy a gradiens gradF meghatározása után csak egy munkalépést teszünk meg, majd egy újabb ponton újra kezdődik a próbamozgások sorozata. Ez a keresési módszer a minimum pontosabb meghatározását biztosítja a legmeredekebb süllyedés módszeréhez képest, míg az utóbbi lehetővé teszi a minimum gyors megközelítését. Ha a keresési folyamat során M pont eléri a megengedett tartomány határát, és az M 1, M 2 mennyiségek legalább egyike előjelet vált, a módszer megváltozik, és az M pont a tartomány határa mentén mozog.

A meredek emelkedés módszerének hatékonysága a változók skálájának megválasztásától és a válaszfelület típusától függ. A gömb alakú kontúrokkal rendelkező felület biztosítja a gyors összehúzódást az optimálisra.

A meredek emelkedés módszerének hátrányai a következők:

1. Az extrapoláció korlátai. A gradiens mentén haladva a célfüggvény parciális deriváltjainak a megfelelő változókra való extrapolációjára támaszkodunk. A válaszfelület alakja azonban változhat, és a keresés irányát meg kell változtatni. Más szóval, a mozgás egy síkon nem lehet folyamatos.

2. Nehézségek a globális optimum megtalálásában. A módszer csak lokális optimumok meghatározására alkalmazható.

A gradiensvektor egy adott pontban a függvény leggyorsabb növekedésének irányába irányul. A -grad(/(x)) gradienssel ellentétes vektort antigradiensnek nevezzük, és a függvény leggyorsabb csökkenésének irányába irányul. A minimális ponton a függvény gradiense nulla. Az elsőrendű módszerek, más néven gradiens módszerek, a színátmenetek tulajdonságain alapulnak. Ha nincs további információ, akkor a kezdeti x (0 >) pontból jobb az antigradiens irányában fekvő x (1) pontba menni - a függvény leggyorsabb csökkenése. Az antigradiens kiválasztása -grad(/( x (^)) a pontban a süllyedés irányaként x(k a forma iteratív folyamatát kapjuk

Koordináta formában ezt a folyamatot a következőképpen írjuk le:

Az iteratív folyamat leállításának kritériumaként használhatja a (10.2) feltételt vagy egy kis gradiens feltételének teljesülését

Kombinált kritérium is lehetséges, amely a meghatározott feltételek egyidejű teljesüléséből áll.

A gradiens módszerek a lépésméret kiválasztásában különböznek egymástól A A konstans lépéses módszerben minden iterációhoz egy bizonyos állandó lépésértéket választunk. Egészen kicsi lépés a^ biztosítja a funkció csökkenését, azaz. egyenlőtlenség beteljesülése

Ez azonban ahhoz vezethet, hogy meglehetősen nagy számú iterációt kell végrehajtani a minimális pont eléréséhez. Másrészt a túl nagy lépés a függvény növekedését vagy a minimumpont körüli ingadozásokat okozhatja. A lépésméret kiválasztásához további információkra van szükség, ezért a gyakorlatban ritkán alkalmaznak állandó lépésszámú módszereket.

Megbízhatóbbak és gazdaságosabbak a változó lépcsős gradiens módszerek (az iterációk számát tekintve), ha a lépések mérete a kapott közelítéstől függően valamilyen módon változik. Példaként egy ilyen módszerre tekintsük a legmeredekebb ereszkedési módszert. Ennél a módszernél minden iterációnál az i* lépésméretet az f(x) függvény süllyedési irányú minimumának feltételéből választjuk ki, azaz.

Ez a feltétel azt jelenti, hogy az antigradiens mentén történő mozgás addig történik, amíg az /(x) függvény értéke csökken. Ezért minden iterációnál meg kell oldani az egydimenziós minimalizálás problémáját a φ(τ) =/(x(/r) - - agrad^x^))) függvény φ függvényében. A legmeredekebb süllyedés módszerének algoritmusa a következő.

• 1. Állítsuk be az x^° kezdőpont koordinátáit és az r közelítő megoldás pontosságát. k = 0.
• 2. Az x (/r) pontban kiszámítjuk a gradiens grad(/(x (^)) értékét.
• 3. Határozza meg a lépés méretét a^ a cp(i) függvény egydimenziós minimalizálásával i-hez képest.
• 4. Határozzuk meg az x minimumpont új közelítését (* +1 > a (10.4) képlet segítségével!
• 5. Vizsgáljuk meg az iteratív folyamat leállításának feltételeit! Ha teljesülnek, akkor a számítások leállnak. Ellenkező esetben feltételezzük k k+ 1, és folytassa a 2. lépéssel.

A legmeredekebb ereszkedési módszernél az x pontból induló mozgás iránya (*) érinti a szintvonalat az x pontban (* +1). Az ereszkedési útvonal cikk-cakk, a szomszédos cikk-cakk linkek pedig egymásra merőlegesek. Valóban, egy lépés a^ a minimalizálással van kiválasztva A funkciók ( A). Előfeltétel

a függvény minimuma - = 0. A derivált kiszámítása után

komplex függvényt, megkapjuk a szomszédos pontokban lévő süllyedési irányok vektorai ortogonalitásának feltételét:

A φ(π) függvény minimalizálásának problémája levezethető egy változó függvényének gyökének kiszámítására. g(a) =

A gradiens módszerek a minimálisra konvergálnak geometriai progressziós sebességgel sima konvex függvények esetén. Az ilyen függvényeknek van a második derivált mátrixának (Hess-mátrix) legnagyobb és legkisebb sajátértéke.

alig különböznek egymástól, i.e. a H(x) mátrix jól kondicionált. A gyakorlatban azonban a minimálisra csökkentett függvényeknek gyakran vannak rosszul kondicionált második derivált mátrixai. Az ilyen függvények értékei bizonyos irányban sokkal gyorsabban változnak, mint más irányban. A gradiens módszerek konvergencia rátája jelentősen függ a gradiens számítások pontosságától is. A pontosságvesztés, amely általában a minimumpontok közelében jelentkezik, általában megzavarhatja a gradiens süllyedési folyamat konvergenciáját. Ezért a gradiens módszereket gyakran más, hatékonyabb módszerekkel kombinálva alkalmazzák a probléma megoldásának kezdeti szakaszában. Ebben az esetben az x (0) pont messze van a minimumponttól, és az antigradiens irányába tett lépések lehetővé teszik a függvény jelentős csökkenését.

Nincsenek korlátozások a korlátlan optimalizálási problémában.

Emlékezzünk vissza, hogy egy többdimenziós függvény gradiense egy vektor, amelyet analitikusan a parciális deriváltok geometriai összege fejez ki.

Skalárfüggvény gradiense F(x) egy ponton a függvény leggyorsabb növekedésének irányába irányul és merőleges a szintvonalra (állandó értékű felület F(x), ponton áthaladva x k). A gradiens  antigradiens  vektora a függvény leggyorsabb csökkenésére irányul. F(x). Az extrém ponton grad F(x)= 0.

A gradiens módszerekben egy pont mozgását a célfüggvény minimumának keresésekor az iteratív képlet írja le

Ahol  k  lépésparaméter k iteráció az antigradiens mentén. Emelkedő metódusokhoz (a maximum keresése) a gradiens mentén kell mozognia.

A gradiens módszerek különböző változatai a lépésparaméter kiválasztásában, valamint az előző lépésben a mozgás irányának figyelembevételében különböznek egymástól. Tekintsük a következő lehetőségeket a gradiens módszerekhez: állandó lépéssel, változó lépésparaméterrel (lépésosztás), a legmeredekebb ereszkedési módszerrel és a konjugált gradiens módszerrel.

Állandó lépésparaméteres módszer. Ennél a módszernél a lépésparaméter minden iterációban állandó. Felmerül a kérdés: hogyan lehet a gyakorlatban kiválasztani a lépésparaméter értékét? A kellően kis lépésparaméter elfogadhatatlanul sok iterációt eredményezhet a minimumpont eléréséhez. Másrészt a túl nagy lépésparaméter a minimumpont túllépéséhez és e pont körüli oszcillációs számítási folyamathoz vezethet. Ezek a körülmények a módszer hátrányai. Mivel lehetetlen előre kitalálni a lépésparaméter elfogadható értékét  k, akkor szükség van a gradiens módszer használatára változó lépésparaméterrel.

Ahogy közeledünk az optimumhoz, a gradiens vektor értéke csökken, nullára hajlik, így amikor  k = const a lépés hossza fokozatosan csökken. Az optimum közelében a gradiensvektor hossza nullára hajlik. Vektor hossza vagy norma in n-dimenziós euklideszi teret a képlet határozza meg

, Ahol n- a változók száma.

Lehetőségek az optimális keresési folyamat leállítására:

Gyakorlati szempontból kényelmesebb a 3. megállási kritérium használata (mivel a tervezési paraméterek értékei érdekesek), azonban a szélsőpont közelségének meghatározásához a 2. kritérium. A számítási folyamat leállítására számos kritérium alkalmazható.

Nézzünk egy példát. Keresse meg a célfüggvény minimumát! F(x) = (x 1  2) 2 + (x 2  4) 2 . Pontos megoldás a problémára X*= (2,0; 4,0). Kifejezések részleges származékokhoz

,
.

Lépés kiválasztása  k = 0.1. Keressünk a kiindulóponttól x 1 = . Mutassuk be a megoldást táblázat formájában!

Gradiens módszer a lépésparaméter felosztásával. Ebben az esetben az optimalizálás során a k lépésparaméter csökken, ha a következő lépés után a célfüggvény nő (minimum keresésekor). Ebben az esetben a lépéshosszt gyakran kettéosztják (osztják), és a lépést megismétlik az előző ponttól. Ez pontosabb megközelítést biztosít a szélsőponthoz.

A legmeredekebb ereszkedés módja. A változó lépéses módszerek gazdaságosabbak az iterációk számát tekintve. Ha az optimális lépéshossz  k az antigradiens iránya mentén egy egydimenziós minimalizálási probléma megoldása, akkor ezt a módszert a legmeredekebb ereszkedési módszernek nevezzük. Ebben a módszerben minden iterációnál megoldódik az egydimenziós minimalizálás problémája:

F(X k+1 )=F(X k   k S k )=min F( k ), S k =  F(X);

 k >0

.

Ennél a módszernél az antigradiens irányába történő mozgás a célfüggvény minimumának eléréséig folytatódik (miközben a célfüggvény értéke csökken). Egy példa segítségével nézzük meg, hogyan írható fel a célfüggvény analitikusan minden lépésben egy ismeretlen paraméter függvényében

Példa. min F(x 1 , x 2 ) = 2x 1 2 + 4x 2 3 – 3. Akkor  F(x)= [ 4x 1 ; 12x 2 2 ]. Legyen a lényeg x k = , ennélfogva  F(x)= [ 8; 12], F(x k   S k ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. Meg kell találni a -t, amely ennek a függvénynek a minimumát adja.

Algoritmus a legmeredekebb süllyedés módszeréhez (a minimum megtalálásához)

Kezdeti lépés. Legyen   egy leállási állandó. Válassza ki a kezdőpontot x 1 , tedd k = 1, és lépjen a fő lépésre.

Alap lépés. Ha || gradF(x)||< , majd fejezze be a keresést, ellenkező esetben határozza meg  F(x k ) és megtalálni  k  a minimalizálási probléma optimális megoldása F(x k   k S k ) nál nél  k  0. Tedd x k +1 = x k   k S k, hozzárendelni k =

k + 1 és ismételje meg a fő lépést.

Egy változó függvényének minimumának meghatározásához a legmeredekebb ereszkedés módszerében unimodális optimalizálási módszereket használhat. A módszerek nagy csoportjából a dichotómia (felezés) és az aranymetszet módszerét fogjuk figyelembe venni. Az unimodális optimalizálási módszerek lényege, hogy leszűkítik a bizonytalansági tartományt az extrémum elhelyezkedésében.

Dichotómia módszer (felezés)Kezdeti lépés. Válassza ki a  megkülönböztethetőségi állandót és a bizonytalansági intervallum véges hosszát l. A  értéknek a lehető legkisebbnek kell lennie, de lehetővé kell tennie a függvény értékeinek megkülönböztetését F( ) És F( ) . Hadd [ a 1 , b 1 ] - kezdeti bizonytalansági intervallum. Tedd k =

A fő szakasz véges számú, azonos típusú iterációból áll.

kth iteráció.

1. lépés. Ha b k  a k  l, akkor a számítások véget érnek. Megoldás x * = (a k + b k )/2. Másképp

,
.

2. lépés. Ha F( k ) < F( k ), fel a k +1 = a k ; b k +1 =  k. Másképp a k +1 =  kÉs b k +1 = b k. Hozzárendelni k = k + 1, és folytassa az 1. lépéssel.

Aranymetszet módszer. Hatékonyabb módszer, mint a dichotómia módszer. Lehetővé teszi a bizonytalansági intervallum adott értékének meghatározását kevesebb iterációval, és kevesebb célfüggvény számítást igényel. Ennél a módszernél a bizonytalansági intervallum új osztási pontja egyszer kerül kiszámításra. Egy új pont kerül elhelyezésre a távolságban

 = 0,618034 az intervallum végétől.

Az aranymetszet módszer algoritmusa

Kezdeti lépés. Válassza ki a bizonytalansági intervallum megengedett véges hosszát l > 0. Hadd [ a 1 , b 1 ] - kezdeti bizonytalansági intervallum. Tedd  1 = a 1 +(1   )(b 1  a 1 ) És  1 = a 1 +  (b 1  a 1 ) , Ahol  = 0,618 . Kiszámítja F( 1 ) És F( 1 ) , tedd k = 1, és menjen a fő színpadra.

1. lépés. Ha b k  a k  l, akkor a számítások véget érnek x * = (a k + b k )/ 2. Egyébként ha F( k ) > F( k ) , majd folytassa a 2. lépéssel; Ha F( k )  F( k ) , folytassa a 3. lépéssel.

2. lépés. Tedd a k +1 =  k , b k +1 = b k ,  k +1 =  k ,  k +1 = a k +1 +  (b k +1 – a k +1 ). Kiszámítja F( k +1 ), folytassa a 4. lépéssel.

3. lépés Tedd a k +1 = a k , b k +1 =  k ,  k +1 =  k ,  k +1 = a k +1 + (1   )(b k +1 – a k +1 ). Kiszámítja F( k +1 ).

4. lépés. Hozzárendelni k = k + 1, folytassa az 1. lépéssel.

Az első iterációnál két függvényszámítás szükséges, minden további iterációnál csak egy.

Konjugált gradiens módszer (Fletcher-Reeves). Ennél a módszernél a mozgás irányának megválasztása tovább k+ Az 1. lépés figyelembe veszi a bekapcsolási irány változását k lépés. A süllyedési irányvektor az antigradiens irány és az előző keresési irány lineáris kombinációja. Ebben az esetben a csatornafunkciók minimalizálásakor (keskeny hosszú mélyedésekkel) a keresés nem merőleges a szakadékra, hanem annak mentén, ami lehetővé teszi a minimum gyors elérését. A konjugált gradiens módszerrel szélsőséges kereséskor a pont koordinátáit a kifejezés segítségével számítjuk ki x k +1 = x k   V k +1 , Ahol V k +1 – a következő kifejezéssel kiszámított vektor:

.

Az első iteráció általában támaszkodik V = 0 és keresést hajtunk végre az antigradiens mentén, mint a legmeredekebb ereszkedési módszernél. Ekkor a mozgás iránya eltér az antigradiens irányától, minél jobban, annál jelentősebben változik a gradiensvektor hossza az utolsó iterációnál. Után n Az algoritmus működésének javítására szolgáló lépések a szokásos anti-gradiens lépéssel történnek.

A konjugált gradiens módszer algoritmusa

1. lépés. Adja meg a kiindulási pontot x 0 , pontosság  , dimenzió n.

2. lépés. Tedd k = 1.

3. lépés Tedd vektor V k = 0.

4. lépés. Kiszámítja grad F(x k ).

5. lépés. Számítsa ki a vektort V k +1.

6. lépés. Végezzen egydimenziós vektorkeresést V k +1.

7. lépés Ha k < n, tedd k = k + 1, és folytassa a 4. lépéssel, ellenkező esetben folytassa a 8. lépéssel.

8. lépés Ha a vektor hossza V kisebb, mint , fejezze be a keresést, ellenkező esetben  folytassa a 2. lépéssel.

A konjugált irányok módszere az egyik leghatékonyabb a minimalizálási problémák megoldásában. A módszert az egydimenziós kereséssel kombinálva a gyakorlatban gyakran használják a CAD-ben. Meg kell azonban jegyezni, hogy érzékeny a számlálási folyamat során előforduló hibákra.

A gradiens módszerek hátrányai

A nagyszámú változóval kapcsolatos problémák esetén nehéz vagy lehetetlen származékokat nyerni analitikai függvények formájában.

A differencia-sémák segítségével történő deriváltszámításkor a keletkező hiba, különösen a szélsőérték közelében, korlátozza az ilyen közelítés lehetőségeit.