Rishikimi i metodave të gradientit në problemet e optimizimit matematik. metodat e gradientit

metodat e gradientit

Metodat e optimizimit të pakufizuara të gradientit përdorin vetëm derivatet e parë të funksionit objektiv dhe janë metoda lineare të përafrimit në çdo hap, d.m.th. funksioni objektiv në çdo hap zëvendësohet nga një hiperplan tangjent në grafikun e tij në pikën aktuale.

Në fazën k-të të metodave të gradientit, kalimi nga pika Xk në pikën Xk+1 përshkruhet nga relacioni:

ku k është madhësia e hapit, k është një vektor në drejtimin Xk+1-Xk.

Metodat më të pjerrëta të zbritjes

Për herë të parë, një metodë e tillë u konsiderua dhe u aplikua nga O. Cauchy në shekullin e 18-të. Ideja e tij është e thjeshtë: gradienti i funksionit objektiv f(X) në çdo pikë është një vektor në drejtim të rritjes më të madhe të vlerës së funksionit. Prandaj, antigradienti do të drejtohet drejt uljes më të madhe të funksionit dhe është drejtimi i zbritjes më të pjerrët. Antigradienti (dhe gradienti) është ortogonal me sipërfaqen e nivelit f(X) në pikën X. Nëse në (1.2) prezantojmë drejtimin

atëherë ky do të jetë drejtimi i zbritjes më të pjerrët në pikën Xk.

Ne marrim formulën e kalimit nga Xk në Xk + 1:

Anti-gradienti jep vetëm drejtimin e zbritjes, jo madhësinë e hapit. Në përgjithësi, një hap nuk jep një pikë minimale, kështu që procedura e zbritjes duhet të zbatohet disa herë. Në pikën minimale, të gjithë përbërësit e gradientit janë të barabartë me zero.

Të gjitha metodat e gradientit përdorin idenë e mësipërme dhe ndryshojnë nga njëra-tjetra në detaje teknike: llogaritja e derivateve me një formulë analitike ose përafrim i diferencës së fundme; madhësia e hapit mund të jetë konstante, të ndryshojë sipas disa rregullave ose të zgjidhet pas aplikimit të metodave të optimizimit njëdimensional në drejtim të antigradientit, etj. etj.

Nuk do të ndalemi në detaje, sepse. metoda e zbritjes më të pjerrët në përgjithësi nuk rekomandohet si një procedurë serioze optimizimi.

Një nga disavantazhet e kësaj metode është se ajo konvergon në çdo pikë të palëvizshme, duke përfshirë pikën e shalës, e cila nuk mund të jetë një zgjidhje.

Por gjëja më e rëndësishme është konvergjenca shumë e ngadaltë e zbritjes më të pjerrët në rastin e përgjithshëm. Çështja është se zbritja është "më e shpejta" në kuptimin lokal. Nëse hiperhapësira e kërkimit është fort e zgjatur ("përroi"), atëherë antigradienti drejtohet pothuajse në mënyrë ortogonale në fund të "përroskës", d.m.th. drejtimi më i mirë për të arritur minimumin. Në këtë kuptim, një përkthim i drejtpërdrejtë i termit anglisht "prejardhja më e madhe", d.m.th. zbritja përgjatë shpatit më të pjerrët është më në përputhje me gjendjen e punëve sesa termi "më i shpejti" i miratuar në literaturën e specializuar në gjuhën ruse. Një rrugëdalje në këtë situatë është përdorimi i informacionit të dhënë nga derivatet e dyta të pjesshme. Një tjetër rrugëdalje është ndryshimi i shkallëve të variablave.

gradienti i derivatit të përafrimit linear

Metoda e gradientit të konjuguar Fletcher-Reeves

Metoda e gradientit të konjuguar ndërton një sekuencë drejtimesh kërkimi që janë kombinime lineare të drejtimit aktual të zbritjes më të pjerrët dhe drejtimeve të mëparshme të kërkimit, d.m.th.

dhe koeficientët janë zgjedhur në mënyrë që të bëjnë drejtimet e kërkimit të konjuguara. E vërtetoi atë

dhe ky është një rezultat shumë i vlefshëm që ju lejon të ndërtoni një algoritëm optimizimi të shpejtë dhe efikas.

Algoritmi Fletcher-Reeves

1. Në X0 llogaritet.

2. Në hapin e k-të, duke përdorur kërkimin njëdimensional në drejtim, gjendet minimumi i f(X), i cili përcakton pikën Xk+1.

• 3. Njehsoni f(Xk+1) dhe.
• 4. Drejtimi përcaktohet nga raporti:

• 5. Pas përsëritjes (n+1)-të (d.m.th., me k=n), kryhet një rinisje: supozohet X0=Xn+1 dhe kryhet kalimi në hapin 1.
• 6. Algoritmi ndalon kur

ku është një konstante arbitrare.

Avantazhi i algoritmit Fletcher-Reeves është se ai nuk kërkon përmbysje të matricës dhe kursen kujtesën e kompjuterit, pasi nuk ka nevojë për matricat e përdorura në metodat Njutoniane, por në të njëjtën kohë është pothuajse po aq efikas sa algoritmet kuazi-njutoniane. Sepse drejtimet e kërkimit janë të ndërlidhura, atëherë funksioni kuadratik do të minimizohet në jo më shumë se n hapa. Në rastin e përgjithshëm, përdoret një rifillim, i cili ju lejon të merrni rezultatin.

Algoritmi Fletcher-Reeves është i ndjeshëm ndaj saktësisë së një kërkimi njëdimensional, kështu që çdo gabim rrumbullakimi që mund të ndodhë duhet të korrigjohet gjatë përdorimit të tij. Gjithashtu, algoritmi mund të dështojë në situata ku Hessian bëhet i keqkushtëzuar. Algoritmi nuk ka asnjë garanci për konvergjencë gjithmonë dhe kudo, megjithëse praktika tregon se algoritmi pothuajse gjithmonë jep një rezultat.

Metodat e Njutonit

Drejtimi i kërkimit që korrespondon me zbritjen më të pjerrët shoqërohet me një përafrim linear të funksionit objektiv. Metodat që përdorin derivatet e dyta lindën nga një përafrim kuadratik i funksionit objektiv, d.m.th., kur zgjerohet funksioni në një seri Taylor, termat e rendit të tretë dhe më të lartë hidhen poshtë.

ku është matrica Hessian.

Minimumi i anës së djathtë (nëse ekziston) arrihet në të njëjtin vend me minimumin e formës kuadratike. Le të shkruajmë një formulë për përcaktimin e drejtimit të kërkimit:

Minimumi arrihet në

Një algoritëm optimizimi në të cilin drejtimi i kërkimit përcaktohet nga kjo lidhje quhet metoda e Njutonit dhe drejtimi është drejtimi i Njutonit.

Në problemet e gjetjes së minimumit të një funksioni kuadratik arbitrar me një matricë pozitive të derivateve të dytë, metoda e Njutonit jep një zgjidhje në një përsëritje, pavarësisht nga zgjedhja e pikës së fillimit.

Klasifikimi i metodave të Njutonit

Në fakt, metoda e Njutonit konsiston në një aplikim të vetëm të drejtimit Njutonian për të optimizuar funksionin kuadratik. Nëse funksioni nuk është kuadratik, atëherë teorema e mëposhtme është e vërtetë.

Teorema 1.4. Nëse matrica Hessian e një funksioni të përgjithshëm jolinear f në pikën minimale X* është pozitive-përcaktuar, pika e fillimit zgjidhet mjaftueshëm afër X* dhe gjatësitë e hapave zgjidhen saktë, atëherë metoda e Njutonit konvergjon në X* me shpejtësi kuadratike.

Metoda e Njutonit konsiderohet si ajo referencë dhe krahasohen të gjitha procedurat e zhvilluara të optimizimit. Sidoqoftë, metoda e Njutonit funksionon vetëm me një matricë Hessian pozitive-të përcaktuar dhe të kushtëzuar mirë (përcaktori i saj duhet të jetë thelbësisht më i madh se zero, më saktë, raporti i eigenvlerave më të mëdha dhe më të vogla duhet të jetë afër një). Për të eliminuar këtë mangësi, përdoren metoda të modifikuara njutoniane, duke përdorur drejtimet njutoniane sa më shumë që të jetë e mundur dhe duke devijuar prej tyre vetëm kur është e nevojshme.

Parimi i përgjithshëm i modifikimeve të metodës së Njutonit është si më poshtë: në çdo përsëritje, fillimisht ndërtohet një matricë pozitive-përcaktuar "e lidhur" me, dhe më pas llogaritet me formulën

Meqenëse është e përcaktuar pozitive, atëherë - do të jetë domosdoshmërisht drejtimi i zbritjes. Procedura e ndërtimit është e organizuar në mënyrë që të përputhet me matricën Hessian nëse është e përcaktuar pozitive. Këto procedura janë ndërtuar mbi bazën e disa zgjerimeve të matricës.

Një grup tjetër metodash, të cilat janë pothuajse aq të shpejta sa metoda e Njutonit, bazohet në përafrimin e matricës Hessian duke përdorur diferencat e fundme, sepse nuk është e nevojshme të përdoren vlerat e sakta të derivateve për optimizim. Këto metoda janë të dobishme kur llogaritja analitike e derivateve është e vështirë ose thjesht e pamundur. Metoda të tilla quhen metoda diskrete të Njutonit.

Çelësi i efektivitetit të metodave të tipit Njutonian është marrja parasysh e informacionit rreth lakimit të funksionit që minimizohet, i cili përmbahet në matricën Hessian dhe bën të mundur ndërtimin e modeleve kuadratike të sakta në nivel lokal të funksionit objektiv. Por është e mundur të mblidhen dhe të grumbullohen informacione rreth lakimit të një funksioni bazuar në vëzhgimin e ndryshimit të gradientit gjatë përsëritjeve të zbritjes.

Metodat përkatëse të bazuara në mundësinë e përafrimit të lakimit të një funksioni jolinear pa formimin e qartë të matricës së tij Hessian quhen metoda kuazi-Njutoniane.

Vini re se gjatë ndërtimit të një procedure optimizimi të tipit Njutonian (përfshirë atë kuazi-njutonian), është e nevojshme të merret parasysh mundësia e shfaqjes së një pike shale. Në këtë rast, vektori i drejtimit më të mirë të kërkimit do të drejtohet gjithmonë në pikën e shalës, në vend që të largohet prej saj në drejtimin "poshtë".

Metoda Njuton-Rafson

Kjo metodë konsiston në përdorimin e përsëritur të drejtimit Njutonian kur optimizohen funksionet që nuk janë kuadratike.

Formula bazë përsëritëse për optimizimin me shumë variacione

përdoret në këtë metodë kur zgjedh drejtimin e optimizimit nga relacioni

Gjatësia reale e hapit fshihet në drejtimin Njutonian jo të normalizuar.

Meqenëse kjo metodë nuk kërkon vlerën e funksionit objektiv në pikën aktuale, ndonjëherë quhet metoda e optimizimit indirekt ose analitik. Aftësia e tij për të përcaktuar minimumin e një funksioni kuadratik në një llogaritje duket jashtëzakonisht tërheqëse në shikim të parë. Megjithatë, kjo "llogaritje e vetme" është e kushtueshme. Para së gjithash, është e nevojshme të llogariten n derivate të pjesshëm të rendit të parë dhe n(n+1)/2 - të së dytës. Përveç kësaj, matrica Hessian duhet të përmbyset. Kjo tashmë kërkon rreth n3 operacione llogaritëse. Me të njëjtën kosto, metodat e drejtimit të konjuguar ose metodat e gradientit të konjuguar mund të marrin rreth n hapa, d.m.th. arrijnë pothuajse të njëjtin rezultat. Kështu, përsëritja e metodës Newton-Raphson nuk ofron përparësi në rastin e një funksioni kuadratik.

Nëse funksioni nuk është kuadratik, atëherë

• - drejtimi fillestar tashmë, në përgjithësi, nuk tregon pikën minimale aktuale, që do të thotë se përsëritjet duhet të përsëriten në mënyrë të përsëritur;
• - një hap i gjatësisë së njësisë mund të çojë në një pikë me një vlerë më të keqe të funksionit objektiv, dhe kërkimi mund të japë drejtimin e gabuar nëse, për shembull, Hessian-i nuk është i përcaktuar pozitiv;
• - Hessian mund të bëhet i sëmurë, duke e bërë të pamundur përmbysjen e tij, d.m.th. përcaktimi i drejtimit për përsëritjen e radhës.

Vetë strategjia nuk dallon se në cilën pikë të palëvizshme (minimale, maksimale, pikë e shalës) po afrohet kërkimi dhe nuk bëhet llogaritja e vlerave të funksionit objektiv, me anë të të cilave do të ishte e mundur të gjurmohej nëse funksioni po rritet. Pra, gjithçka varet nga cila pikë e palëvizshme në zonën e tërheqjes është pika e fillimit të kërkimit. Strategjia Newton-Raphson përdoret rrallë më vete pa modifikime të një lloji apo tjetër.

Metodat e Pearson

Pearson propozoi disa metoda për përafrimin e hesianit të anasjelltë pa llogaritur në mënyrë eksplicite derivatet e dyta, d.m.th. duke vëzhguar ndryshimet në drejtimin e antigradientit. Në këtë rast, merren drejtimet e konjuguara. Këto algoritme ndryshojnë vetëm në detaje. Këtu janë ato që përdoren më gjerësisht në fushat e aplikuara.

Algoritmi i Pearson #2.

Në këtë algoritëm, Hessian-i i kundërt përafrohet me matricën Hk të llogaritur në çdo hap nga formula

Një matricë simetrike arbitrare pozitive-përcaktuar zgjidhet si matricë fillestare H0.

Ky algoritëm Pearson shpesh çon në situata ku matrica Hk bëhet e pakushtëzuar, përkatësisht, ajo fillon të lëkundet, duke u luhatur midis definitivës pozitive dhe jopozitive, ndërsa përcaktori i matricës është afër zeros. Për të shmangur këtë situatë, është e nevojshme të rivendosni matricën çdo n hapa, duke e barazuar atë me H0.

Algoritmi i Pearson #3.

Në këtë algoritëm, matrica Hk+1 përcaktohet nga formula

Hk+1 = Hk +

Rruga e zbritjes e krijuar nga algoritmi është e ngjashme me sjelljen e algoritmit Davidon-Fletcher-Powell, por hapat janë pak më të shkurtër. Pearson propozoi gjithashtu një variant të këtij algoritmi me një rirenditje ciklike të matricës.

Algoritmi projektues Njuton-Rafson

Pearson propozoi idenë e një algoritmi në të cilin matrica llogaritet nga relacioni

H0=R0, ku matrica R0 është e njëjtë me matricat fillestare në algoritmet e mëparshme.

Kur k është shumëfish i numrit të variablave të pavarur n, matrica Hk zëvendësohet nga matrica Rk+1 e llogaritur si shumë

Vlera Hk(f(Xk+1) - f(Xk)) është projeksioni i vektorit të rritjes së gradientit (f(Xk+1)-f(Xk)), ortogonal me të gjithë vektorët e rritjes së gradientit në hapat e mëparshëm. Pas çdo n hapash, Rk është një përafrim i hesianit të kundërt H-1(Xk), kështu që në thelb kryhet një kërkim (afërsisht) i Njutonit.

Metoda Davidon-Fletcher-Powell

Kjo metodë ka emra të tjerë - metoda metrike e ndryshueshme, metoda kuazi-Njuton, sepse ai përdor të dyja këto qasje.

Metoda Davidon-Fletcher-Powell (DFP) bazohet në përdorimin e drejtimeve të Njutonit, por nuk kërkon llogaritjen e Hessian-it të kundërt në çdo hap.

Drejtimi i kërkimit në hapin k është drejtimi

ku Hi është një matricë simetrike pozitive-përcaktuar që përditësohet në çdo hap dhe, në kufi, bëhet e barabartë me Hesianin e anasjelltë. Matrica e identitetit zakonisht zgjidhet si matrica fillestare H. Procedura përsëritëse DFT mund të përfaqësohet si më poshtë:

• 1. Në hapin k, ekziston një pikë Xk dhe një matricë pozitive-përcaktuar Hk.
• 2. Zgjidhni si drejtimin e ri të kërkimit

3. Kërkimi njëdimensional (zakonisht me interpolim kub) përgjatë drejtimit përcakton k duke minimizuar funksionin.

4. Mbështetet.

5. Mbështetet.

6. Përcaktohet nga dhe. Nëse Vk ose janë mjaft të vogla, procedura përfundon.

• 7. Set Uk = f(Xk+1) - f(Xk).
• 8. Matrica Hk përditësohet sipas formulës

9. Rriteni k me një dhe kthehuni në hapin 2.

Metoda është e efektshme në praktikë nëse gabimi i llogaritjes së gradientit është i vogël dhe matrica Hk nuk kushtëzohet.

Matrica Ak siguron konvergjencën e Hk në G-1, matrica Bk siguron definicitetin pozitiv të Hk+1 në të gjitha fazat dhe përjashton H0 në kufi.

Në rastin e një funksioni kuadratik

ato. algoritmi DFP përdor drejtime të konjuguara.

Kështu, metoda DFT përdor si idetë e qasjes Njutoniane ashtu edhe vetitë e drejtimeve të konjuguara, dhe kur minimizon funksionin kuadratik, ajo konvergon në jo më shumë se n përsëritje. Nëse funksioni që optimizohet ka një formë afër një funksioni kuadratik, atëherë metoda DFP është efikase për shkak të një përafrimi të mirë të G-1 (metoda e Njutonit). Nëse funksioni objektiv ka një formë të përgjithshme, atëherë metoda DFP është efektive për shkak të përdorimit të drejtimeve të konjuguara.

Metodat e optimizimit të gradientit

Problemet e optimizimit me marrëdhënie jolineare ose të vështira për t'u llogaritur që përcaktojnë kriterin dhe kufizimet e optimizimit janë objekt i programimit jolinear. Si rregull, zgjidhjet për problemet e programimit jo-linear mund të gjenden vetëm me metoda numerike duke përdorur teknologjinë kompjuterike. Midis tyre, më të përdorurat janë metodat e gradientit (metodat e relaksimit, gradienti, zbritja dhe ngjitja më e pjerrët), metodat e kërkimit përcaktues jo-gradient (metodat e skanimit, simplex, etj.) dhe metodat e kërkimit të rastësishëm. Të gjitha këto metoda përdoren në përcaktimin numerik të optimës dhe mbulohen gjerësisht në literaturën e specializuar.

Në rastin e përgjithshëm, vlera e kriterit të optimizimit R mund të shihet si një funksion R(x b xx..., x n), të përcaktuara në hapësirën n-dimensionale. Meqenëse nuk ka paraqitje grafike vizuale të një hapësire n-dimensionale, ne do të përdorim rastin e një hapësire dy-dimensionale.

Nese nje R(l x 2) të vazhdueshme në rajon D, pastaj rreth pikës optimale M°(xi°, x z°)është e mundur të vizatohet një vijë e mbyllur në këtë rrafsh, përgjatë së cilës vlera R= konst. Ka shumë linja të tilla, të quajtura vija të niveleve të barabarta, që mund të vizatohen rreth pikës optimale (në varësi të hapit

Ndër metodat e përdorura për zgjidhjen e problemeve të programimit jolinear, një vend të rëndësishëm zënë metodat e gjetjes së zgjidhjeve bazuar në analizën e derivatit në lidhje me drejtimin e funksionit që optimizohet. Nëse në çdo pikë të hapësirës një funksion skalar i disa ndryshoreve merr vlera të përcaktuara mirë, atëherë në këtë rast kemi të bëjmë me një fushë skalare (fushë temperaturë, fushë presioni, fushë densiteti etj.). Fusha vektoriale (fusha e forcave, shpejtësive, etj.) përcaktohet në mënyrë të ngjashme. Izotermat, izobaret, izokronet etj. - të gjitha këto janë linja (sipërfaqe) me nivele të barabarta, vlera të barabarta të një funksioni (temperatura, presioni, vëllimi, etj.). Meqenëse vlera e funksionit ndryshon nga pika në pikë në hapësirë, bëhet e nevojshme të përcaktohet shpejtësia e ndryshimit të funksionit në hapësirë, domethënë derivati ​​në drejtim.

Koncepti i një gradient përdoret gjerësisht në llogaritjet inxhinierike për të gjetur ekstremet e funksioneve jolineare. Metodat e gradientit janë metoda numerike të llojit të kërkimit. Ato janë universale dhe veçanërisht efektive në rastet e kërkimit të ekstremeve të funksioneve jolineare me kufizime, si dhe kur funksioni analitik është plotësisht i panjohur. Thelbi i këtyre metodave është përcaktimi i vlerave të variablave që sigurojnë ekstremin e funksionit të qëllimit duke lëvizur përgjatë gradientit (kur kërkoni për maksimumi) ose në drejtim të kundërt (min). Metodat e ndryshme të gradientit ndryshojnë nga njëra-tjetra në mënyrën në të cilën përcaktohet lëvizja drejt optimumit. Përfundimi është se nëse linjat janë nivele të barabarta R(xu x i) karakterizojnë grafikisht varësinë R(x\jc?), atëherë kërkimi i pikës optimale mund të kryhet në mënyra të ndryshme. Për shembull, vizatoni një rrjet në një aeroplan x\, xr me tregues vlerash R në nyjet e rrjetës (Fig. 2.13).

Pastaj mund të zgjidhni nga vlerat nodale të ekstremit. Kjo rrugë nuk është racionale, shoqërohet me një numër të madh llogaritjesh, dhe saktësia është e ulët, pasi varet nga hapi, dhe optimumi mund të vendoset midis nyjeve.

Metodat numerike

Modelet matematikore përmbajnë marrëdhënie të përpiluara në bazë të një analize teorike të proceseve në studim ose të marra si rezultat i eksperimenteve të përpunimit (tabelat e të dhënave, grafikë). Në çdo rast, modeli matematik vetëm përafërsisht përshkruan procesin real. Prandaj) çështja e saktësisë, përshtatshmërisë së modelit është më e rëndësishmja. Nevoja për përafrime lind në vetë zgjidhjen e ekuacioneve. Deri vonë, modelet që përmbajnë ekuacione diferenciale jolineare ose të pjesshme nuk mund të zgjidheshin në mënyrë analitike. E njëjta gjë vlen edhe për klasa të shumta të integraleve jokontraktuese. Sidoqoftë, zhvillimi i metodave për analizën numerike bëri të mundur zgjerimin e gjerë të kufijve të mundësive të analizimit të modeleve matematikore, veçanërisht me përdorimin e kompjuterëve.

Metodat numerike përdoren për të përafruar funksionet, për të zgjidhur ekuacionet diferenciale dhe sistemet e tyre, për të integruar dhe diferencuar, për të llogaritur shprehjet numerike.

Funksioni mund të përcaktohet në mënyrë analitike, tabelë, grafik. Gjatë kryerjes së hulumtimit, një problem i zakonshëm është përafrimi i një funksioni me një shprehje analitike që plotëson kushtet e deklaruara. Kjo realizon katër detyra:

Zgjedhja e pikave nodale, kryerja e eksperimenteve në vlera (nivele) të caktuara të variablave të pavarur (nëse hapi i ndryshimit të faktorit është zgjedhur gabimisht, ne ose do të "kapërcejmë" një tipar karakteristik të procesit në studim, ose do të zgjasim procedura dhe rritja e kompleksitetit të gjetjes së modeleve);

Zgjedhja e funksioneve të përafërta në formën e polinomeve, formulave empirike, në varësi të përmbajtjes së një problemi të veçantë (duhet të përpiqet për thjeshtimin maksimal të funksioneve të përafrimit);

Përzgjedhja dhe përdorimi i kritereve të përshtatshmërisë, në bazë të të cilave gjenden parametrat e funksioneve të përafërta;

Plotësimi i kërkesave të një saktësie të caktuar për zgjedhjen e një funksioni të përafërt.

Në problemet e përafrimit të funksioneve me polinome përdoren tre klasa

Kombinimi linear i funksioneve të fuqisë (seri Taylor, polinomet Lagrange, Njuton etj.);

Kombinimi i funksioneve cos nx, w ato(seri Fourier);

Polinom i formuar nga funksionet exp(-a, d).

Gjatë gjetjes së funksionit të përafërt, përdoren kritere të ndryshme të pajtimit me të dhënat eksperimentale.

Gjatë optimizimit me metodën e gradientit, optimumi i objektit në studim kërkohet në drejtim të rritjes (uljes) më të shpejtë të ndryshores së prodhimit, d.m.th. në drejtim të gradientit. Por, para se të bëni një hap në drejtim të gradientit, duhet ta llogaritni atë. Gradienti mund të llogaritet ose nga modeli i disponueshëm

polinom gradient dinamik simulues

ku është derivati ​​i pjesshëm në lidhje me faktorin i-të;

i, j, k - vektorë njësi në drejtim të boshteve koordinative të hapësirës së faktorit, ose sipas rezultateve të n lëvizjeve të provës në drejtim të boshteve të koordinatave.

Nëse modeli matematik i procesit statistikor ka formën e një polinomi linear, koeficientët e regresionit b i të të cilit janë derivate të pjesshëm të zgjerimit të funksionit y = f(X) në një seri Taylor në fuqitë x i, atëherë optimale është kërkohet në drejtim të gradientit me një hap të caktuar h i:

pkfv n (Ch) \u003d dhe 1 p 1 + dhe 2 p 2 + ... + dhe t p t

Drejtimi korrigjohet pas çdo hapi.

Metoda e gradientit, së bashku me modifikimet e saj të shumta, është një metodë e zakonshme dhe efektive për gjetjen e optimumit të objekteve në studim. Konsideroni një nga modifikimet e metodës së gradientit - metodën e ngjitjes së pjerrët.

Metoda e ngjitjes së pjerrët, ose ndryshe metoda Box-Wilson, kombinon avantazhet e tre metodave - metodës Gauss-Seidel, metodës së gradientit dhe metodës së eksperimenteve faktoriale të plota (ose të pjesshme), si një mjet për të përftuar një model matematikor linear. . Detyra e metodës së ngjitjes së pjerrët është të kryejë hapin në drejtim të rritjes (ose uljes) më të shpejtë të ndryshores së prodhimit, domethënë përgjatë shkallës y (X). Ndryshe nga metoda e gradientit, drejtimi korrigjohet jo pas çdo hapi tjetër, por kur arrihet një ekstrem i pjesshëm i funksionit objektiv në një pikë në një drejtim të caktuar, siç bëhet në metodën Gauss-Seidel. Në pikën e një ekstremi të pjesshëm, vendoset një eksperiment i ri faktorial, përcaktohet një model matematikor dhe përsëri kryhet një ngjitje e pjerrët. Në procesin e lëvizjes drejt optimales me këtë metodë, kryhet rregullisht një analizë statistikore e rezultateve të ndërmjetme të kërkimit. Kërkimi përfundon kur efektet kuadratike në ekuacionin e regresionit bëhen të rëndësishme. Kjo do të thotë se është arritur rajoni optimal.

Le të përshkruajmë parimin e përdorimit të metodave të gradientit duke përdorur shembullin e një funksioni të dy variablave

subjekt i dy kushteve shtesë:

Ky parim (pa ndryshim) mund të zbatohet për çdo numër variablash, si dhe kushte shtesë. Konsideroni rrafshin x 1 , x 2 (Fig. 1). Sipas formulës (8), secila pikë i përgjigjet një vlere të caktuar të F. Në Fig.1, linjat F = konst që i përkasin këtij plani përfaqësohen nga kthesa të mbyllura që rrethojnë pikën M*, ku F është minimale. Le të korrespondojnë në momentin fillestar vlerat x 1 dhe x 2 me pikën M 0. Cikli i llogaritjes fillon me një sërë hapash provë. Së pari, x 1 jepet një rritje e vogël; në këtë kohë, vlera e x 2 është e pandryshuar. Pastaj përcaktohet rritja që rezulton në vlerën e F, e cila mund të konsiderohet proporcionale me vlerën e derivatit të pjesshëm

(nëse vlera është gjithmonë e njëjtë).

Përkufizimi i derivateve të pjesshëm (10) dhe (11) do të thotë se gjendet një vektor me koordinata dhe, i cili quhet gradient i F dhe shënohet si më poshtë:

Dihet se drejtimi i këtij vektori përkon me drejtimin e rritjes më të madhe të vlerës së F. Drejtimi i kundërt me të është "zbritja më e pjerrët", me fjalë të tjera, rënia më e madhe e vlerës së F.

Pas gjetjes së përbërësve të gradientit, lëvizjet e provës ndalojnë dhe hapat e punës kryhen në drejtim të kundërt me drejtimin e gradientit, dhe madhësia e hapit të jetë sa më e madhe, aq më e madhe është vlera absolute e shkallës vektoriale F. Këto kushtet realizohen nëse vlerat e hapave të punës dhe janë proporcionale me vlerat e marra më parë të derivateve të pjesshme:

ku b është një konstante pozitive.

Pas çdo hapi pune vlerësohet rritja e F. Nëse rezulton negative, atëherë lëvizja është në drejtimin e duhur dhe duhet të lëvizni në të njëjtin drejtim M 0 M 1 më tej. Nëse në pikën M 1 rezultati i matjes tregon këtë, atëherë lëvizjet e punës ndalojnë dhe fillon një seri e re lëvizjesh provë. Në këtë rast, gradienti gradF përcaktohet në një pikë të re M 1 , pastaj lëvizja e punës vazhdon përgjatë drejtimit të ri të gjetur të zbritjes më të pjerrët, d.m.th. përgjatë vijës M 1 M 2, etj. Kjo metodë quhet metoda më e pjerrët e zbritjes/ngritjes më të pjerrët.

Kur sistemi është afër një minimumi, i cili tregohet nga një vlerë e vogël e sasisë

ekziston një kalim në një metodë kërkimi më "të kujdesshme", e ashtuquajtura metoda e gradientit. Ai ndryshon nga metoda më e pjerrët e zbritjes në atë që pas përcaktimit të gradientit gradF, bëhet vetëm një hap pune dhe më pas një seri lëvizjesh provë fillon përsëri në një pikë të re. Kjo metodë e kërkimit siguron një përcaktim më të saktë të minimumit në krahasim me metodën e zbritjes më të pjerrët, ndërsa kjo e fundit ju lejon t'i afroheni shpejt minimumit. Nëse gjatë kërkimit pika M arrin kufirin e zonës së pranueshme dhe të paktën një nga vlerat M 1 , M 2 ndryshon shenjën, metoda ndryshon dhe pika M fillon të lëvizë përgjatë kufirit të zonës.

Efektiviteti i metodës së ngjitjes së pjerrët varet nga zgjedhja e shkallës së variablave dhe lloji i sipërfaqes së përgjigjes. Sipërfaqja me konturet sferike siguron tkurrje të shpejtë në maksimum.

Disavantazhet e metodës së ngjitjes së pjerrët përfshijnë:

1. Kufizimi i ekstrapolimit. Duke lëvizur përgjatë gradientit, ne mbështetemi në ekstrapolimin e derivateve të pjesshëm të funksionit objektiv në lidhje me variablat përkatëse. Sidoqoftë, forma e sipërfaqes së përgjigjes mund të ndryshojë dhe është e nevojshme të ndryshohet drejtimi i kërkimit. Me fjalë të tjera, lëvizja në aeroplan nuk mund të jetë e vazhdueshme.

2. Vështirësi në gjetjen e optimumit global. Metoda është e zbatueshme për të gjetur vetëm optimën lokale.

Vektori i gradientit drejtohet drejt rritjes më të shpejtë të funksionit në një pikë të caktuar. Vektori i kundërt me gradientin -grad(/(x)), quhet anti-gradient dhe drejtohet në drejtim të uljes më të shpejtë të funksionit. Në pikën minimale, gradienti i funksionit është zero. Metodat e rendit të parë, të quajtura edhe metoda gradienti, bazohen në vetitë e gradientit. Nëse nuk ka informacion shtesë, atëherë nga pika fillestare x (0 > është më mirë të shkoni në pikën x (1) , e shtrirë në drejtim të antigradientit - rënia më e shpejtë e funksionit. Zgjedhja e antigradientit -grad ( /(x (^)) në pikë x (tek fitojmë një proces përsëritës të formës

Në formë koordinative, ky proces shkruhet si më poshtë:

Si kriter për ndalimin e procesit iterativ mund të përdoret ose kushti (10.2) ose plotësimi i kushtit për vogëlsinë e gradientit.

Një kriter i kombinuar është gjithashtu i mundur, i cili konsiston në përmbushjen e njëkohshme të kushteve të treguara.

Metodat e gradientit ndryshojnë nga njëra-tjetra në mënyrën se si zgjidhet madhësia e hapit. a Në metodën e hapit konstant, zgjidhet një vlerë konstante hapi për të gjitha përsëritjet. Hap mjaft i vogël a^ siguron që funksioni të ulet, d.m.th. përmbushja e pabarazisë

Megjithatë, kjo mund të çojë në nevojën për të kryer një numër mjaft të madh përsëritjesh për të arritur pikën minimale. Nga ana tjetër, një hap shumë i madh mund të shkaktojë rritjen e funksionit ose të çojë në luhatje rreth pikës minimale. Kërkohen informacione shtesë për të zgjedhur madhësinë e hapit, kështu që metodat me hap të vazhdueshëm përdoren rrallë në praktikë.

Më të besueshme dhe më ekonomike (përsa i përket numrit të përsëritjeve) janë metodat e gradientit me një hap të ndryshueshëm, kur, në varësi të përafrimit të përftuar, madhësia e hapit ndryshon në një farë mënyre. Si shembull i një metode të tillë, merrni parasysh metodën e zbritjes më të pjerrët. Në këtë metodë, në çdo përsëritje, vlera e hapit n* zgjidhet nga kushti i minimumit të funksionit /(x) në drejtim të zbritjes, d.m.th.

Kjo gjendje do të thotë që lëvizja përgjatë antigradientit ndodh për aq kohë sa vlera e funksionit f(x) zvogëlohet. Prandaj, në çdo përsëritje, është e nevojshme të zgjidhet problemi i minimizimit njëdimensional në lidhje me π të funksionit φ(λ) =/(x(/r) - - agrad^x^))). Algoritmi i metodës së zbritjes më të pjerrët është si më poshtë.

• 1. Le të vendosim koordinatat e pikës fillestare x^°, saktësinë e zgjidhjes së përafërt r. Vendosim k = 0.
• 2. Në pikën x (/z) llogarisim vlerën e gradientit grad(/(x (^)).
• 3. Përcaktoni madhësinë e hapit a^ nga minimizimi njëdimensional në lidhje me i të funksionit cp(i).
• 4. Përcaktojmë një përafrim të ri me pikën minimale x (* +1 > sipas formulës (10.4).
• 5. Kontrolloni kushtet për ndalimin e procesit përsëritës. Nëse ata janë të kënaqur, atëherë llogaritjet ndalojnë. Përndryshe, ne vendosim k k+ 1 dhe shkoni në hapin 2.

Në metodën e zbritjes më të pjerrët, drejtimi i lëvizjes nga pika x (*) prek vijën e nivelit në pikën x (* +1) . Trajektorja e zbritjes është zigzag, dhe lidhjet ngjitur zigzag janë ortogonale me njëra-tjetrën. Në të vërtetë, një hap a^ zgjidhet duke minimizuar a funksione ( a). Kusht i domosdoshëm

minimumi i funksionit - = 0. Llogaritja e derivatit

funksion kompleks, marrim kushtin e ortogonalitetit për vektorët e drejtimit të zbritjes në pikat fqinje:

Problemi i minimizimit të funksionit φ(n) mund të reduktohet në problemin e llogaritjes së rrënjës së një funksioni të një ndryshoreje g(a) =

Metodat e gradientit konvergojnë në minimum me shpejtësinë e një progresion gjeometrik për funksione të lëmuara konveks. Funksione të tilla kanë eigenvlerat më të mëdha dhe më të vogla të matricës së derivateve të dyta (matricat Hesse)

ndryshojnë pak nga njëri-tjetri, d.m.th. matrica H(x) është e kushtëzuar mirë. Megjithatë, në praktikë, funksionet e minimizuara shpesh kanë matrica të pakushtëzuara të derivateve të dytë. Vlerat e funksioneve të tilla përgjatë disa drejtimeve ndryshojnë shumë më shpejt se në drejtime të tjera. Shkalla e konvergjencës së metodave të gradientit gjithashtu varet ndjeshëm nga saktësia e llogaritjeve të gradientit. Humbja e saktësisë, e cila zakonisht ndodh në afërsi të pikave minimale, në përgjithësi mund të prishë konvergjencën e procesit të zbritjes së gradientit. Prandaj, metodat e gradientit shpesh përdoren në kombinim me metoda të tjera më efikase në fazën fillestare të zgjidhjes së një problemi. Në këtë rast, pika x(0) është larg nga pika minimale dhe hapat në drejtim të antigradientit bëjnë të mundur arritjen e një rënie të ndjeshme të funksionit.

Nuk ka kufizime në problemin e optimizimit të pakufizuar.

Kujtojmë se gradienti i një funksioni shumëdimensional është një vektor që shprehet analitikisht nga shuma gjeometrike e derivateve të pjesshme

Gradient i funksionit skalar F(X) në një moment ai drejtohet drejt rritjes më të shpejtë të funksionit dhe është ortogonal me vijën e nivelit (sipërfaqet me vlerë konstante F(X), duke kaluar nëpër një pikë X k). Vektori i kundërt me gradientin  antigradient  është i drejtuar në drejtim të uljes më të shpejtë të funksionit F(X). Në pikën ekstreme grad F(X)= 0.

Në metodat e gradientit, lëvizja e një pike gjatë kërkimit të minimumit të funksionit objektiv përshkruhet me formulën përsëritëse.

ku  k  parametri hap i aktivizuar k përsëritja e th përgjatë antigradientit. Për metodat e ngjitjes (kërkimi për maksimumin), duhet të lëvizni përgjatë gradientit.

Variantet e ndryshme të metodave të gradientit ndryshojnë nga njëra-tjetra në mënyrën e zgjedhjes së parametrit të hapit, si dhe duke marrë parasysh drejtimin e lëvizjes në hapin e mëparshëm. Merrni parasysh opsionet e mëposhtme për metodat e gradientit: me një hap konstant, me një parametër hapi të ndryshueshëm (ndarja e hapit), metoda e zbritjes më të pjerrët dhe metoda e gradientit të konjuguar.

Metoda me një parametër hapi konstant. Në këtë metodë, parametri hap është konstant në çdo përsëritje. Shtrohet pyetja: si të zgjedhim praktikisht vlerën e parametrit të hapit? Një parametër hapi mjaft i vogël mund të çojë në një numër të papranueshëm të madh përsëritjesh të nevojshme për të arritur pikën minimale. Nga ana tjetër, një parametër hap që është shumë i madh mund të çojë në tejkalimin e pikës minimale dhe në një proces llogaritës oshilator rreth kësaj pike. Këto rrethana janë disavantazhet e metodës. Meqenëse është e pamundur të merret me mend paraprakisht vlera e pranueshme e parametrit të hapit  k, atëherë bëhet e nevojshme të përdoret metoda e gradientit me një parametër hapi të ndryshueshëm.

Ndërsa i afrohet optimumit, vektori i gradientit zvogëlohet në madhësi, duke u prirur në zero, prandaj, kur  k = gjatësia e hapit konst zvogëlohet gradualisht. Pranë optimumit, gjatësia e vektorit të gradientit tenton në zero. Gjatësia e vektorit ose norma në n-hapësira dimensionale Euklidiane përcaktohet nga formula

, ku n- numri i variablave.

Opsionet për ndalimin e kërkimit për optimumin:

Nga pikëpamja praktike, është më i përshtatshëm të përdoret kriteri i tretë i ndalimit (pasi vlerat e parametrave të projektimit janë me interes), megjithatë, për të përcaktuar afërsinë e pikës ekstreme, duhet të përqendroheni në të dytin kriter. Mund të përdoren disa kritere për të ndaluar procesin e llogaritjes.

Konsideroni një shembull. Gjeni minimumin e funksionit objektiv F(X) = (x 1  2) 2 + (x 2  4) 2 . Zgjidhja e saktë e problemit X*= (2.0; 4.0). Shprehje për derivatet e pjesshme

,
.

Zgjidhni një hap  k = 0.1. Le të kërkojmë nga pika e fillimit X 1 = . Zgjidhja paraqitet në formën e një tabele.

Metoda e gradientit me ndarjen e parametrave të hapit. Në këtë rast, gjatë procesit të optimizimit, parametri i hapit  k zvogëlohet nëse, pas hapit tjetër, funksioni objektiv rritet (kur kërkohet një minimum). Në këtë rast, gjatësia e hapit shpesh ndahet (ndahet) në gjysmë dhe hapi përsëritet nga pika e mëparshme. Kjo siguron një qasje më të saktë ndaj pikës ekstreme.

Metoda më e pjerrët e zbritjes. Metodat e hapave të ndryshueshëm janë më ekonomike për sa i përket numrit të përsëritjeve. Nëse gjatësia optimale e hapit  k përgjatë drejtimit të antigradientit është një zgjidhje për një problem të minimizimit njëdimensional, atëherë kjo metodë quhet metoda më e pjerrët e zbritjes. Në këtë metodë, në çdo përsëritje, zgjidhet problemi i minimizimit njëdimensional:

F(X k+1 )=F(X k   k S k )=min F( k ), S k =  F(X);

 k >0

.

Në këtë metodë lëvizja në drejtim të antigradientit vazhdon derisa të arrihet minimumi i funksionit objektiv (derisa vlera e funksionit objektiv të ulet). Duke përdorur një shembull, le të shqyrtojmë se si funksioni objektiv mund të shkruhet analitikisht në çdo hap në varësi të parametrit të panjohur

Shembull. min F(x 1 , x 2 ) = 2x 1 2 + 4x 2 3 – 3. Pastaj  F(X)= [ 4x 1 ; 12x 2 2 ]. Lëreni pikën X k = , Rrjedhimisht  F(X)= [ 8; 12], F(X k   S k ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. Është e nevojshme të gjendet  që jep minimumin e këtij funksioni.

Algoritmi i zbritjes më të pjerrët (për gjetjen e minimumit)

hapi fillestar. Le të jetë  konstanta e ndalimit. Zgjidhni pikën e fillimit X 1 , vënë k = 1 dhe shkoni në hapin kryesor.

Hapi themelor. Nese nje || gradF(X)||< , pastaj përfundoni kërkimin, përndryshe përcaktoni  F(X k ) dhe gjeni  k  zgjidhja optimale e problemit të minimizimit F(X k   k S k ) në  k  0. Vendos X k +1 = X k   k S k, caktoj k =

k + 1 dhe përsërisni hapin kryesor.

Për të gjetur minimumin e një funksioni të një ndryshoreje në metodën e zbritjes më të pjerrët, mund të përdorni metoda të optimizimit unimodal. Nga një grup i madh metodash, merrni parasysh metodën e dikotomisë (biseksionit) dhe seksionit të artë. Thelbi i metodave të optimizimit unimodal është ngushtimi i intervalit të pasigurisë së vendndodhjes së ekstremumit.

Metoda e dikotomisë (biseksioni)Hapi fillestar. Zgjidhni konstantën e dallueshmërisë  dhe gjatësinë përfundimtare të intervalit të pasigurisë l. Vlera e  duhet të jetë sa më e vogël që të jetë e mundur, megjithatë, duke lejuar dallimin e vlerave të funksionit F( ) dhe F( ) . Le [ a 1 , b 1 ]  intervali fillestar i pasigurisë. Vendos k =

Faza kryesore përbëhet nga një numër i kufizuar përsëritjesh të të njëjtit lloj.

përsëritje k-të.

Hapi 1. Nese nje b k  a k  l, atëherë llogaritja përfundon. Zgjidhje x * = (a k + b k )/2. Përndryshe

,
.

Hapi 2 Nese nje F( k ) < F( k ), vënë a k +1 = a k ; b k +1 =  k. Përndryshe a k +1 =  k dhe b k +1 = b k. Cakto k = k + 1 dhe shkoni në hapin 1.

Metoda e seksionit të artë. Një metodë më efikase se metoda e dikotomisë. Ju lejon të merrni një vlerë të caktuar të intervalit të pasigurisë në më pak përsëritje dhe kërkon më pak llogaritje të funksionit objektiv. Në këtë metodë, pika e re e ndarjes së intervalit të pasigurisë llogaritet një herë. Pika e re vendoset në distancë

 = 0.618034 nga fundi i intervalit.

Algoritmi i raportit të artë

Hapi fillestar. Zgjidhni një gjatësi të kufizuar të pranueshme të intervalit të pasigurisë l > 0. Le [ a 1 , b 1 ]  intervali fillestar i pasigurisë. Vendos  1 = a 1 +(1   )(b 1  a 1 ) dhe  1 = a 1 +  (b 1  a 1 ) , ku  = 0,618 . Llogaritni F( 1 ) dhe F( 1 ) , vënë k = 1 dhe shkoni në hapin kryesor.

Hapi 1. Nese nje b k  a k  l, atëherë përfundojnë llogaritjet x * = (a k + b k )/ 2. Përndryshe, nëse F( k ) > F( k ) , pastaj shkoni në hapin 2; nëse F( k )  F( k ) , shkoni në hapin 3.

Hapi 2 Vendos a k +1 =  k , b k +1 = b k ,  k +1 =  k ,  k +1 = a k +1 +  (b k +1 – a k +1 ). Llogaritni F( k +1 ), shkoni në hapin 4.

Hapi 3 Vendos a k +1 = a k , b k +1 =  k ,  k +1 =  k ,  k +1 = a k +1 + (1   )(b k +1 – a k +1 ). Llogaritni F( k +1 ).

Hapi 4 Cakto k = k + 1, shkoni në hapin 1.

Në përsëritjen e parë, kërkohen dy vlerësime të funksionit, në të gjitha përsëritjet e mëvonshme, vetëm një.

Metoda e gradientit të konjuguar (Fletcher-Reeves). Në këtë metodë, zgjedhja e drejtimit të lëvizjes vazhdon k+ 1 hap merr parasysh ndryshimin e drejtimit në k hap. Vektori i drejtimit të zbritjes është një kombinim linear i drejtimit anti-gradient dhe drejtimit të mëparshëm të kërkimit. Në këtë rast, kur minimizoni funksionet e përroskës (me lugina të ngushta të gjata), kërkimi nuk është pingul me luginën, por përgjatë tij, gjë që ju lejon të arrini shpejt minimumin. Kur kërkoni për një ekstrem duke përdorur metodën e gradientit të konjuguar, koordinatat e pikës llogariten me shprehjen X k +1 = X k   V k +1 , ku V k +1 është një vektor i llogaritur nga shprehja e mëposhtme:

.

Përsëritja e parë zakonisht mbështetet V = 0 dhe kryhet kërkimi kundër gradientit, si në metodën e zbritjes më të pjerrët. Pastaj drejtimi i lëvizjes devijon nga drejtimi i antigradientit, aq më shumë, aq më shumë ndryshon gjatësia e vektorit të gradientit në përsëritjen e fundit. Pas n hapat për të korrigjuar funksionimin e algoritmit ndërmerrni hapin e zakonshëm përgjatë antigradientit.

Algoritmi i metodës së gradientit të konjuguar

Hapi 1. Fut pikën e fillimit X 0 , saktësi  , dimension n.

Hapi 2 Vendos k = 1.

Hapi 3 Vendos vektor V k = 0.

Hapi 4 Llogaritni grad F(X k ).

Hapi 5 Llogaritni vektorin V k +1.

Hapi 6 Kryeni Kërkim Vektori 1D V k +1.

Hapi 7 Nese nje k < n, vënë k = k + 1 dhe shkoni në hapin 4, përndryshe shkoni në hapin 8.

Hapi 8 Nëse gjatësia e vektorit V më pak se , përfundoni kërkimin, përndryshe shkoni në hapin 2.

Metoda e drejtimit të konjuguar është një nga më efektivet në zgjidhjen e problemeve të minimizimit. Metoda në lidhje me kërkimin njëdimensional përdoret shpesh në praktikë në CAD. Megjithatë, duhet theksuar se është i ndjeshëm ndaj gabimeve që ndodhin gjatë procesit të llogaritjes.

Disavantazhet e metodave të gradientit

Në problemet me një numër të madh variablash, është e vështirë ose e pamundur të merren derivatet në formën e funksioneve analitike.

Kur llogariten derivatet duke përdorur skemat e diferencës, gabimi që rezulton, veçanërisht në afërsi të një ekstremi, kufizon mundësitë e një përafrimi të tillë.