بررسی روش های گرادیان در مسائل بهینه سازی ریاضی. روش های گرادیان

روش های گرادیان

روش‌های بهینه‌سازی بدون محدودیت گرادیان فقط از اولین مشتقات تابع هدف استفاده می‌کنند و روش‌های تقریب خطی در هر مرحله هستند، یعنی. تابع هدف در هر مرحله با یک ابر صفحه مماس بر نمودار آن در نقطه فعلی جایگزین می شود.

در مرحله k-ام روش های گرادیان، انتقال از نقطه Xk به نقطه Xk+1 با این رابطه توصیف می شود:

جایی که k اندازه گام است، k بردار در جهت Xk+1-Xk است.

شیب دارترین روش های فرود

برای اولین بار، چنین روشی توسط O. Couchy در قرن 18 مورد توجه و اعمال قرار گرفت. ایده آن ساده است: گرادیان تابع هدف f(X) در هر نقطه بردار است در جهت بیشترین افزایش در مقدار تابع. بنابراین، ضد گرادیان به سمت بیشترین کاهش در تابع هدایت می شود و جهت شیب دارترین نزول است. ضد گرادیان (و گرادیان) متعامد به سطح تراز f(X) در نقطه X است. اگر در (1.2) جهت را معرفی کنیم.

سپس این جهت شیب دارترین نزول در نقطه Xk خواهد بود.

فرمول انتقال از Xk به Xk+1 را دریافت می کنیم:

ضد گرادیان فقط جهت نزول را نشان می دهد، نه اندازه گام را. به طور کلی، یک مرحله حداقل امتیاز نمی دهد، بنابراین روش فرود باید چندین بار اعمال شود. در حداقل نقطه، تمام اجزای گرادیان برابر با صفر هستند.

همه روش های گرادیان از ایده فوق استفاده می کنند و در جزئیات فنی با یکدیگر متفاوت هستند: محاسبه مشتقات با فرمول تحلیلی یا تقریب تفاضل محدود. اندازه گام می تواند ثابت باشد، طبق برخی قوانین تغییر کند یا پس از اعمال روش های بهینه سازی یک بعدی در جهت ضد گرادیان و غیره انتخاب شود. و غیره.

ما به جزئیات نمی پردازیم، زیرا. شیب دارترین روش فرود به طور کلی به عنوان یک روش بهینه سازی جدی توصیه نمی شود.

یکی از معایب این روش این است که به هر نقطه ثابتی از جمله نقطه زین همگرا می شود که نمی تواند راه حل باشد.

اما مهمترین چیز همگرایی بسیار آهسته تندترین نزول در حالت کلی است. نکته اینجاست که فرود به معنای محلی «سریعترین» است. اگر فضای جستجو به شدت دراز باشد ("دره")، سپس ضد گرادیان تقریباً به صورت متعامد به پایین "دره" هدایت می شود، یعنی. بهترین جهت برای رسیدن به حداقل به این معنا، ترجمه مستقیم اصطلاح انگلیسی "steepest descent"، i.e. فرود در امتداد تندترین شیب با وضعیت امور سازگارتر است تا اصطلاح "سریعترین" که در ادبیات تخصصی روسی زبان به کار رفته است. یکی از راه های خروج در این شرایط استفاده از اطلاعاتی است که توسط مشتقات جزئی دوم ارائه می شود. راه دیگر تغییر مقیاس متغیرها است.

شیب مشتق تقریب خطی

روش گرادیان مزدوج فلچر-ریوز

روش گرادیان مزدوج دنباله‌ای از جهت‌های جستجو را می‌سازد که ترکیبی خطی از شیب‌ترین جهت نزول فعلی و جهت‌های جستجوی قبلی هستند، یعنی.

و ضرایب به گونه ای انتخاب می شوند که جهت های جستجو مزدوج شوند. ثابت کرد که

و این یک نتیجه بسیار ارزشمند است که به شما امکان می دهد یک الگوریتم بهینه سازی سریع و کارآمد بسازید.

الگوریتم فلچر-ریوز

1. در X0 محاسبه می شود.

2. در مرحله k ام با استفاده از جستجوی تک بعدی در جهت، حداقل f(X) بدست می آید که نقطه Xk+1 را مشخص می کند.

• 3. f(Xk+1) و را محاسبه کنید.
• 4. جهت از نسبت تعیین می شود:

• 5. پس از تکرار (n+1) -ام (یعنی با k=n)، یک راه اندازی مجدد انجام می شود: X0=Xn+1 فرض می شود و انتقال به مرحله 1 انجام می شود.
• 6. الگوریتم زمانی که متوقف می شود

جایی که یک ثابت دلخواه است.

مزیت الگوریتم فلچر-ریوز این است که نیازی به وارونگی ماتریس ندارد و حافظه کامپیوتر را ذخیره می کند، زیرا به ماتریس های مورد استفاده در روش های نیوتنی نیاز ندارد، اما در عین حال تقریباً به اندازه الگوریتم های شبه نیوتنی کارآمد است. زیرا جهت های جستجو به صورت متقابل مزدوج هستند، سپس تابع درجه دوم در بیش از n مرحله به حداقل می رسد. در حالت کلی، از راه اندازی مجدد استفاده می شود که به شما امکان می دهد نتیجه را دریافت کنید.

الگوریتم فلچر-ریوز به دقت جستجوی یک بعدی حساس است، بنابراین هر گونه خطای گرد کردن ممکن است هنگام استفاده از آن اصلاح شود. همچنین، الگوریتم ممکن است در شرایطی که Hessian دچار شرایط نامناسب می شود، شکست بخورد. الگوریتم هیچ تضمینی برای همگرایی همیشه و همه جا ندارد، اگرچه تمرین نشان می دهد که الگوریتم تقریباً همیشه نتیجه می دهد.

روش های نیوتنی

جهت جستجوی مربوط به شیب دارترین فرود با تقریب خطی تابع هدف همراه است. روش‌هایی که از مشتق‌های دوم استفاده می‌کنند، از تقریب درجه دوم تابع هدف ناشی می‌شوند، یعنی هنگام گسترش تابع در سری تیلور، عبارت‌های مرتبه سوم و بالاتر کنار گذاشته می‌شوند.

ماتریس هسی کجاست

حداقل سمت راست (اگر وجود داشته باشد) در همان مکان حداقل شکل درجه دوم به دست می آید. بیایید یک فرمول برای تعیین جهت جستجو بنویسیم:

حداقل در رسیده است

الگوریتم بهینه سازی که در آن جهت جستجو از این رابطه تعیین می شود، روش نیوتن نامیده می شود و جهت، جهت نیوتن است.

در مسائل یافتن مینیمم یک تابع درجه دوم دلخواه با ماتریس مثبت مشتقات دوم، روش نیوتن بدون توجه به انتخاب نقطه شروع، در یک تکرار راه حلی ارائه می دهد.

طبقه بندی روش های نیوتنی

در واقع، روش نیوتن شامل یک کاربرد واحد جهت نیوتنی برای بهینه سازی تابع درجه دوم است. اگر تابع درجه دوم نباشد، قضیه زیر درست است.

قضیه 1.4. اگر ماتریس هسین یک تابع غیر خطی عمومی f در حداقل نقطه X* مثبت-معین باشد، نقطه شروع به اندازه کافی نزدیک به X* انتخاب شود، و طول گام ها به درستی انتخاب شود، سپس روش نیوتن به X* همگرا می شود. سرعت درجه دوم

روش نیوتن به عنوان روش مرجع در نظر گرفته می شود و تمام روش های بهینه سازی توسعه یافته با آن مقایسه می شوند. با این حال، روش نیوتن فقط با یک ماتریس هسین مثبت-معین و با شرایط خوب کار می کند (تعیین کننده آن باید بطور قابل ملاحظه ای بزرگتر از صفر باشد، به طور دقیق تر، نسبت بزرگترین و کوچکترین مقادیر ویژه باید نزدیک به یک باشد). برای رفع این نقیصه از روش های نیوتنی اصلاح شده استفاده می شود که تا حد امکان از جهت های نیوتنی استفاده می شود و تنها در مواقع لزوم از آنها انحراف می یابد.

اصل کلی اصلاحات روش نیوتن به شرح زیر است: در هر تکرار، ابتدا مقداری ماتریس مثبت-معین "مرتبط" با آن ساخته می شود و سپس با فرمول محاسبه می شود.

از آنجایی که قطعی مثبت است، پس - لزوماً جهت نزول خواهد بود. روند ساخت به گونه ای سازماندهی شده است که در صورت مثبت بودن قطعی، با ماتریس هسین منطبق شود. این رویه ها بر اساس برخی بسط های ماتریس ساخته شده اند.

گروه دیگری از روش‌ها که تقریباً به سرعت روش نیوتن هستند، مبتنی بر تقریب ماتریس هسین با استفاده از تفاوت‌های محدود است، زیرا برای بهینه سازی نیازی به استفاده از مقادیر دقیق مشتقات نیست. این روش ها زمانی مفید هستند که محاسبه تحلیلی مشتقات دشوار یا به سادگی غیرممکن باشد. چنین روش هایی را روش های نیوتنی گسسته می نامند.

کلید اثربخشی روش‌های نوع نیوتنی در نظر گرفتن اطلاعات مربوط به انحنای تابع در حال به حداقل رساندن است، که در ماتریس هسین موجود است و ساخت مدل‌های درجه دوم دقیق محلی از تابع هدف را ممکن می‌سازد. اما امکان جمع آوری و جمع آوری اطلاعات در مورد انحنای یک تابع بر اساس مشاهده تغییر گرادیان در طول تکرارهای نزول وجود دارد.

روشهای متناظر مبتنی بر امکان تقریب انحنای یک تابع غیرخطی بدون تشکیل صریح ماتریس هسی آن را روشهای شبه نیوتنی می نامند.

توجه داشته باشید که هنگام ساخت یک روش بهینه سازی از نوع نیوتنی (شامل شبه نیوتنی) باید احتمال ظهور یک نقطه زینی را در نظر گرفت. در این حالت، بردار بهترین جهت جستجو به جای دور شدن از آن در جهت "پایین" همیشه به نقطه زین هدایت می شود.

روش نیوتن رافسون

این روش شامل استفاده مکرر از جهت نیوتنی در هنگام بهینه سازی توابعی است که درجه دوم نیستند.

فرمول تکراری پایه برای بهینه سازی چند متغیره

در این روش هنگام انتخاب جهت بهینه سازی از رابطه استفاده می شود

طول گام واقعی در جهت نیوتنی غیر عادی پنهان می شود.

از آنجایی که این روش به مقدار تابع هدف در نقطه فعلی نیاز ندارد، گاهی اوقات آن را روش بهینه سازی غیر مستقیم یا تحلیلی می نامند. توانایی او برای تعیین حداقل یک تابع درجه دوم در یک محاسبه در نگاه اول بسیار جذاب به نظر می رسد. با این حال، این "محاسبه واحد" هزینه بر است. اول از همه، لازم است n مشتق جزئی مرتبه اول و n(n+1)/2 - از مرتبه دوم محاسبه شود. علاوه بر این، ماتریس Hessian باید معکوس شود. این در حال حاضر به حدود n3 عملیات محاسباتی نیاز دارد. با همین هزینه، روش‌های جهت مزدوج یا روش‌های گرادیان مزدوج می‌توانند حدود n مرحله داشته باشند، یعنی. تقریباً به همان نتیجه برسد. بنابراین، تکرار روش نیوتن-رافسون در مورد تابع درجه دوم، مزایایی را ارائه نمی دهد.

اگر تابع درجه دوم نباشد، پس

• - جهت اولیه در حال حاضر، به طور کلی، حداقل نقطه واقعی را نشان نمی دهد، به این معنی که تکرارها باید به طور مکرر تکرار شوند.
• - یک پله از طول واحد می تواند به نقطه ای با مقدار بدتر تابع هدف منتهی شود، و اگر مثلاً هسین قطعی نباشد، جستجو می تواند جهت اشتباه را نشان دهد.
• - Hessian می تواند بدشرط شود و معکوس کردن آن را غیرممکن می کند. تعیین جهت برای تکرار بعدی

خود استراتژی تشخیص نمی دهد که جستجو به کدام نقطه ثابت (حداقل، حداکثر، نقطه زینتی) نزدیک می شود، و محاسبه مقادیر تابع هدف، که توسط آن امکان ردیابی اینکه آیا تابع در حال افزایش است یا خیر، انجام نمی شود. بنابراین، همه چیز به این بستگی دارد که کدام نقطه ثابت در منطقه جاذبه، نقطه شروع جستجو است. استراتژی نیوتن-رافسون به ندرت به تنهایی و بدون تغییر در یک نوع یا دیگری مورد استفاده قرار می گیرد.

روش های پیرسون

پیرسون چندین روش را برای تقریب هسین معکوس بدون محاسبه صریح مشتقات دوم، یعنی. با مشاهده تغییرات در جهت ضد گرادیان. در این مورد، جهت های مزدوج به دست می آید. این الگوریتم ها فقط در جزئیات متفاوت هستند. در اینجا مواردی هستند که بیشترین استفاده را در زمینه های کاربردی دارند.

الگوریتم پیرسون شماره 2.

در این الگوریتم، هسین معکوس با ماتریس Hk که در هر مرحله با فرمول محاسبه می شود، تقریب می شود.

یک ماتریس متقارن مثبت - معین دلخواه به عنوان ماتریس اولیه H0 انتخاب می شود.

این الگوریتم پیرسون اغلب منجر به موقعیت‌هایی می‌شود که در آن ماتریس Hk نامشخص می‌شود، یعنی شروع به نوسان می‌کند، بین قطعی مثبت و قطعی غیرمثبت نوسان می‌کند، در حالی که تعیین‌کننده ماتریس نزدیک به صفر است. برای جلوگیری از این وضعیت، لازم است که ماتریس را در هر n مرحله دوباره تنظیم کنید و آن را با H0 برابر کنید.

الگوریتم پیرسون شماره 3.

در این الگوریتم ماتریس Hk+1 از فرمول تعیین می شود

Hk+1 = Hk +

مسیر فرود ایجاد شده توسط الگوریتم مشابه رفتار الگوریتم دیویدون-فلچر-پاول است، اما مراحل کمی کوتاهتر هستند. پیرسون همچنین گونه‌ای از این الگوریتم را با ترتیب مجدد چرخه‌ای ماتریس پیشنهاد کرد.

الگوریتم پروجکتیو نیوتن رافسون

پیرسون ایده الگوریتمی را پیشنهاد کرد که در آن ماتریس از رابطه محاسبه می شود.

H0=R0 که ماتریس R0 همان ماتریس های اولیه در الگوریتم های قبلی است.

وقتی k مضربی از تعداد متغیرهای مستقل n باشد، ماتریس Hk با ماتریس Rk+1 که به عنوان مجموع محاسبه می شود جایگزین می شود.

مقدار Hk(f(Xk+1) - f(Xk)) طرح بردار افزایش گرادیان (f(Xk+1)-f(Xk)) است که متعامد به تمام بردارهای افزایش گرادیان در مراحل قبل است. بعد از هر n مرحله، Rk تقریبی از هسین معکوس H-1 (Xk) است، بنابراین در اصل یک جستجوی نیوتنی (تقریبا) انجام می شود.

روش دیویدون-فلچر-پاول

این روش نام های دیگری دارد - روش متریک متغیر، روش شبه نیوتن، زیرا او از هر دوی این رویکردها استفاده می کند.

روش دیویدون-فلچر-پاول (DFP) بر اساس استفاده از جهت های نیوتنی است، اما نیازی به محاسبه هسین معکوس در هر مرحله ندارد.

جهت جستجو در مرحله k جهت است

که در آن Hi یک ماتریس متقارن مثبت-معین است که در هر مرحله به روز می شود و در حد، برابر با هسین معکوس می شود. ماتریس هویت معمولاً به عنوان ماتریس اولیه H انتخاب می شود. روش تکراری DFT را می توان به صورت زیر نشان داد:

• 1. در مرحله k، یک نقطه Xk و یک ماتریس مثبت- معین Hk وجود دارد.
• 2. به عنوان جهت جستجوی جدید انتخاب کنید

3. جستجوی یک بعدی (معمولاً با درون یابی مکعبی) در امتداد جهت، k به حداقل رساندن تابع را تعیین می کند.

4. متکی است.

5. متکی است.

6. تعیین شده توسط و. اگر Vk یا به اندازه کافی کوچک باشد، این روش خاتمه می یابد.

• 7. Uk = f(Xk+1) - f(Xk) را تنظیم کنید.
• 8. ماتریس Hk طبق فرمول به روز می شود

9. k را یک برابر افزایش دهید و به مرحله 2 برگردید.

اگر خطای محاسبه گرادیان کوچک باشد و ماتریس Hk نامطلوب نشود، این روش در عمل موثر است.

ماتریس Ak همگرایی Hk به G-1 را تضمین می کند، ماتریس Bk قطعیت مثبت Hk+1 را در تمام مراحل تضمین می کند و H0 را در حد حذف می کند.

در مورد تابع درجه دوم

آن ها الگوریتم DFP از جهت های مزدوج استفاده می کند.

بنابراین، روش DFT هم از ایده‌های رویکرد نیوتنی و هم از خواص جهت‌های مزدوج استفاده می‌کند، و هنگام به حداقل رساندن تابع درجه دوم، در بیش از n تکرار همگرا می‌شود. اگر تابعی که بهینه می شود شکلی نزدیک به تابع درجه دوم داشته باشد، روش DFP به دلیل تقریب خوب G-1 (روش نیوتن) کارآمد است. اگر تابع هدف یک فرم کلی داشته باشد، روش DFP به دلیل استفاده از جهت های مزدوج موثر است.

روش های بهینه سازی گرادیان

مسائل بهینه‌سازی با روابط غیرخطی یا محاسباتی سخت که معیار و محدودیت‌های بهینه‌سازی را تعیین می‌کنند، موضوع برنامه‌ریزی غیرخطی هستند. به عنوان یک قاعده، راه‌حل‌های مسائل برنامه‌نویسی غیرخطی را تنها می‌توان با روش‌های عددی با استفاده از فناوری رایانه پیدا کرد. در این میان، متداول‌ترین روش‌های مورد استفاده عبارتند از روش‌های گرادیان (روش‌های آرام‌سازی، گرادیان، شیب‌ترین فرود و صعود)، روش‌های جستجوی قطعی غیر گرادیان (روش‌های اسکن، سیمپلکس و غیره) و روش‌های جستجوی تصادفی. همه این روش ها در تعیین عددی بهینه استفاده می شوند و به طور گسترده در ادبیات تخصصی پوشش داده می شوند.

در حالت کلی، مقدار معیار بهینه سازی آرمی تواند به عنوان یک تابع دیده شود آر(x b xx..., x n)در فضای n بعدی تعریف شده است. از آنجایی که هیچ نمایش گرافیکی بصری از یک فضای n بعدی وجود ندارد، از حالت فضای دو بعدی استفاده خواهیم کرد.

اگر یک آر(ل x 2)مستمر در منطقه د،سپس در اطراف نقطه بهینه M°(xi°، x z°)می توان یک خط بسته در این صفحه رسم کرد که در امتداد آن مقدار آر= ثابت بسیاری از این خطوط وجود دارند که به آنها خطوط مساوی گفته می شود که می توان آنها را در اطراف نقطه بهینه ترسیم کرد (بسته به مرحله

در میان روش های مورد استفاده برای حل مسائل برنامه ریزی غیرخطی، روش های یافتن راه حل های مبتنی بر تجزیه و تحلیل مشتق با توجه به جهت تابع در حال بهینه سازی، جایگاه قابل توجهی را اشغال می کند. اگر در هر نقطه از فضا یک تابع اسکالر متشکل از چندین متغیر مقادیر کاملاً مشخصی به خود بگیرد، در این صورت با یک میدان اسکالر (میدان دما، میدان فشار، میدان چگالی و غیره) روبرو هستیم. میدان برداری (میدان نیروها، سرعت ها و غیره) به روشی مشابه تعریف می شود. ایزوترم ها، ایزوبارها، ایزوکرون ها و غیره. - همه اینها خطوط (سطوح) سطوح مساوی، مقادیر مساوی یک تابع (دما، فشار، حجم و غیره) هستند. از آنجایی که مقدار تابع از نقطه ای به نقطه دیگر در فضا تغییر می کند، تعیین میزان تغییر تابع در فضا، یعنی مشتق در جهت، ضروری می شود.

مفهوم گرادیان به طور گسترده ای در محاسبات مهندسی برای یافتن حداکثر توابع غیر خطی استفاده می شود. روش های گرادیان روش های عددی از نوع جستجو هستند. آنها جهانی هستند و به ویژه در موارد جستجوی حداکثری توابع غیرخطی با محدودیت، و همچنین زمانی که تابع تحلیلی کاملاً ناشناخته است، مؤثر هستند. ماهیت این روش ها تعیین مقادیر متغیرهایی است که با حرکت در امتداد گرادیان (هنگام جستجوی) حداکثر تابع هدف را ارائه می دهند. حداکثر)یا در جهت مخالف (دقیقه).روش‌های گرادیان مختلف در نحوه تعیین حرکت به سمت بهینه با یکدیگر متفاوت هستند. نکته اصلی این است که اگر خطوط در سطوح مساوی باشند R(xu x i)به صورت گرافیکی وابستگی را مشخص کنید R(x\jc؟)،سپس جستجو برای نقطه بهینه می تواند به روش های مختلف انجام شود. به عنوان مثال، یک شبکه روی یک هواپیما بکشید x\، xrبا نشان دادن ارزش ها آردر گره های شبکه (شکل 2.13).

سپس می توانید از میان مقادیر گره ای افراطی انتخاب کنید. این مسیر منطقی نیست، با تعداد زیادی محاسبات همراه است، و دقت پایین است، زیرا بستگی به مرحله دارد و بهینه را می توان بین گره ها قرار داد.

روشهای عددی

مدل های ریاضی شامل روابطی هستند که بر اساس تجزیه و تحلیل نظری فرآیندهای مورد مطالعه یا به دست آمده در نتیجه آزمایشات پردازش (جدول داده ها، نمودارها) گردآوری شده اند. در هر صورت، مدل ریاضی فقط به طور تقریبی فرآیند واقعی را توصیف می کند. بنابراین) مسئله دقت، کفایت مدل از همه مهمتر است. نیاز به تقریب در همان حل معادلات بوجود می آید. تا همین اواخر، مدل های حاوی معادلات دیفرانسیل غیر خطی یا جزئی را نمی توان به صورت تحلیلی حل کرد. همین امر در مورد چندین کلاس از انتگرال های غیر قابل انقباض صدق می کند. با این حال، توسعه روش‌هایی برای تجزیه و تحلیل عددی امکان گسترش گسترده مرزهای احتمالات تحلیل مدل‌های ریاضی، به ویژه با استفاده از رایانه را فراهم کرد.

روش های عددی برای تقریب توابع، حل معادلات دیفرانسیل و سیستم های آنها، ادغام و تمایز، محاسبه عبارات عددی استفاده می شود.

تابع را می توان به صورت تحلیلی، جدول، نمودار تعریف کرد. هنگام انجام تحقیق، یک مشکل رایج، تقریب یک تابع توسط یک عبارت تحلیلی است که شرایط بیان شده را برآورده می کند. این چهار وظیفه را انجام می دهد:

انتخاب نقاط گره‌ای، انجام آزمایش‌ها در مقادیر (سطوح) مشخص متغیرهای مستقل (اگر مرحله تغییر فاکتور اشتباه انتخاب شود، یا از یک ویژگی مشخصه فرآیند مورد مطالعه می‌گذریم، یا طول آن را طولانی می‌کنیم. روش و افزایش پیچیدگی یافتن الگوها)؛

انتخاب توابع تقریبی در قالب چند جمله ای، فرمول های تجربی، بسته به محتوای یک مسئله خاص (باید برای حداکثر ساده سازی توابع تقریبی تلاش کرد).

انتخاب و استفاده از معیارهای تناسب، که بر اساس آن پارامترهای توابع تقریبی یافت می شوند.

برآوردن الزامات یک دقت معین برای انتخاب یک تابع تقریبی.

در مسائل تقریب توابع توسط چند جمله ای ها از سه کلاس استفاده می شود

ترکیب خطی توابع توان (سری تیلور، چند جمله ای لاگرانژ، نیوتن و غیره)؛

ترکیب عملکرد cos nx، w آنها(سری فوریه);

چند جمله ای که توسط توابع تشکیل می شود انقضا(-آگهی).

هنگام یافتن تابع تقریبی، معیارهای مختلفی از تطابق با داده های تجربی استفاده می شود.

هنگام بهینه‌سازی با روش گرادیان، بهینه شی مورد مطالعه در جهت سریع‌ترین افزایش (کاهش) متغیر خروجی جستجو می‌شود. در جهت گرادیان اما قبل از اینکه قدمی در جهت گرادیان بردارید، باید آن را محاسبه کنید. گرادیان را می توان از مدل موجود محاسبه کرد

شبیه سازی چند جمله ای گرادیان دینامیکی

مشتق جزئی با توجه به عامل i کجاست.

i، j، k - بردارهای واحد در جهت محورهای مختصات فضای عامل یا با توجه به نتایج n حرکت آزمایشی در جهت محورهای مختصات.

اگر مدل ریاضی فرآیند آماری به شکل یک چند جمله‌ای خطی باشد که ضرایب رگرسیون b i آن مشتقات جزئی بسط تابع y = f(X) در یک سری تیلور در توان‌های x i هستند، آنگاه بهینه آن است. در جهت گرادیان با یک گام معین h i جستجو کرد:

pkfv n (Ch) \u003d و 1 p 1 + و 2 p 2 + ... + و t p t

جهت بعد از هر مرحله اصلاح می شود.

روش گرادیان، همراه با تغییرات متعدد، روشی رایج و مؤثر برای یافتن بهینه اشیاء مورد مطالعه است. یکی از اصلاحات روش گرادیان را در نظر بگیرید - روش صعود شیب دار.

روش صعود شیب دار یا روش باکس ویلسون، مزایای سه روش - روش گاوس- سیدل، روش گرادیان و روش آزمایش های فاکتوریل کامل (یا کسری) را به عنوان ابزاری برای به دست آوردن یک مدل ریاضی خطی ترکیب می کند. . وظیفه روش صعود تند این است که در جهت سریعترین افزایش (یا کاهش) متغیر خروجی، یعنی در امتداد درجه y (X) گام بردارید. بر خلاف روش گرادیان، جهت اصلاح می شود نه بعد از هر مرحله بعدی، بلکه زمانی که در یک نقطه از یک جهت معین به یک اکستروم جزئی از تابع هدف رسید، همانطور که در روش گاوس-سایدل انجام می شود. در نقطه یک اکسترم نسبی، یک آزمایش فاکتوریل جدید راه اندازی می شود، یک مدل ریاضی تعیین می شود و دوباره یک صعود شیب دار انجام می شود. در روند حرکت به سمت بهینه با این روش، تجزیه و تحلیل آماری نتایج جستجوی میانی به طور منظم انجام می شود. جستجو زمانی خاتمه می یابد که اثرات درجه دوم در معادله رگرسیون قابل توجه باشد. این بدان معنی است که منطقه بهینه رسیده است.

اجازه دهید اصل استفاده از روش های گرادیان را با استفاده از مثال تابعی از دو متغیر شرح دهیم

مشروط به دو شرط اضافی:

این اصل (بدون تغییر) می تواند برای هر تعداد متغیر و همچنین شرایط اضافی اعمال شود. صفحه x 1 , x 2 را در نظر بگیرید (شکل 1). طبق فرمول (8)، هر نقطه مربوط به مقدار مشخصی از F است. در شکل 1، خطوط F = const متعلق به این صفحه با منحنی های بسته اطراف نقطه M *، که در آن F حداقل است، نشان داده شده است. بگذارید در لحظه اولیه مقادیر x 1 و x 2 با نقطه M 0 مطابقت داشته باشند. چرخه محاسبه با یک سری مراحل آزمایشی آغاز می شود. اول، x 1 یک افزایش کوچک داده می شود. در این زمان، مقدار x 2 بدون تغییر است. سپس افزایش حاصل در مقدار F تعیین می شود که می توان آن را متناسب با مقدار مشتق جزئی در نظر گرفت.

(اگر مقدار همیشه یکسان باشد).

تعریف مشتقات جزئی (10) و (11) به این معنی است که بردار با مختصات و پیدا می شود که به آن گرادیان F می گویند و به صورت زیر نشان داده می شود:

مشخص است که جهت این بردار با جهت تندترین افزایش در مقدار F منطبق است. جهت مخالف آن "تندترین نزول" است، به عبارت دیگر، تندترین کاهش در مقدار F است.

پس از یافتن اجزای گرادیان، حرکات آزمایشی متوقف می شود و مراحل کار در جهت مخالف جهت گرادیان انجام می شود و اندازه گام هر چه بیشتر باشد، قدر مطلق درجه بردار F بیشتر می شود. شرایط در صورتی تحقق می یابد که مقادیر مراحل کاری و متناسب با مقادیر بدست آمده قبلی مشتقات جزئی باشد:

جایی که b ثابت مثبت است.

پس از هر مرحله کار، افزایش F تخمین زده می شود. اگر منفی شد، حرکت در جهت درست است و باید در همان جهت M 0 M 1 حرکت کنید. اگر در نقطه M 1 نتیجه اندازه گیری آن را نشان دهد، حرکات کاری متوقف می شود و یک سری حرکات آزمایشی جدید آغاز می شود. در این مورد، گرادیان gradF در یک نقطه جدید M 1 تعیین می شود، سپس حرکت کار در امتداد جهت جدید یافت شده از شیب دارترین نزول، یعنی در امتداد خط M 1 M 2 و غیره ادامه می یابد. این روش شیب دارترین روش فرود/شیب ترین صعود نامیده می شود.

هنگامی که سیستم نزدیک به حداقل است، که با مقدار کمی از کمیت نشان داده می شود

تغییری به روش جستجوی محتاطانه تر، به اصطلاح روش گرادیان وجود دارد. تفاوت آن با شیب دارترین روش فرود در این است که پس از تعیین گرادیان gradF، تنها یک مرحله کاری انجام می شود و سپس یک سری حرکات آزمایشی دوباره در یک نقطه جدید شروع می شود. این روش جستجو در مقایسه با شیب دارترین روش فرود، تعیین دقیق تری از حداقل ها را فراهم می کند، در حالی که روش دوم به شما امکان می دهد به سرعت به حداقل ها نزدیک شوید. اگر در حین جستجو نقطه M به مرز ناحیه مجاز برسد و حداقل یکی از مقادیر M 1 , M 2 تغییر علامت دهد، روش تغییر می کند و نقطه M در امتداد مرز منطقه شروع به حرکت می کند.

اثربخشی روش صعود تند به انتخاب مقیاس متغیرها و نوع سطح پاسخ بستگی دارد. سطح با خطوط کروی انقباض سریع تا حد مطلوب را تضمین می کند.

معایب روش صعود شیب دار عبارتند از:

1. محدودیت برون یابی. با حرکت در امتداد گرادیان، بر برون یابی مشتقات جزئی تابع هدف با توجه به متغیرهای مربوطه تکیه می کنیم. با این حال، شکل سطح پاسخ ممکن است تغییر کند و لازم است جهت جستجو تغییر کند. به عبارت دیگر، حرکت در هواپیما نمی تواند پیوسته باشد.

2. مشکل در یافتن بهینه جهانی. این روش فقط برای یافتن بهینه محلی قابل استفاده است.

بردار گرادیان به سمت سریعترین افزایش تابع در یک نقطه معین هدایت می شود. بردار مخالف گرادیان -grad(/(x))، ضد گرادیان نامیده می شود و در جهت سریعترین کاهش تابع هدایت می شود. در حداقل نقطه، گرادیان تابع صفر است. روش های مرتبه اول که روش های گرادیان نیز نامیده می شوند، بر اساس ویژگی های گرادیان هستند. اگر اطلاعات اضافی وجود نداشته باشد، از نقطه شروع x (0 > بهتر است به نقطه x (1) بروید، در جهت ضد گرادیان قرار دارد - سریعترین کاهش در تابع. انتخاب ضد گرادیان -grad ( /(x (^)) در نقطه x (بهما یک فرآیند تکراری از فرم را به دست می آوریم

به صورت مختصات، این فرآیند به صورت زیر نوشته می شود:

به عنوان معیاری برای توقف فرآیند تکراری، می توان از شرط (10.2) یا تحقق شرط برای کوچک بودن گرادیان استفاده کرد.

یک معیار ترکیبی نیز امکان پذیر است که شامل تحقق همزمان شرایط ذکر شده است.

روش های گرادیان در نحوه انتخاب اندازه گام با یکدیگر متفاوت هستند. آدر روش گام ثابت، مقداری گام ثابت برای همه تکرارها انتخاب می شود. قدم خیلی کوچک a^تضمین می کند که عملکرد کاهش می یابد، یعنی. تحقق نابرابری

با این حال، این ممکن است منجر به نیاز به انجام تعداد کافی تکرار برای رسیدن به حداقل نقطه شود. از طرف دیگر، یک پله بیش از حد بزرگ می تواند باعث رشد تابع یا نوسانات در اطراف نقطه حداقل شود. برای انتخاب اندازه گام به اطلاعات بیشتری نیاز است، بنابراین روش هایی با گام ثابت به ندرت در عمل استفاده می شوند.

قابل اعتمادتر و مقرون به صرفه تر (از نظر تعداد تکرار) روش های گرادیان با گام متغیر هستند، زمانی که بسته به تقریب به دست آمده، اندازه گام به نوعی تغییر می کند. به عنوان نمونه ای از چنین روشی، شیب دارترین روش فرود را در نظر بگیرید. در این روش، در هر تکرار، مقدار گام n* از شرط مینیمم تابع /(x) در جهت نزول انتخاب می شود، یعنی.

این شرط به این معنی است که حرکت در امتداد ضد گرادیان تا زمانی رخ می دهد که مقدار تابع f(x) کاهش یابد. بنابراین، در هر تکرار، حل مشکل کمینه سازی یک بعدی با توجه به π تابع φ(λ) =/(x(/r) - - agrad^x^)) ضروری است). الگوریتم روش شیب دارترین فرود به شرح زیر است.

• 1. اجازه دهید مختصات نقطه اولیه x^°، دقت جواب تقریبی r را تنظیم کنیم. ک = 0.
• 2. در نقطه x (/z) مقدار گرادیان grad(/(x (^)) را محاسبه می کنیم.
• 3. اندازه گام را تعیین کنید a^با کمینه سازی یک بعدی نسبت به i تابع cp(i).
• 4. ما یک تقریب جدید برای حداقل نقطه x تعریف می کنیم (* +1 > طبق فرمول (10.4).
• 5. شرایط توقف فرآیند تکراری را بررسی کنید. اگر راضی باشند، محاسبات متوقف می شود. در غیر این صورت قرار می دهیم kk+ 1 و به مرحله 2 بروید.

در روش شیب دارترین فرود، جهت حرکت از نقطه x (*) خط تراز را در نقطه x (* +1) لمس می کند. مسیر فرود زیگزاگی است و پیوندهای زیگزاگی مجاور متعامد یکدیگر هستند. در واقع یک قدم a^با کمینه سازی انتخاب می شود آکارکرد ( آ). شرط لازم

حداقل تابع - = 0. محاسبه مشتق

تابع مختلط، شرط متعامد بردارهای جهت نزول در نقاط همسایه را به دست می آوریم:

مسئله کمینه سازی تابع φ(n) را می توان به مسئله محاسبه ریشه تابع یک متغیر تقلیل داد. g(a) =

روش‌های گرادیان با سرعت پیشروی هندسی برای توابع محدب صاف به حداقل می‌رسند. چنین توابعی دارای بزرگترین و کوچکترین مقادیر ویژه ماتریس مشتقات دوم (ماتریس هس) هستند.

تفاوت کمی با یکدیگر دارند، یعنی ماتریس H(x) به خوبی شرطی شده است. با این حال، در عمل، توابع کمینه شده اغلب دارای ماتریس های نامشخص مشتقات دوم هستند. مقادیر چنین توابعی در امتداد برخی جهات بسیار سریعتر از جهات دیگر تغییر می کند. میزان همگرایی روش های گرادیان نیز به میزان قابل توجهی به دقت محاسبات گرادیان بستگی دارد. از دست دادن دقت، که معمولاً در مجاورت حداقل نقاط رخ می دهد، به طور کلی می تواند همگرایی روند نزول گرادیان را از بین ببرد. بنابراین، روش‌های گرادیان اغلب در ترکیب با سایر روش‌های کارآمدتر در مرحله اولیه حل یک مسئله استفاده می‌شوند. در این حالت، نقطه x(0) از نقطه حداقل فاصله دارد و گام‌هایی در جهت ضد گرادیان، کاهش قابل توجهی در تابع را ممکن می‌سازد.

هیچ محدودیتی در مسئله بهینه سازی بدون محدودیت وجود ندارد.

به یاد بیاورید که گرادیان یک تابع چند بعدی، برداری است که به صورت تحلیلی با مجموع هندسی مشتقات جزئی بیان می شود.

گرادیان تابع اسکالر اف(ایکس) در نقطه ای به سمت سریعترین افزایش تابع هدایت می شود و متعامد به خط تراز (سطوح با مقدار ثابت) است. اف(ایکس), عبور از یک نقطه ایکس ک). بردار مخالف گرادیان  ضد گرادیان  در جهت سریعترین کاهش تابع هدایت می شود. اف(ایکس). در نقطه افراطی درجه اف(ایکس)= 0.

در روش‌های گرادیان، حرکت یک نقطه هنگام جستجوی حداقل تابع هدف با فرمول تکراری توصیف می‌شود.

جایی که  ک  پارامتر مرحله روشن است کتکرار در امتداد ضد گرادیان. برای روش های صعود (جستجوی حداکثر)، باید در امتداد شیب حرکت کنید.

انواع مختلف روش های گرادیان در نحوه انتخاب پارامتر گام و همچنین در نظر گرفتن جهت حرکت در مرحله قبل با یکدیگر متفاوت هستند. گزینه های زیر را برای روش های گرادیان در نظر بگیرید: با گام ثابت، با پارامتر گام متغیر (تقسیم گام)، روش شیب دارترین نزول و روش گرادیان مزدوج.

روش با پارامتر گام ثابت.در این روش پارامتر گام در هر تکرار ثابت است. این سوال مطرح می شود: چگونه عملاً مقدار پارامتر step را انتخاب کنیم؟ یک پارامتر گام به اندازه کافی کوچک می تواند منجر به تعداد غیرقابل قبولی زیادی از تکرارهای مورد نیاز برای رسیدن به حداقل نقطه شود. از سوی دیگر، یک پارامتر پله ای که خیلی بزرگ است می تواند منجر به بیش از حد نقطه حداقل و یک فرآیند محاسباتی نوسانی در اطراف این نقطه شود. این شرایط از معایب روش است. از آنجایی که نمی توان از قبل مقدار قابل قبول پارامتر step را حدس زد  ک، سپس استفاده از روش گرادیان با پارامتر گام متغیر ضروری می شود.

با نزدیک شدن به حد مطلوب، بردار گرادیان از نظر قدر کاهش می یابد و به سمت صفر گرایش پیدا می کند، بنابراین، زمانی که  ک = طول گام const به تدریج کاهش می یابد. در نزدیکی بهینه، طول بردار گرادیان به صفر میل می کند. طول برداری یا هنجار در nفضای اقلیدسی بعدی با فرمول تعیین می شود

، جایی که n- تعداد متغیرها

گزینه هایی برای توقف جستجوی بهینه:

از نقطه نظر عملی، استفاده از معیار توقف 3 راحت تر است (از آنجایی که مقادیر پارامترهای طراحی مورد توجه هستند)، با این حال، برای تعیین نزدیکی نقطه افراطی، باید بر روی 2 تمرکز کنید. معیار چندین معیار را می توان برای توقف فرآیند محاسباتی مورد استفاده قرار داد.

یک مثال را در نظر بگیرید. حداقل تابع هدف را پیدا کنید اف(ایکس) = (ایکس 1  2) 2 + (ایکس 2  4) 2 . راه حل دقیق مشکل X*= (2.0; 4.0).عبارات برای مشتقات جزئی

,
.

یک مرحله را انتخاب کنید  ک = 0.1. بیایید از نقطه شروع جستجو کنیم ایکس 1 = . راه حل در قالب یک جدول ارائه شده است.

روش گرادیان با تقسیم پارامتر گام.در این حالت، در طول فرآیند بهینه‌سازی، اگر پس از مرحله بعدی، تابع هدف (هنگام جستجوی حداقل) افزایش یابد، پارامتر گام  k کاهش می‌یابد. در این حالت، طول گام اغلب به نصف تقسیم می شود و مرحله از نقطه قبلی تکرار می شود. این رویکرد دقیق تری به نقطه اکسترموم ارائه می دهد.

شیب دارترین روش فرود.روش های گام متغیر از نظر تعداد تکرار مقرون به صرفه تر هستند. اگر طول گام بهینه  k در امتداد جهت ضد گرادیان راه‌حلی برای مسئله کمینه‌سازی یک بعدی باشد، این روش شیب‌دارترین روش فرود نامیده می‌شود. در این روش در هر تکرار مشکل کمینه سازی یک بعدی حل می شود:

F(X k+1 )=F(X ک   ک اس ک )= دقیقه F( ک )، اس ک =  F(X);

 ک >0

.

در این روش حرکت در جهت ضد گرادیان تا رسیدن به حداقل تابع هدف (تا زمانی که مقدار تابع هدف کاهش یابد) ادامه می یابد. با استفاده از یک مثال، بیایید در نظر بگیریم که تابع هدف چگونه می تواند به صورت تحلیلی در هر مرحله بسته به پارامتر مجهول نوشته شود.

مثال. دقیقه اف(ایکس 1 , ایکس 2 ) = 2ایکس 1 2 + 4ایکس 2 3 – 3. سپس  اف(ایکس)= [ 4ایکس 1 ; 12ایکس 2 2 ]. بگذارید نکته ایکس ک = , در نتیجه  اف(ایکس)= [ 8; 12], اف(ایکس ک   اس ک ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. باید  را پیدا کرد که حداقل این تابع را ارائه می دهد.

الگوریتم شیب دارترین فرود (برای یافتن حداقل)

مرحله اولیه. اجازه دهید  ثابت توقف باشد. نقطه شروع را انتخاب کنید ایکس 1 ، قرار دادن ک = 1 و به مرحله اصلی بروید.

مرحله اساسی. اگر یک || gradF(ایکس)||< ، سپس جستجو را پایان دهید، در غیر این صورت تعیین کنید  اف(ایکس ک ) و پیدا کنید  ک  راه حل بهینه مسئله کمینه سازی اف(ایکس ک   ک اس ک ) در  ک  0. قرار دادن ایکس ک +1 = ایکس ک   ک اس ک، اختصاص دهید ک =

ک + 1 و مرحله اصلی را تکرار کنید.

برای یافتن مینیمم تابع یک متغیر در روش شیب دارترین نزول، می توانید از روش های بهینه سازی تک وجهی استفاده کنید. از گروه بزرگی از روش ها، روش دوگانگی (نصف) و مقطع طلایی را در نظر بگیرید. ماهیت روش‌های بهینه‌سازی یک‌وجهی، محدود کردن فاصله عدم قطعیت مکان اکسترموم است.

روش دوتایی (نصف دوگانه)مرحله اولیهثابت تمایز  و طول نهایی بازه عدم قطعیت را انتخاب کنید ل. مقدار  باید تا حد امکان کوچک باشد، با این حال، اجازه می دهد تا مقادیر تابع را متمایز کنید اف( ) و اف( ) . اجازه دهید [ آ 1 , ب 1 ]  فاصله عدم قطعیت اولیه. قرار دادن ک =

مرحله اصلی شامل تعداد محدودی از تکرارها از همان نوع است.

تکرار k-ام.

مرحله 1.اگر یک ب ک  آ ک  ل، سپس محاسبات به پایان می رسد. راه حل ایکس * = (آ ک + ب ک )/2. در غیر این صورت

,
.

گام 2اگر یک اف( ک ) < اف( ک ), قرار دادن آ ک +1 = آ ک ; ب ک +1 =  ک. در غیر این صورت آ ک +1 =  کو ب ک +1 = ب ک. اختصاص دهید ک = ک + 1 و به مرحله 1 بروید.

روش مقطع طلاییروشی کارآمدتر از روش دوگانگی. به شما امکان می دهد مقدار معینی از فاصله عدم قطعیت را در تکرارهای کمتری بدست آورید و به محاسبات کمتر تابع هدف نیاز دارد. در این روش نقطه تقسیم جدید بازه عدم قطعیت یک بار محاسبه می شود. نقطه جدید در فاصله ای قرار می گیرد

 = 0.618034 از انتهای بازه.

الگوریتم نسبت طلایی

مرحله اولیهیک طول محدود قابل قبول از بازه عدم قطعیت را انتخاب کنید ل > 0. اجازه دهید [ آ 1 , ب 1 ]  فاصله عدم قطعیت اولیه. قرار دادن  1 = آ 1 +(1   )(ب 1  آ 1 ) و  1 = آ 1 +  (ب 1  آ 1 ) ، جایی که  = 0,618 . محاسبه اف( 1 ) و اف( 1 ) ، قرار دادن ک = 1 و به مرحله اصلی بروید.

مرحله 1.اگر یک ب ک  آ ک  ل، سپس محاسبات به پایان می رسد ایکس * = (آ ک + ب ک )/ 2. در غیر این صورت، اگر اف( ک ) > اف( ک ) ، سپس به مرحله 2 بروید. اگر اف( ک )  اف( ک ) ، به مرحله 3 بروید.

گام 2قرار دادن آ ک +1 =  ک , ب ک +1 = ب ک ,  ک +1 =  ک ,  ک +1 = آ ک +1 +  (ب ک +1 – آ ک +1 ). محاسبه اف( ک +1 ), به مرحله 4 بروید

مرحله 3قرار دادن آ ک +1 = آ ک , ب ک +1 =  ک ,  ک +1 =  ک ,  ک +1 = آ ک +1 + (1   )(ب ک +1 – آ ک +1 ). محاسبه اف( ک +1 ).

مرحله 4اختصاص دهید ک = ک + 1، به مرحله 1 بروید.

در اولین تکرار، دو ارزیابی از تابع مورد نیاز است، در تمام تکرارهای بعدی، فقط یک ارزیابی.

روش گرادیان مزدوج (فلچر-ریوز).در این روش انتخاب جهت حرکت بر روی ک+ 1 مرحله تغییر جهت را در نظر می گیرد کگام. بردار جهت نزول ترکیبی خطی از جهت ضد گرادیان و جهت جستجوی قبلی است. در این مورد، هنگام به حداقل رساندن عملکردهای دره (با فرورفتگی های باریک و باریک)، جستجو عمود بر دره نیست، بلکه در امتداد آن است که به شما امکان می دهد به سرعت به حداقل برسید. هنگام جستجوی یک اکسترموم با استفاده از روش گرادیان مزدوج، مختصات نقطه با عبارت محاسبه می شود. ایکس ک +1 = ایکس ک   V ک +1 ، جایی که V ک +1 یک بردار است که با عبارت زیر محاسبه می شود:

.

اولین تکرار معمولا متکی است V = 0 و جستجوی ضد گرادیان انجام می شود، مانند شیب ترین روش فرود. سپس جهت حرکت از جهت ضد گرادیان منحرف می شود، هر چه طول بردار گرادیان در آخرین تکرار بیشتر تغییر کند. بعد از nمراحل اصلاح عملکرد الگوریتم گام معمولی در امتداد ضد گرادیان را بردارید.

الگوریتم روش گرادیان مزدوج

مرحله 1.نقطه شروع را وارد کنید ایکس 0 ، دقت  ، بعد، ابعاد، اندازه n.

گام 2قرار دادن ک = 1.

مرحله 3بردار را قرار دهید V ک = 0.

مرحله 4محاسبه درجه اف(ایکس ک ).

مرحله 5محاسبه بردار V ک +1.

مرحله 6جستجوی برداری 1 بعدی را انجام دهید V ک +1.

مرحله 7اگر یک ک < n، قرار دادن ک = ک + 1 و به مرحله 4 بروید در غیر این صورت به مرحله 8 بروید.

مرحله 8اگر طول بردار Vکمتر از ، جستجو را پایان دهید، در غیر این صورت به مرحله 2 بروید.

روش جهت مزدوج یکی از موثرترین روشها در حل مسائل کمینه سازی است. این روش در ارتباط با جستجوی یک بعدی اغلب در عمل در CAD استفاده می شود. البته لازم به ذکر است که نسبت به خطاهایی که در فرآیند محاسبات رخ می دهد حساس است.

معایب روش های گرادیان

در مسائل با تعداد زیادی متغیر، به دست آوردن مشتقات در قالب توابع تحلیلی دشوار یا غیرممکن است.

هنگام محاسبه مشتقات با استفاده از طرح‌های تفاوت، خطای حاصل، به‌ویژه در مجاورت یک امتداد، احتمال چنین تقریبی را محدود می‌کند.