गणितीय अनुकूलन समस्याओं में ग्रेडिएंट विधियों की समीक्षा। क्रमिक तरीके

क्रमिक तरीके

ग्रेडिएंट अप्रतिबंधित अनुकूलन विधियाँ उद्देश्य फ़ंक्शन के केवल पहले व्युत्पन्न का उपयोग करती हैं और प्रत्येक चरण पर रैखिक सन्निकटन विधियाँ हैं, अर्थात। प्रत्येक चरण पर वस्तुनिष्ठ फ़ंक्शन को वर्तमान बिंदु पर उसके ग्राफ़ के स्पर्शरेखा हाइपरप्लेन द्वारा प्रतिस्थापित किया जाता है।

ग्रेडिएंट विधियों के kवें चरण में, बिंदु Xk से बिंदु Xk+1 तक संक्रमण को संबंध द्वारा वर्णित किया गया है:

जहां k चरण का आकार है, k दिशा Xk+1-Xk में वेक्टर है।

तीव्रतम अवतरण विधियाँ

इस पद्धति पर सबसे पहले 18वीं शताब्दी में ओ. कॉची द्वारा विचार और प्रयोग किया गया था। इसका विचार सरल है: किसी भी बिंदु पर उद्देश्य फ़ंक्शन f(X) का ग्रेडिएंट फ़ंक्शन के मूल्य में सबसे बड़ी वृद्धि की दिशा में एक वेक्टर है। नतीजतन, एंटीग्रेडिएंट को फ़ंक्शन में सबसे बड़ी कमी की दिशा में निर्देशित किया जाएगा और यह सबसे तेज गिरावट की दिशा है। एंटीग्रेडिएंट (और ग्रेडिएंट) बिंदु

तो यह बिंदु Xk पर सबसे तीव्र ढलान की दिशा होगी।

हमें Xk से Xk+1 में संक्रमण का सूत्र प्राप्त होता है:

एंटीग्रेडिएंट केवल वंश की दिशा देता है, लेकिन कदम का आकार नहीं। सामान्य तौर पर, एक कदम न्यूनतम अंक नहीं देता है, इसलिए वंश प्रक्रिया को कई बार लागू किया जाना चाहिए। न्यूनतम बिंदु पर, सभी ग्रेडिएंट घटक शून्य के बराबर हैं।

सभी ग्रेडिएंट विधियां बताए गए विचार का उपयोग करती हैं और तकनीकी विवरण में एक-दूसरे से भिन्न होती हैं: एक विश्लेषणात्मक सूत्र या परिमित-अंतर सन्निकटन का उपयोग करके डेरिवेटिव की गणना; चरण का आकार स्थिर हो सकता है, कुछ नियमों के अनुसार बदल सकता है, या एंटीग्रेडिएंट दिशा में एक-आयामी अनुकूलन विधियों को लागू करने के बाद चुना जा सकता है, आदि। और इसी तरह।

हम विस्तार में नहीं जाएंगे, क्योंकि... गंभीर अनुकूलन प्रक्रिया के रूप में सबसे तीव्र अवतरण विधि की आमतौर पर अनुशंसा नहीं की जाती है।

इस पद्धति का एक नुकसान यह है कि यह काठी बिंदु सहित किसी भी स्थिर बिंदु पर परिवर्तित हो जाता है, जो कोई समाधान नहीं हो सकता है।

लेकिन सबसे महत्वपूर्ण बात सामान्य मामले में तीव्रतम अवतरण का बहुत धीमा अभिसरण है। मुद्दा यह है कि स्थानीय अर्थों में अवतरण "सबसे तेज़" है। यदि खोज हाइपरस्पेस दृढ़ता से लम्बा ("खड्ड") है, तो एंटीग्रेडिएंट को "खड्ड" के नीचे लगभग ओर्थोगोनल रूप से निर्देशित किया जाता है, यानी। न्यूनतम प्राप्त करने के लिए सर्वोत्तम दिशा। इस अर्थ में, अंग्रेजी शब्द "स्टीपेस्ट डिसेंट" का सीधा अनुवाद, यानी। रूसी भाषा के विशिष्ट साहित्य में अपनाए गए शब्द "सबसे तेज़" की तुलना में सबसे तीव्र ढलान के साथ उतरना मामलों की स्थिति के साथ अधिक सुसंगत है। इस स्थिति से बाहर निकलने का एक तरीका दूसरे आंशिक डेरिवेटिव द्वारा प्रदान की गई जानकारी का उपयोग करना है। दूसरा तरीका चरों के पैमाने को बदलना है।

रैखिक सन्निकटन व्युत्पन्न ढाल

फ्लेचर-रीव्स संयुग्म ग्रेडिएंट विधि

संयुग्मित ढाल विधि में, खोज दिशाओं का एक अनुक्रम बनाया जाता है, जो कि तीव्रतम अवतरण की वर्तमान दिशा और पिछली खोज दिशाओं का रैखिक संयोजन होता है, अर्थात।

इसके अलावा, गुणांकों को चुना जाता है ताकि खोज दिशाओं को संयुग्मित बनाया जा सके। ये बात साबित हो चुकी है

और यह एक बहुत ही मूल्यवान परिणाम है जो आपको एक तेज़ और प्रभावी अनुकूलन एल्गोरिदम बनाने की अनुमति देता है।

फ्लेचर-रीव्स एल्गोरिदम

1. X0 में गणना की जाती है।

2. kवें चरण में, दिशा में एक-आयामी खोज का उपयोग करके, न्यूनतम f(X) पाया जाता है, जो बिंदु Xk+1 निर्धारित करता है।

• 3. f(Xk+1) और गणना की जाती है।
• 4. रिश्ते से तय होती है दिशा:

• 5. (n+1)वें पुनरावृत्ति के बाद (यानी जब k=n), एक पुनरारंभ किया जाता है: X0=Xn+1 मान लिया जाता है और चरण 1 में संक्रमण किया जाता है।
• 6. एल्गोरिदम कब रुकता है

एक मनमाना स्थिरांक कहां है.

फ्लेचर-रीव्स एल्गोरिदम का लाभ यह है कि इसमें मैट्रिक्स व्युत्क्रम की आवश्यकता नहीं होती है और यह कंप्यूटर मेमोरी को बचाता है, क्योंकि इसे न्यूटोनियन तरीकों में उपयोग किए जाने वाले मैट्रिक्स की आवश्यकता नहीं होती है, लेकिन साथ ही यह लगभग अर्ध-न्यूटोनियन एल्गोरिदम के समान ही कुशल है। क्योंकि खोज दिशाएँ परस्पर संयुग्मित हैं, तो द्विघात फ़ंक्शन को n से अधिक चरणों में न्यूनतम नहीं किया जाएगा। सामान्य स्थिति में, पुनरारंभ का उपयोग किया जाता है, जो आपको परिणाम प्राप्त करने की अनुमति देता है।

फ्लेचर-रीव्स एल्गोरिदम एक-आयामी खोज की सटीकता के प्रति संवेदनशील है, इसलिए इसका उपयोग होने वाली किसी भी गोलाई त्रुटियों को खत्म करने के लिए किया जाना चाहिए। इसके अतिरिक्त, एल्गोरिदम उन स्थितियों में विफल हो सकता है जहां हेसियन खराब स्थिति में हो जाता है। एल्गोरिदम में हमेशा और हर जगह अभिसरण की कोई गारंटी नहीं है, हालांकि अभ्यास से पता चलता है कि एल्गोरिदम लगभग हमेशा परिणाम उत्पन्न करता है।

न्यूटोनियन तरीके

तीव्रतम अवतरण के अनुरूप खोज दिशा उद्देश्य फ़ंक्शन के रैखिक सन्निकटन से जुड़ी है। दूसरे डेरिवेटिव का उपयोग करने वाली विधियाँ वस्तुनिष्ठ फ़ंक्शन के द्विघात सन्निकटन से उत्पन्न हुईं, अर्थात, टेलर श्रृंखला में फ़ंक्शन का विस्तार करते समय, तीसरे और उच्च क्रम के शब्दों को छोड़ दिया जाता है।

हेसियन मैट्रिक्स कहां है.

दायीं ओर का न्यूनतम (यदि वह मौजूद है) उसी स्थान पर प्राप्त होता है जहां द्विघात रूप का न्यूनतम होता है। आइए खोज दिशा निर्धारित करने का सूत्र लिखें:

न्यूनतम पर पहुंच गया है

एक अनुकूलन एल्गोरिथ्म जिसमें खोज की दिशा इस संबंध से निर्धारित की जाती है, न्यूटन की विधि कहलाती है, और दिशा को न्यूटोनियन दिशा कहा जाता है।

दूसरे डेरिवेटिव के सकारात्मक मैट्रिक्स के साथ एक मनमाना द्विघात फ़ंक्शन का न्यूनतम खोजने की समस्याओं में, न्यूटन की विधि प्रारंभिक बिंदु की पसंद की परवाह किए बिना, एक पुनरावृत्ति में समाधान देती है।

न्यूटोनियन विधियों का वर्गीकरण

न्यूटन की विधि में एक द्विघात फ़ंक्शन को अनुकूलित करने के लिए एक बार न्यूटोनियन दिशा को लागू करना शामिल है। यदि फलन द्विघात नहीं है, तो निम्नलिखित प्रमेय सत्य है।

प्रमेय 1.4. यदि न्यूनतम बिंदु दर।

न्यूटन की विधि को एक संदर्भ विधि माना जाता है; सभी विकसित अनुकूलन प्रक्रियाओं की तुलना इसके साथ की जाती है। हालाँकि, न्यूटन की विधि केवल एक सकारात्मक निश्चित और अच्छी तरह से वातानुकूलित हेसियन मैट्रिक्स के लिए कुशल है (इसका निर्धारक शून्य से काफी अधिक होना चाहिए, या अधिक सटीक रूप से, सबसे बड़े और सबसे छोटे eigenvalues ​​​​का अनुपात एक के करीब होना चाहिए)। इस कमी को दूर करने के लिए, संशोधित न्यूटोनियन तरीकों का उपयोग किया जाता है, जब भी संभव हो न्यूटोनियन दिशाओं का उपयोग किया जाता है और केवल आवश्यक होने पर ही उनसे विचलन किया जाता है।

न्यूटन की विधि के संशोधनों का सामान्य सिद्धांत इस प्रकार है: प्रत्येक पुनरावृत्ति पर, पहले एक निश्चित सकारात्मक निश्चित मैट्रिक्स "संबद्ध" का निर्माण किया जाता है, और फिर सूत्र का उपयोग करके गणना की जाती है

चूँकि यह सकारात्मक रूप से निश्चित है, तो - अवतरण की दिशा अवश्य ही होगी। निर्माण प्रक्रिया को इस प्रकार व्यवस्थित किया गया है कि यदि यह सकारात्मक निश्चित है तो यह हेसियन मैट्रिक्स के साथ मेल खाता है। ये प्रक्रियाएँ कुछ मैट्रिक्स अपघटनों पर आधारित हैं।

विधियों का एक अन्य समूह, व्यावहारिक रूप से न्यूटन की विधि से गति में कमतर नहीं, परिमित अंतरों का उपयोग करके हेसियन मैट्रिक्स के सन्निकटन पर आधारित है, क्योंकि अनुकूलन के लिए डेरिवेटिव के सटीक मानों का उपयोग करना आवश्यक नहीं है। ये विधियाँ तब उपयोगी होती हैं जब डेरिवेटिव की विश्लेषणात्मक गणना कठिन या असंभव होती है। ऐसी विधियों को असतत न्यूटन विधियाँ कहा जाता है।

न्यूटन-प्रकार के तरीकों की प्रभावशीलता की कुंजी हेसियन मैट्रिक्स में निहित न्यूनतम फ़ंक्शन की वक्रता के बारे में जानकारी को ध्यान में रखना और उद्देश्य फ़ंक्शन के स्थानीय रूप से सटीक द्विघात मॉडल के निर्माण की अनुमति देना है। लेकिन वंश पुनरावृत्तियों के दौरान ढाल में परिवर्तन को देखने के आधार पर किसी फ़ंक्शन की वक्रता के बारे में जानकारी एकत्र करना और जमा करना संभव है।

हेसियन मैट्रिक्स को स्पष्ट रूप से बनाए बिना एक गैर-रेखीय फ़ंक्शन की वक्रता का अनुमान लगाने की संभावना के आधार पर संबंधित विधियों को अर्ध-न्यूटोनियन विधियां कहा जाता है।

ध्यान दें कि न्यूटोनियन प्रकार (अर्ध-न्यूटोनियन सहित) की अनुकूलन प्रक्रिया का निर्माण करते समय, सैडल पॉइंट की उपस्थिति की संभावना को ध्यान में रखना आवश्यक है। इस मामले में, सर्वोत्तम खोज दिशा का वेक्टर हमेशा नीचे की दिशा में उससे दूर जाने के बजाय, काठी बिंदु की ओर निर्देशित किया जाएगा।

न्यूटन-रेफसन विधि

इस पद्धति में उन कार्यों को अनुकूलित करते समय न्यूटोनियन दिशा का बार-बार उपयोग करना शामिल है जो द्विघात नहीं हैं।

बहुआयामी अनुकूलन के लिए बुनियादी पुनरावृत्त सूत्र

संबंध से अनुकूलन दिशा चुनते समय इस विधि में उपयोग किया जाता है

वास्तविक चरण की लंबाई गैर-सामान्यीकृत न्यूटोनियन दिशा में छिपी हुई है।

चूँकि इस विधि को वर्तमान बिंदु पर उद्देश्य फ़ंक्शन के मान की आवश्यकता नहीं होती है, इसलिए इसे कभी-कभी अप्रत्यक्ष या विश्लेषणात्मक अनुकूलन विधि कहा जाता है। एक ही गणना में द्विघात फलन का न्यूनतम निर्धारण करने की इसकी क्षमता पहली नज़र में बेहद आकर्षक लगती है। हालाँकि, इस "एकल गणना" के लिए महत्वपूर्ण लागत की आवश्यकता होती है। सबसे पहले, पहले क्रम के n आंशिक व्युत्पन्न और दूसरे के n(n+1)/2 - की गणना करना आवश्यक है। इसके अलावा, हेस्सियन मैट्रिक्स उलटा होना चाहिए। इसके लिए लगभग n3 कम्प्यूटेशनल संचालन की आवश्यकता है। समान लागत के साथ, संयुग्मित दिशा विधियाँ या संयुग्मित ढाल विधियाँ लगभग n चरण ले सकती हैं, अर्थात। लगभग समान परिणाम प्राप्त करें। इस प्रकार, न्यूटन-रेफसन पद्धति का पुनरावर्तन द्विघात फलन के मामले में लाभ प्रदान नहीं करता है।

यदि फलन द्विघात नहीं है, तो

• - प्रारंभिक दिशा, सामान्यतया, अब वास्तविक न्यूनतम बिंदु को इंगित नहीं करती है, जिसका अर्थ है कि पुनरावृत्तियों को कई बार दोहराया जाना चाहिए;
• - इकाई लंबाई का एक कदम वस्तुनिष्ठ फ़ंक्शन के खराब मूल्य वाले बिंदु तक ले जा सकता है, और खोज गलत दिशा दे सकती है, उदाहरण के लिए, हेसियन सकारात्मक निश्चित नहीं है;
• - हेसियन खराब स्थिति में हो सकता है, जिससे इसे पलटना असंभव हो जाएगा, यानी। अगले पुनरावृत्ति के लिए दिशा निर्धारित करना।

रणनीति स्वयं यह भेद नहीं करती है कि खोज किस स्थिर बिंदु (न्यूनतम, अधिकतम, सैडल बिंदु) के करीब पहुंच रही है, और उद्देश्य फ़ंक्शन के मूल्यों की गणना नहीं की जाती है, जिसका उपयोग यह ट्रैक करने के लिए किया जा सकता है कि फ़ंक्शन बढ़ रहा है या नहीं। इसका मतलब यह है कि सब कुछ इस बात पर निर्भर करता है कि आकर्षण क्षेत्र में खोज का प्रारंभिक बिंदु कौन सा स्थिर बिंदु है। न्यूटन-रेफसन रणनीति का उपयोग किसी न किसी प्रकार के संशोधन के बिना शायद ही कभी किया जाता है।

पियर्सन विधियाँ

पियर्सन ने कई तरीकों का प्रस्ताव दिया जो स्पष्ट रूप से दूसरे डेरिवेटिव की गणना किए बिना व्युत्क्रम हेसियन का अनुमान लगाते हैं, अर्थात। एंटीग्रेडिएंट की दिशा में परिवर्तन देखकर। इस स्थिति में, संयुग्मी दिशाएँ प्राप्त होती हैं। ये एल्गोरिदम केवल विवरण में भिन्न हैं। हम उन्हें प्रस्तुत करते हैं जो व्यावहारिक क्षेत्रों में सबसे अधिक उपयोग किए जाते हैं।

पियर्सन एल्गोरिथम नंबर 2।

इस एल्गोरिदम में, व्युत्क्रम हेसियन को मैट्रिक्स एचके द्वारा अनुमानित किया जाता है, जिसकी गणना सूत्र का उपयोग करके प्रत्येक चरण पर की जाती है

एक मनमाना सकारात्मक निश्चित सममित मैट्रिक्स को प्रारंभिक मैट्रिक्स H0 के रूप में चुना जाता है।

यह पियर्सन एल्गोरिथ्म अक्सर उन स्थितियों की ओर ले जाता है जहां मैट्रिक्स एचके बीमार हो जाता है, अर्थात्, यह सकारात्मक निश्चित और गैर-सकारात्मक निश्चित के बीच दोलन करना शुरू कर देता है, जबकि मैट्रिक्स का निर्धारक शून्य के करीब होता है। इस स्थिति से बचने के लिए, प्रत्येक n चरण में मैट्रिक्स को H0 के बराबर करके फिर से परिभाषित करना आवश्यक है।

पियर्सन एल्गोरिथम नंबर 3.

इस एल्गोरिदम में, मैट्रिक्स Hk+1 सूत्र से निर्धारित किया जाता है

एचके+1 = एचके+

एल्गोरिथ्म द्वारा उत्पन्न वंश प्रक्षेपवक्र डेविडन-फ्लेचर-पॉवेल एल्गोरिथ्म के व्यवहार के समान है, लेकिन चरण थोड़े छोटे हैं। पियर्सन ने चक्रीय मैट्रिक्स रीसेटिंग के साथ इस एल्गोरिदम की एक भिन्नता का भी प्रस्ताव रखा।

प्रोजेक्टिव न्यूटन-रेफसन एल्गोरिदम

पियर्सन ने एक एल्गोरिदम का विचार प्रस्तावित किया जिसमें संबंध से मैट्रिक्स की गणना की जाती है

H0=R0, जहां मैट्रिक्स R0 पिछले एल्गोरिदम में प्रारंभिक मैट्रिक्स के समान है।

जब k स्वतंत्र चर n की संख्या का गुणज होता है, तो मैट्रिक्स Hk को मैट्रिक्स Rk+1 से बदल दिया जाता है, जिसकी गणना योग के रूप में की जाती है

मात्रा Hk(f(Xk+1) - f(Xk)) ग्रेडिएंट इंक्रीमेंट वेक्टर (f(Xk+1) - f(Xk)) का प्रक्षेपण है, जो पिछले चरणों में सभी ग्रेडिएंट इंक्रीमेंट वैक्टर के लिए ऑर्थोगोनल है। प्रत्येक n चरण के बाद, Rk व्युत्क्रम हेसियन H-1(Xk) का एक अनुमान है, इसलिए वास्तव में एक (अनुमानित) न्यूटन खोज की जाती है।

डेविडन-फ्लेचर-पॉवेल विधि

इस विधि के अन्य नाम हैं - परिवर्तनीय मीट्रिक विधि, अर्ध-न्यूटन विधि, क्योंकि वह इन दोनों तरीकों का उपयोग करता है।

डेविडन-फ्लेचर-पॉवेल (डीएफपी) विधि न्यूटोनियन दिशाओं के उपयोग पर आधारित है, लेकिन प्रत्येक चरण पर व्युत्क्रम हेसियन की गणना की आवश्यकता नहीं होती है।

चरण k पर खोज दिशा दिशा है

जहां Hi एक सकारात्मक निश्चित सममित मैट्रिक्स है जिसे प्रत्येक चरण पर अद्यतन किया जाता है और सीमा में व्युत्क्रम हेसियन के बराबर हो जाता है। पहचान मैट्रिक्स को आमतौर पर प्रारंभिक मैट्रिक्स एच के रूप में चुना जाता है। पुनरावृत्तीय डीएफटी प्रक्रिया को निम्नानुसार दर्शाया जा सकता है:

• 1. चरण k पर एक बिंदु Xk और एक सकारात्मक निश्चित मैट्रिक्स Hk है।
• 2. नई खोज दिशा के रूप में चयन करें

3. दिशा के साथ एक-आयामी खोज (आमतौर पर क्यूबिक इंटरपोलेशन) k निर्धारित करती है, जो फ़ंक्शन को न्यूनतम करती है।

4. निर्भर करता है।

5. निर्भर करता है।

6. निर्धारित है. यदि वीके या पर्याप्त छोटे हैं, तो प्रक्रिया समाप्त हो जाती है।

• 7. यह माना जाता है कि Uk = f(Xk+1) - f(Xk).
• 8. मैट्रिक्स एचके को सूत्र के अनुसार अद्यतन किया जाता है

9. k को एक से बढ़ाएँ और चरण 2 पर वापस लौटें।

यह विधि व्यवहार में प्रभावी है यदि ग्रेडिएंट गणना में त्रुटि छोटी है और मैट्रिक्स एचके खराब स्थिति में नहीं आता है।

मैट्रिक्स Ak, Hk से G-1 के अभिसरण को सुनिश्चित करता है, मैट्रिक्स Bk सभी चरणों में Hk+1 की सकारात्मक निश्चितता सुनिश्चित करता है और सीमा में H0 को बाहर करता है।

द्विघात फलन के मामले में

वे। डीएफपी एल्गोरिदम संयुग्म दिशाओं का उपयोग करता है।

इस प्रकार, डीएफटी विधि न्यूटोनियन दृष्टिकोण के विचारों और संयुग्म दिशाओं के गुणों दोनों का उपयोग करती है, और द्विघात फ़ंक्शन को कम करते समय, यह n पुनरावृत्तियों से अधिक में परिवर्तित नहीं होती है। यदि अनुकूलित फ़ंक्शन का रूप द्विघात फ़ंक्शन के करीब है, तो DFT विधि अपने अच्छे सन्निकटन G-1 (न्यूटन की विधि) के कारण प्रभावी है। यदि उद्देश्य फ़ंक्शन का सामान्य रूप है, तो संयुग्मित दिशाओं के उपयोग के कारण डीएफटी विधि प्रभावी है।

ग्रेडिएंट अनुकूलन के तरीके

गैर-रेखीय या कठिन-से-गणना संबंधों के साथ अनुकूलन समस्याएं जो अनुकूलन मानदंड और बाधाओं को परिभाषित करती हैं, गैर-रेखीय प्रोग्रामिंग का विषय हैं। एक नियम के रूप में, नॉनलाइनियर प्रोग्रामिंग समस्याओं का समाधान केवल कंप्यूटर प्रौद्योगिकी का उपयोग करके संख्यात्मक तरीकों से पाया जा सकता है। उनमें से, सबसे अधिक उपयोग की जाने वाली ग्रेडिएंट विधियां (विश्राम, ग्रेडिएंट, सबसे तेज वंश और चढ़ाई की विधियां), नियतात्मक खोज के ग्रेडिएंट-मुक्त तरीके (स्कैनिंग विधियां, सिम्प्लेक्स, आदि), और यादृच्छिक खोज विधियां हैं। इन सभी विधियों का उपयोग ऑप्टिमा के संख्यात्मक निर्धारण में किया जाता है और विशेष साहित्य में व्यापक रूप से शामिल किया गया है।

सामान्य तौर पर, अनुकूलन मानदंड का मूल्य आरएक फ़ंक्शन के रूप में माना जा सकता है आर(एक्सबी xx..., एक्स एन),एन-डायमेंशनल स्पेस में परिभाषित। चूँकि n-आयामी स्थान का कोई दृश्य ग्राफ़िक प्रतिनिधित्व नहीं है, इसलिए हम द्वि-आयामी स्थान के मामले का उपयोग करेंगे।

अगर आर(lb x 2)क्षेत्र में निरंतर डी,फिर इष्टतम बिंदु के आसपास एम°(xi°, x g°)किसी दिए गए तल में एक बंद रेखा खींचना संभव है जिसके अनुदिश मान आर= स्थिरांक. ऐसी कई रेखाएँ, जिन्हें समान स्तर की रेखाएँ कहा जाता है, इष्टतम बिंदु के चारों ओर (कदम के आधार पर) खींची जा सकती हैं

गैर-रेखीय प्रोग्रामिंग समस्याओं को हल करने के लिए उपयोग की जाने वाली विधियों में, अनुकूलित किए जा रहे फ़ंक्शन की दिशा के संबंध में व्युत्पन्न के विश्लेषण के आधार पर समाधान खोजने के तरीकों का एक महत्वपूर्ण स्थान है। यदि अंतरिक्ष में प्रत्येक बिंदु पर कई चरों का एक अदिश फलन अच्छी तरह से परिभाषित मान लेता है, तो इस मामले में हम एक अदिश क्षेत्र (तापमान क्षेत्र, दबाव क्षेत्र, घनत्व क्षेत्र, आदि) से निपट रहे हैं। सदिश क्षेत्र (बलों, वेगों आदि का क्षेत्र) को इसी प्रकार परिभाषित किया गया है। इज़ोटेर्म, आइसोबार, आइसोक्रोन इत्यादि। - ये सभी समान स्तर, फ़ंक्शन के समान मान (तापमान, दबाव, आयतन, आदि) की रेखाएं (सतहें) हैं। चूँकि किसी फ़ंक्शन का मान अंतरिक्ष में एक बिंदु से दूसरे बिंदु पर बदलता है, इसलिए अंतरिक्ष में फ़ंक्शन के परिवर्तन की दर, यानी दिशा में व्युत्पन्न, निर्धारित करना आवश्यक हो जाता है।

ग्रेडिएंट की अवधारणा का व्यापक रूप से इंजीनियरिंग गणनाओं में उपयोग किया जाता है जब गैर-रेखीय कार्यों का चरम पता लगाया जाता है। ग्रेडिएंट विधियाँ संख्यात्मक खोज विधियाँ हैं। वे सार्वभौमिक हैं और विशेष रूप से प्रतिबंधों के साथ गैर-रेखीय कार्यों के चरम की खोज के मामलों में प्रभावी हैं, साथ ही जब विश्लेषणात्मक कार्य पूरी तरह से अज्ञात है। इन विधियों का सार उन चर के मूल्यों को निर्धारित करना है जो ग्रेडिएंट के साथ चलते हुए लक्ष्य फ़ंक्शन का चरम प्रदान करते हैं (खोज करते समय) अधिकतम)या विपरीत दिशा में (मिनट).विभिन्न ग्रेडिएंट विधियां इष्टतम की ओर गति निर्धारित करने के तरीके में एक-दूसरे से भिन्न होती हैं। लब्बोलुआब यह है कि यदि रेखाएँ समान स्तर की हैं आर(xu x i)निर्भरता को आलेखीय रूप से चित्रित करें आर(x\jc?),तब इष्टतम बिंदु की खोज विभिन्न तरीकों से की जा सकती है। उदाहरण के लिए, एक समतल पर एक जाली बनाएं एक्स\, एक्सआरमूल्यों का संकेत आरग्रिड नोड्स पर (चित्र 2.13)।

फिर आप नोड मानों से चरम मान का चयन कर सकते हैं। यह पथ तर्कसंगत नहीं है, यह बड़ी संख्या में गणनाओं से जुड़ा है, और सटीकता कम है, क्योंकि यह चरण पर निर्भर करता है, और इष्टतम नोड्स के बीच हो सकता है।

संख्यात्मक तरीके

गणितीय मॉडल में प्रसंस्करण प्रयोगों (डेटा तालिकाओं, ग्राफ़) के परिणामस्वरूप अध्ययन या प्राप्त की जाने वाली प्रक्रियाओं के सैद्धांतिक विश्लेषण के आधार पर संकलित संबंध शामिल होते हैं। किसी भी स्थिति में, गणितीय मॉडल केवल वास्तविक प्रक्रिया का लगभग वर्णन करता है। इसलिए, मॉडल की सटीकता और पर्याप्तता का मुद्दा सबसे महत्वपूर्ण है। समीकरणों को हल करते समय सन्निकटन की आवश्यकता भी उत्पन्न होती है। हाल तक, गैर-रेखीय अंतर समीकरण या आंशिक अंतर समीकरण वाले मॉडल को विश्लेषणात्मक तरीकों से हल नहीं किया जा सकता था। यही बात स्काई इंटीग्रल्स के कई वर्गों पर भी लागू होती है। हालाँकि, संख्यात्मक विश्लेषण के तरीकों के विकास ने गणितीय मॉडल के विश्लेषण की संभावनाओं की सीमाओं का अंतहीन विस्तार करना संभव बना दिया है, विशेष रूप से कंप्यूटर के उपयोग से यह संभव हो गया है।

संख्यात्मक तरीकों का उपयोग कार्यों का अनुमान लगाने, अंतर समीकरणों और उनकी प्रणालियों को हल करने, एकीकृत और विभेदित करने और संख्यात्मक अभिव्यक्तियों की गणना करने के लिए किया जाता है।

फ़ंक्शन को विश्लेषणात्मक रूप से, तालिका के रूप में, या ग्राफ़ के रूप में निर्दिष्ट किया जा सकता है। अनुसंधान करते समय, एक सामान्य कार्य एक विश्लेषणात्मक अभिव्यक्ति द्वारा किसी फ़ंक्शन का अनुमान लगाना होता है जो बताई गई शर्तों को पूरा करता है। इससे चार समस्याएं हल हो जाती हैं:

नोडल बिंदुओं का चयन करना, स्वतंत्र चर के कुछ मूल्यों (स्तरों) पर प्रयोग करना (यदि किसी कारक को बदलने का चरण गलत तरीके से चुना गया है, तो हम या तो अध्ययन की जा रही प्रक्रिया की एक विशिष्ट विशेषता को "मिस" कर देंगे, या हम प्रक्रिया को लंबा कर देंगे। और एक पैटर्न की खोज की जटिलता बढ़ जाती है);

किसी विशिष्ट समस्या की सामग्री के आधार पर, बहुपद, अनुभवजन्य सूत्रों के रूप में अनुमानित कार्यों का विकल्प (जितना संभव हो सके अनुमानित कार्यों को सरल बनाने का प्रयास करना चाहिए);

अनुबंध मानदंड का चयन और उपयोग जिसके आधार पर अनुमानित कार्यों के पैरामीटर पाए जाते हैं;

सन्निकटन फ़ंक्शन के चयन के लिए दी गई सटीकता की आवश्यकताओं को पूरा करना।

बहुपदों द्वारा कार्यों का अनुमान लगाने की समस्याओं में, तीन वर्गों का उपयोग किया जाता है

शक्ति कार्यों का रैखिक संयोजन (टेलर श्रृंखला, लैग्रेंज, न्यूटन बहुपद, आदि);

कार्यों का संयोजन सोज़ पीएच, डब्ल्यू उन्हें(फोरियर श्रेणी);

कार्यों द्वारा निर्मित बहुपद ऍक्स्प(-ए, डी)।

अनुमानित फ़ंक्शन ढूंढते समय, प्रयोगात्मक डेटा के साथ समझौते के लिए विभिन्न मानदंडों का उपयोग किया जाता है।

ग्रेडिएंट विधि द्वारा अनुकूलन करते समय, अध्ययन के तहत वस्तु का इष्टतम आउटपुट चर की सबसे तेज़ वृद्धि (कमी) की दिशा में मांगा जाता है, अर्थात। ढाल की दिशा में. लेकिन इससे पहले कि आप ढाल की ओर एक कदम उठाएं, आपको इसकी गणना करने की आवश्यकता है। ग्रेडिएंट की गणना मौजूदा मॉडल का उपयोग करके की जा सकती है

गतिशील ढाल बहुपद मॉडलिंग

i-वें कारक के संबंध में आंशिक व्युत्पन्न कहां है;

i, j, k - कारक स्थान के निर्देशांक अक्षों की दिशा में इकाई सदिश, या निर्देशांक अक्षों की दिशा में n परीक्षण आंदोलनों के परिणामों के अनुसार।

यदि किसी सांख्यिकीय प्रक्रिया के गणितीय मॉडल में एक रेखीय बहुपद का रूप होता है, तो प्रतिगमन गुणांक b i जिनमें से x i की शक्तियों में टेलर श्रृंखला में फ़ंक्शन y = f(X) के विस्तार के आंशिक व्युत्पन्न होते हैं, तो इष्टतम है एक निश्चित चरण के साथ ढाल की दिशा में खोज की गई:

pkfv n(H)= और 1 r 1 +और 2 r 2 +…+और t r t

प्रत्येक चरण के बाद दिशा समायोजित की जाती है।

ग्रेडिएंट विधि, इसके कई संशोधनों के साथ, अध्ययन के तहत वस्तुओं के इष्टतम की खोज के लिए एक सामान्य और प्रभावी तरीका है। आइए ढाल विधि के संशोधनों में से एक पर विचार करें - खड़ी चढ़ाई विधि।

खड़ी चढ़ाई विधि, या अन्यथा बॉक्स-विल्सन विधि, एक रैखिक गणितीय मॉडल प्राप्त करने के साधन के रूप में, तीन विधियों के लाभों को जोड़ती है - गॉस-सीडेल विधि, ग्रेडिएंट विधि और पूर्ण (या आंशिक) फैक्टोरियल प्रयोगों की विधि। . खड़ी चढ़ाई विधि का कार्य आउटपुट वेरिएबल की सबसे तेज़ वृद्धि (या कमी) की दिशा में, यानी ग्रेड y(X) के साथ चरणबद्ध गति को पूरा करना है। ग्रेडिएंट विधि के विपरीत, दिशा को प्रत्येक अगले चरण के बाद समायोजित नहीं किया जाता है, बल्कि जब उद्देश्य फ़ंक्शन का एक विशेष चरम किसी दिए गए दिशा में किसी बिंदु पर पहुंच जाता है, जैसा कि गॉस-सीडेल विधि में किया जाता है। एक विशेष चरम बिंदु पर, एक नया फैक्टोरियल प्रयोग किया जाता है, एक गणितीय मॉडल निर्धारित किया जाता है, और फिर से एक तीव्र चढ़ाई की जाती है। निर्दिष्ट पद्धति का उपयोग करके इष्टतम की ओर बढ़ने की प्रक्रिया में, मध्यवर्ती खोज परिणामों का सांख्यिकीय विश्लेषण नियमित रूप से किया जाता है। जब प्रतिगमन समीकरण में द्विघात प्रभाव महत्वपूर्ण हो जाते हैं तो खोज बंद हो जाती है। इसका मतलब है कि इष्टतम क्षेत्र तक पहुंच गया है।

आइए हम दो चर वाले फ़ंक्शन के उदाहरण का उपयोग करके ग्रेडिएंट विधियों का उपयोग करने के सिद्धांत का वर्णन करें

दो अतिरिक्त शर्तों के अधीन:

यह सिद्धांत (संशोधन के बिना) किसी भी संख्या में चर, साथ ही अतिरिक्त शर्तों पर भी लागू किया जा सकता है। समतल x 1 , x 2 पर विचार करें (चित्र 1)। सूत्र (8) के अनुसार, प्रत्येक बिंदु एफ के एक निश्चित मान से मेल खाता है। चित्र 1 में, इस विमान से संबंधित रेखाएं एफ = स्थिरांक बिंदु एम * के आसपास के बंद वक्रों द्वारा दर्शायी जाती हैं, जिस पर एफ न्यूनतम है। मान लीजिए प्रारंभिक क्षण में x 1 और x 2 के मान बिंदु M 0 के अनुरूप हैं। गणना चक्र परीक्षण चरणों की एक श्रृंखला के साथ शुरू होता है। सबसे पहले, x 1 के मान में एक छोटी वृद्धि दी गई है; इस समय x 2 का मान अपरिवर्तित है। फिर F के मूल्य में परिणामी वृद्धि निर्धारित की जाती है, जिसे आंशिक व्युत्पन्न के मूल्य के समानुपाती माना जा सकता है

(यदि मान हमेशा समान है)।

आंशिक व्युत्पन्न (10) और (11) की परिभाषा का अर्थ है कि निर्देशांक के साथ एक वेक्टर पाया गया है, जिसे मान एफ का ग्रेडिएंट कहा जाता है और इसे निम्नानुसार दर्शाया गया है:

यह ज्ञात है कि इस वेक्टर की दिशा एफ के मूल्य में सबसे तेज वृद्धि की दिशा से मेल खाती है। विपरीत दिशा "सबसे तेज गिरावट" है, दूसरे शब्दों में, एफ के मूल्य में सबसे तेज कमी है।

ग्रेडिएंट के घटकों को खोजने के बाद, परीक्षण आंदोलनों को रोक दिया जाता है और ग्रेडिएंट की दिशा के विपरीत दिशा में काम करने वाले कदम उठाए जाते हैं, और वेक्टर ग्रेड एफ का निरपेक्ष मान जितना बड़ा होगा, चरण का आकार उतना ही बड़ा होगा। ये स्थितियाँ यदि कार्यशील चरणों के मान आंशिक व्युत्पन्न के पहले प्राप्त मूल्यों के समानुपाती होते हैं तो पूरा किया जाता है:

जहाँ b एक धनात्मक स्थिरांक है।

प्रत्येक कामकाजी चरण के बाद, एफ के मूल्य में वृद्धि का अनुमान लगाया जाता है। यदि यह नकारात्मक हो जाता है, तो आंदोलन सही दिशा में होता है और आपको उसी दिशा एम 0 एम 1 में आगे बढ़ने की आवश्यकता होती है। यदि बिंदु एम 1 पर माप परिणाम यह दिखाता है, तो कामकाजी गतिविधियां रुक जाती हैं और परीक्षण गतिविधियों की एक नई श्रृंखला शुरू हो जाती है। इस मामले में, ग्रेडिएंट ग्रेडएफ को नए बिंदु एम 1 पर निर्धारित किया जाता है, फिर कामकाजी गति सबसे तेज वंश की नई मिली दिशा के साथ जारी रहती है, यानी लाइन एम 1 एम 2, आदि के साथ। इस विधि को सबसे तीव्र अवतरण/सबसे तीव्र आरोहण विधि कहा जाता है।

जब सिस्टम न्यूनतम के करीब होता है, जिसे एक छोटे मान से दर्शाया जाता है

अधिक "सतर्क" खोज विधि, तथाकथित ग्रेडिएंट विधि पर एक स्विच है। यह सबसे तीव्र अवतरण विधि से भिन्न है जिसमें ग्रेडिएंट ग्रेडएफ निर्धारित करने के बाद, केवल एक कार्यशील कदम उठाया जाता है, और फिर एक नए बिंदु पर परीक्षण आंदोलनों की एक श्रृंखला फिर से शुरू होती है। यह खोज विधि सबसे तीव्र अवतरण विधि की तुलना में न्यूनतम का अधिक सटीक निर्धारण प्रदान करती है, जबकि बाद वाली विधि आपको न्यूनतम तक शीघ्र पहुंचने की अनुमति देती है। यदि, खोज के दौरान, बिंदु M स्वीकार्य क्षेत्र की सीमा तक पहुँच जाता है और M 1, M 2 की कम से कम एक मात्रा का चिह्न बदल जाता है, तो विधि बदल जाती है और बिंदु M क्षेत्र की सीमा के साथ चलना शुरू कर देता है।

खड़ी चढ़ाई विधि की प्रभावशीलता चर के पैमाने की पसंद और प्रतिक्रिया सतह के प्रकार पर निर्भर करती है। गोलाकार आकृति वाली सतह इष्टतम तक तेजी से संकुचन सुनिश्चित करती है।

खड़ी चढ़ाई विधि के नुकसानों में शामिल हैं:

1. एक्सट्रपलेशन की सीमाएँ. ग्रेडिएंट के साथ आगे बढ़ते हुए, हम संबंधित चर के संबंध में उद्देश्य फ़ंक्शन के आंशिक डेरिवेटिव के एक्सट्रपलेशन पर भरोसा करते हैं। हालाँकि, प्रतिक्रिया सतह का आकार बदल सकता है और खोज की दिशा बदलनी होगी। दूसरे शब्दों में, किसी समतल पर गति निरंतर नहीं हो सकती।

2. वैश्विक इष्टतम खोजने में कठिनाई। यह विधि केवल स्थानीय ऑप्टिमा खोजने के लिए लागू है।

ग्रेडिएंट वेक्टर को किसी दिए गए बिंदु पर फ़ंक्शन में सबसे तेज़ वृद्धि की दिशा में निर्देशित किया जाता है। ग्रेडिएंट -ग्रेड(/(x)) के विपरीत वेक्टर को एंटीग्रेडिएंट कहा जाता है और इसे फ़ंक्शन में सबसे तेज़ कमी की दिशा में निर्देशित किया जाता है। न्यूनतम बिंदु पर, फ़ंक्शन का ग्रेडिएंट शून्य है। प्रथम-क्रम विधियाँ, जिन्हें ग्रेडिएंट विधियाँ भी कहा जाता है, ग्रेडिएंट्स के गुणों पर आधारित होती हैं। यदि कोई अतिरिक्त जानकारी नहीं है, तो प्रारंभिक बिंदु x (0 > से एंटीग्रेडिएंट की दिशा में स्थित बिंदु x (1) पर जाना बेहतर है - फ़ंक्शन की सबसे तेज़ कमी। एंटीग्रेडिएंट का चयन -ग्रेड(/() x (^)) अवतरण की दिशा के रूप में बिंदु पर एक्स(केहमें फॉर्म की एक पुनरावृत्तीय प्रक्रिया प्राप्त होती है

समन्वय रूप में, यह प्रक्रिया इस प्रकार लिखी गई है:

पुनरावृत्ति प्रक्रिया को रोकने के लिए एक मानदंड के रूप में, आप या तो शर्त (10.2) या एक छोटे ग्रेडिएंट की शर्त की पूर्ति का उपयोग कर सकते हैं

एक संयुक्त मानदंड भी संभव है, जिसमें निर्दिष्ट शर्तों की एक साथ पूर्ति शामिल है।

ग्रेडिएंट विधियाँ चरण आकार चुनने के तरीके में एक दूसरे से भिन्न होती हैं एस्थिर चरण वाली विधि में, सभी पुनरावृत्तियों के लिए एक निश्चित स्थिर चरण मान चुना जाता है। बहुत छोटा कदम है एक^यह सुनिश्चित करता है कि फ़ंक्शन घट जाए, अर्थात असमानता की पूर्ति

हालाँकि, इससे न्यूनतम बिंदु तक पहुँचने के लिए काफी बड़ी संख्या में पुनरावृत्तियों को करने की आवश्यकता हो सकती है। दूसरी ओर, बहुत बड़ा कदम फ़ंक्शन के बढ़ने या न्यूनतम बिंदु के आसपास उतार-चढ़ाव का कारण बन सकता है। चरण आकार का चयन करने के लिए अतिरिक्त जानकारी की आवश्यकता होती है, इसलिए अभ्यास में निरंतर चरणों वाली विधियों का उपयोग शायद ही कभी किया जाता है।

परिवर्तनशील चरणों वाली ग्रेडिएंट विधियाँ अधिक विश्वसनीय और किफायती होती हैं (पुनरावृत्तियों की संख्या के संदर्भ में), जब चरण का आकार प्राप्त सन्निकटन के आधार पर किसी तरह से बदलता है। ऐसी विधि के उदाहरण के रूप में, सबसे तीव्र अवतरण विधि पर विचार करें। इस विधि में, प्रत्येक पुनरावृत्ति पर, चरण आकार i* को वंश की दिशा में फ़ंक्शन f(x) के न्यूनतम की स्थिति से चुना जाता है, अर्थात।

इस स्थिति का अर्थ है कि एंटीग्रेडिएंट के साथ गति तब तक होती है जब तक फ़ंक्शन /(x) का मान घट जाता है। इसलिए, प्रत्येक पुनरावृत्ति पर फ़ंक्शन φ(τ) =/(x(/r) - - agrad^x^))) के φ के संबंध में एक-आयामी न्यूनीकरण की समस्या को हल करना आवश्यक है। सबसे तीव्र अवतरण विधि का एल्गोरिदम इस प्रकार है।

• 1. आइए प्रारंभिक बिंदु x^° के निर्देशांक और अनुमानित समाधान r की सटीकता निर्धारित करें। आइए सेट करें क = 0.
• 2. बिंदु x (/r) पर हम ग्रेडिएंट ग्रेड(/(x (^)) के मान की गणना करते हैं।
• 3. चरण का आकार निर्धारित करें एक^ i के संबंध में फ़ंक्शन सीपी(i) के एक-आयामी न्यूनतमकरण द्वारा।
• 4. आइए हम सूत्र (10.4) का उपयोग करके न्यूनतम बिंदु x (* +1 >) का एक नया सन्निकटन निर्धारित करें।
• 5. आइए पुनरावृत्तीय प्रक्रिया को रोकने के लिए शर्तों की जाँच करें। यदि वे पूरे हो जाएं तो हिसाब-किताब बंद हो जाता है। अन्यथा हम मान लेते हैं क क+1 और चरण 2 पर जाएँ।

सबसे तीव्र अवतरण विधि में, बिंदु x (*) से गति की दिशा बिंदु x (* +1) पर स्तर रेखा को छूती है। वंश पथ ज़िगज़ैग है, और आसन्न ज़िगज़ैग लिंक एक दूसरे के लिए ओर्थोगोनल हैं। सचमुच, एक कदम एक^द्वारा न्यूनतम करके चयन किया जाता है एकार्य ( ए). शर्त

फ़ंक्शन का न्यूनतम - = 0. व्युत्पन्न की गणना करने के बाद

जटिल फ़ंक्शन, हम पड़ोसी बिंदुओं पर वंश दिशाओं के वैक्टर की ऑर्थोगोनलिटी के लिए शर्त प्राप्त करते हैं:

फ़ंक्शन φ(π) को छोटा करने की समस्या को एक चर के फ़ंक्शन की जड़ की गणना करने की समस्या तक कम किया जा सकता है जी(ए) =

सुचारू उत्तल कार्यों के लिए ग्रेडिएंट विधियां ज्यामितीय प्रगति दर पर न्यूनतम में परिवर्तित होती हैं। ऐसे कार्यों में दूसरे डेरिवेटिव (हेसियन मैट्रिक्स) के मैट्रिक्स का सबसे बड़ा और सबसे छोटा eigenvalues ​​​​है

एक दूसरे से थोड़ा भिन्न, अर्थात्। मैट्रिक्स H(x) अच्छी तरह से वातानुकूलित है। हालाँकि, व्यवहार में, जिन कार्यों को कम किया जा रहा है उनमें अक्सर दूसरे डेरिवेटिव के खराब स्थिति वाले मैट्रिक्स होते हैं। ऐसे फ़ंक्शंस के मान अन्य दिशाओं की तुलना में कुछ दिशाओं में बहुत तेज़ी से बदलते हैं। ग्रेडिएंट विधियों की अभिसरण दर भी ग्रेडिएंट गणना की सटीकता पर महत्वपूर्ण रूप से निर्भर करती है। परिशुद्धता का नुकसान, जो आमतौर पर न्यूनतम बिंदुओं के आसपास होता है, आमतौर पर ग्रेडिएंट डिसेंट प्रक्रिया के अभिसरण को बाधित कर सकता है। इसलिए, किसी समस्या को हल करने के प्रारंभिक चरण में ग्रेडिएंट विधियों का उपयोग अक्सर अन्य, अधिक प्रभावी तरीकों के साथ संयोजन में किया जाता है। इस मामले में, बिंदु x (0) न्यूनतम बिंदु से बहुत दूर है, और एंटीग्रेडिएंट की दिशा में कदम फ़ंक्शन में महत्वपूर्ण कमी प्राप्त करना संभव बनाते हैं।

अप्रतिबंधित अनुकूलन समस्या में कोई प्रतिबंध नहीं हैं।

याद रखें कि एक बहुआयामी फ़ंक्शन का ग्रेडिएंट एक वेक्टर है जिसे विश्लेषणात्मक रूप से आंशिक डेरिवेटिव के ज्यामितीय योग द्वारा व्यक्त किया जाता है

एक अदिश फलन की प्रवणता एफ(एक्स) किसी बिंदु पर इसे फ़ंक्शन में सबसे तेज़ वृद्धि की दिशा में निर्देशित किया जाता है और स्तर रेखा (स्थिर मूल्य की सतह) के लिए ऑर्थोगोनल होता है एफ(एक्स), एक बिंदु से गुजरना एक्स क). ग्रेडिएंट  एंटीग्रेडिएंट  के विपरीत वेक्टर को फ़ंक्शन की सबसे तेज़ कमी की ओर निर्देशित किया जाता है एफ(एक्स). चरम बिंदु पर ग्रैड एफ(एक्स)= 0.

ग्रेडिएंट विधियों में, न्यूनतम उद्देश्य फ़ंक्शन की खोज करते समय एक बिंदु की गति को पुनरावृत्त सूत्र द्वारा वर्णित किया जाता है

कहाँ  क  चरण पैरामीटर कएंटीग्रेडिएंट के साथ वें पुनरावृत्ति। आरोही विधियों (अधिकतम की खोज) के लिए, आपको ढाल के साथ आगे बढ़ना होगा।

ग्रेडिएंट विधियों के विभिन्न प्रकार चरण पैरामीटर चुनने के तरीके के साथ-साथ पिछले चरण में आंदोलन की दिशा को ध्यान में रखने के तरीके में एक-दूसरे से भिन्न होते हैं। आइए ग्रेडिएंट विधियों के लिए निम्नलिखित विकल्पों पर विचार करें: एक स्थिर चरण के साथ, एक परिवर्तनीय चरण पैरामीटर (स्टेप डिवीजन) के साथ, सबसे तेज वंश विधि और संयुग्मित ग्रेडिएंट विधि।

एक स्थिर चरण पैरामीटर के साथ विधि.इस विधि में, चरण पैरामीटर प्रत्येक पुनरावृत्ति में स्थिर होता है। प्रश्न उठता है: व्यावहारिक रूप से चरण पैरामीटर का मान कैसे चुनें? पर्याप्त रूप से छोटे चरण पैरामीटर के परिणामस्वरूप न्यूनतम बिंदु तक पहुंचने के लिए अस्वीकार्य रूप से बड़ी संख्या में पुनरावृत्तियों की आवश्यकता हो सकती है। दूसरी ओर, बहुत बड़ा चरण पैरामीटर न्यूनतम बिंदु को ओवरशूट करने और इस बिंदु के आसपास एक दोलन कम्प्यूटेशनल प्रक्रिया का कारण बन सकता है। ये परिस्थितियाँ विधि की हानियाँ हैं। चूंकि चरण पैरामीटर के स्वीकार्य मान का पहले से अनुमान लगाना असंभव है  क, तो एक वैरिएबल स्टेप पैरामीटर के साथ ग्रेडिएंट विधि का उपयोग करने की आवश्यकता है।

जैसे-जैसे हम इष्टतम के करीब पहुंचते हैं, ग्रेडिएंट वेक्टर का मान घटता जाता है और शून्य की ओर प्रवृत्त होता है, इसलिए जब  क = स्थिरांक चरण की लंबाई धीरे-धीरे कम हो जाती है। इष्टतम के निकट, ग्रेडिएंट वेक्टर की लंबाई शून्य हो जाती है। वेक्टर लंबाई या मानक में एन-आयामी यूक्लिडियन स्थान सूत्र द्वारा निर्धारित किया जाता है

, कहाँ एन- चर की संख्या.

इष्टतम खोज प्रक्रिया को रोकने के विकल्प:

व्यावहारिक दृष्टिकोण से, तीसरे स्टॉपिंग मानदंड का उपयोग करना अधिक सुविधाजनक है (चूंकि डिज़ाइन पैरामीटर के मान रुचि के हैं), हालांकि, चरम बिंदु की निकटता निर्धारित करने के लिए, आपको दूसरे पर ध्यान केंद्रित करने की आवश्यकता है कसौटी. कम्प्यूटेशनल प्रक्रिया को रोकने के लिए कई मानदंडों का उपयोग किया जा सकता है।

आइए एक उदाहरण देखें. उद्देश्य फलन का न्यूनतम ज्ञात कीजिए एफ(एक्स) = (एक्स 1  2) 2 + (एक्स 2  4) 2 . समस्या का सटीक समाधान एक्स*= (2.0;4.0).आंशिक व्युत्पन्नों के लिए अभिव्यक्तियाँ

,
.

एक कदम चुनना  क = 0.1. आइए आरंभिक बिंदु से खोजें एक्स 1 = . आइए समाधान को एक तालिका के रूप में प्रस्तुत करें।

चरण पैरामीटर को विभाजित करने के साथ ग्रेडिएंट विधि।इस मामले में, अनुकूलन प्रक्रिया के दौरान, चरण पैरामीटर  k कम हो जाता है यदि अगले चरण के बाद उद्देश्य फ़ंक्शन बढ़ता है (न्यूनतम की खोज करते समय)। इस मामले में, चरण की लंबाई अक्सर आधे में विभाजित (विभाजित) हो जाती है, और चरण को पिछले बिंदु से दोहराया जाता है। यह चरम बिंदु तक अधिक सटीक दृष्टिकोण प्रदान करता है।

तीव्रतम अवतरण की विधि.पुनरावृत्तियों की संख्या के संदर्भ में परिवर्तनीय चरण विधियाँ अधिक किफायती हैं। यदि एंटीग्रेडिएंट दिशा के साथ इष्टतम चरण लंबाई  k एक-आयामी न्यूनीकरण समस्या का समाधान है, तो इस विधि को सबसे तेज वंश विधि कहा जाता है। इस विधि में, प्रत्येक पुनरावृत्ति पर एक-आयामी न्यूनीकरण की समस्या हल हो जाती है:

एफ(एक्स क+1 )=एफ(एक्स क   क एस क )=न्यूनतम एफ( क ), एस क =  एफ(एक्स);

 क >0

.

इस पद्धति में, एंटीग्रेडिएंट की दिशा में गति तब तक जारी रहती है जब तक कि उद्देश्य फ़ंक्शन न्यूनतम तक नहीं पहुंच जाता (जबकि उद्देश्य फ़ंक्शन का मान घट जाता है)। एक उदाहरण का उपयोग करते हुए, आइए विचार करें कि किसी अज्ञात पैरामीटर के आधार पर प्रत्येक चरण पर उद्देश्य फ़ंक्शन को विश्लेषणात्मक रूप से कैसे लिखा जा सकता है

उदाहरण। मिन एफ(एक्स 1 , एक्स 2 ) = 2एक्स 1 2 + 4एक्स 2 3 – 3. तब  एफ(एक्स)= [ 4एक्स 1 ; 12एक्स 2 2 ]. आइए बात को स्पष्ट करें एक्स क = , इस तरह  एफ(एक्स)= [ 8; 12], एफ(एक्स क   एस क ) =

2(2  8 ) 2 + 4(1  12 ) 3  3.  को खोजना आवश्यक है, जो इस फ़ंक्शन के लिए न्यूनतम प्रदान करता है।

सबसे तीव्र अवतरण विधि के लिए एल्गोरिदम (न्यूनतम ज्ञात करने के लिए)

प्रारंभिक चरण. मान लीजिए   एक रुकने वाला स्थिरांक है। आरंभिक बिंदु चुनें एक्स 1 , रखना क = 1 और मुख्य चरण पर जाएँ.

बुनियादी कदम. अगर || gradF(एक्स)||< , तो खोज समाप्त करें, अन्यथा निर्धारित करें  एफ(एक्स क ) और ढूंढें  क  न्यूनतमकरण समस्या का इष्टतम समाधान एफ(एक्स क   क एस क ) पर  क  0. रखना एक्स क +1 = एक्स क   क एस क, सौंपना क =

क + 1 और मुख्य चरण दोहराएँ.

सबसे तेज डिसेंट विधि में एक वेरिएबल के फ़ंक्शन का न्यूनतम पता लगाने के लिए, आप यूनिमॉडल ऑप्टिमाइज़ेशन विधियों का उपयोग कर सकते हैं। विधियों के एक बड़े समूह से, हम द्विभाजन (द्विभाजन) और स्वर्ण खंड की विधि पर विचार करेंगे। यूनिमॉडल अनुकूलन विधियों का सार चरम के स्थान में अनिश्चितता की सीमा को कम करना है।

द्विभाजन विधि (द्विभाजन)प्रारंभिक चरण.विभेदनीयता स्थिरांक  और अनिश्चितता अंतराल की परिमित लंबाई का चयन करें एल. मान  जितना संभव हो उतना छोटा होना चाहिए, लेकिन फिर भी व्यक्ति को फ़ंक्शन के मानों के बीच अंतर करने की अनुमति मिलती है एफ( ) और एफ( ) . होने देना [ ए 1 , बी 1 ] - प्रारंभिक अनिश्चितता अंतराल. रखना क =

मुख्य चरण में एक ही प्रकार के पुनरावृत्तियों की एक सीमित संख्या होती है।

kth पुनरावृत्ति.

स्टेप 1।अगर बी क  ए क  एल, तो गणना समाप्त हो जाती है। समाधान एक्स * = (ए क + बी क )/2. अन्यथा

,
.

चरण दो।अगर एफ( क ) < एफ( क ), रखना ए क +1 = ए क ; बी क +1 =  क. अन्यथा ए क +1 =  कऔर बी क +1 = बी क. सौंपना क = क + 1 और चरण 1 पर जाएँ.

स्वर्ण खंड विधि.द्विभाजन विधि से अधिक प्रभावी विधि। आपको कम पुनरावृत्तियों में अनिश्चितता अंतराल का दिया गया मान प्राप्त करने की अनुमति देता है और उद्देश्य फ़ंक्शन की कम गणना की आवश्यकता होती है। इस विधि में अनिश्चितता अंतराल के नये विभाजन बिंदु की गणना एक बार की जाती है। की दूरी पर एक नया बिंदु रखा गया है

 = अंतराल के अंत से 0.618034.

गोल्डन सेक्शन विधि का एल्गोरिदम

प्रारंभिक चरण.अनिश्चितता अंतराल की अनुमेय परिमित लंबाई का चयन करें एल > 0. होने देना [ ए 1 , बी 1 ] - प्रारंभिक अनिश्चितता अंतराल. रखना  1 = ए 1 +(1   )(बी 1  ए 1 ) और  1 = ए 1 +  (बी 1  ए 1 ) , कहाँ  = 0,618 . गणना एफ( 1 ) और एफ( 1 ) , रखना क = 1 और मुख्य मंच पर जाएँ.

स्टेप 1।अगर बी क  ए क  एल, तो गणना समाप्त हो जाती है एक्स * = (ए क + बी क )/ 2. अन्यथा यदि एफ( क ) > एफ( क ) , फिर चरण 2 पर जाएँ; अगर एफ( क )  एफ( क ) , चरण 3 पर जाएँ।

चरण दो।रखना ए क +1 =  क , बी क +1 = बी क ,  क +1 =  क ,  क +1 = ए क +1 +  (बी क +1 – ए क +1 ). गणना एफ( क +1 ), चरण 4 पर जाएँ.

चरण 3।रखना ए क +1 = ए क , बी क +1 =  क ,  क +1 =  क ,  क +1 = ए क +1 + (1   )(बी क +1 – ए क +1 ). गणना एफ( क +1 ).

चरण 4।सौंपना क = क + 1, चरण 1 पर जाएँ.

पहले पुनरावृत्ति में, दो फ़ंक्शन गणनाओं की आवश्यकता होती है, बाद के सभी पुनरावृत्तियों में केवल एक की।

संयुग्म ढाल विधि (फ्लेचर-रीव्स)।इस विधि में, आंदोलन की दिशा का चयन करना क+ चरण 1 दिशा में परिवर्तन को ध्यान में रखता है ककदम। डिसेंट डायरेक्शन वेक्टर एंटीग्रेडिएंट दिशा और पिछली खोज दिशा का एक रैखिक संयोजन है। इस मामले में, जब गली कार्यों को कम किया जाता है (संकीर्ण लंबे अवसादों के साथ), खोज खड्ड के लंबवत नहीं होती है, बल्कि इसके साथ होती है, जो किसी को जल्दी से न्यूनतम तक पहुंचने की अनुमति देती है। संयुग्म ढाल विधि का उपयोग करके एक चरम की खोज करते समय एक बिंदु के निर्देशांक की गणना अभिव्यक्ति का उपयोग करके की जाती है एक्स क +1 = एक्स क   वी क +1 , कहाँ वी क +1 - निम्नलिखित अभिव्यक्ति का उपयोग करके वेक्टर की गणना की गई:

.

पहला पुनरावृत्ति आमतौर पर निर्भर करता है वी = 0 और एक खोज एंटीग्रेडिएंट के साथ की जाती है, जैसे कि सबसे तेज वंश विधि में। फिर गति की दिशा एंटीग्रेडिएंट की दिशा से भटक जाती है, अंतिम पुनरावृत्ति पर ग्रेडिएंट वेक्टर की लंबाई उतनी ही अधिक महत्वपूर्ण रूप से बदल जाती है। बाद एनएल्गोरिदम के संचालन को सही करने के लिए कदम सामान्य एंटी-ग्रेडिएंट चरण का उपयोग करके बनाए जाते हैं।

संयुग्म ढाल विधि का एल्गोरिदम

स्टेप 1।आरंभिक बिंदु दर्ज करें एक्स 0 , शुद्धता  , आयाम एन.

चरण दो।रखना क = 1.

चरण 3।वेक्टर लगाएं वी क = 0.

चरण 4।गणना ग्रैड एफ(एक्स क ).

चरण 5.वेक्टर की गणना करें वी क +1.

चरण 6.एक-आयामी वेक्टर खोज करें वी क +1.

चरण 7अगर क < एन, रखना क = क + 1 और चरण 4 पर जाएँ, अन्यथा चरण 8 पर जाएँ।

चरण 8यदि वेक्टर लंबाई वी से कम होने पर खोज समाप्त करें, अन्यथा  चरण 2 पर जाएँ।

न्यूनतमकरण समस्याओं को हल करने में संयुग्मित दिशा-निर्देश विधि सबसे प्रभावी में से एक है। एक-आयामी खोज के साथ संयोजन में विधि, अक्सर सीएडी में व्यावहारिक रूप से उपयोग की जाती है। हालाँकि, यह ध्यान दिया जाना चाहिए कि यह गिनती प्रक्रिया के दौरान होने वाली त्रुटियों के प्रति संवेदनशील है।

ग्रेडिएंट विधियों के नुकसान

बड़ी संख्या में चर वाली समस्याओं में, विश्लेषणात्मक कार्यों के रूप में डेरिवेटिव प्राप्त करना मुश्किल या असंभव है।

अंतर योजनाओं का उपयोग करके डेरिवेटिव की गणना करते समय, परिणामी त्रुटि, विशेष रूप से चरम सीमा के आसपास, ऐसे सन्निकटन की संभावनाओं को सीमित करती है।