गणितीय अनुकूलन समस्याओं में ग्रेडिएंट विधियों की समीक्षा। ढाल के तरीके

ढाल के तरीके

क्रमिक अप्रतिबंधित अनुकूलन विधियाँ केवल उद्देश्य फ़ंक्शन के पहले व्युत्पन्न का उपयोग करती हैं और प्रत्येक चरण में रैखिक सन्निकटन विधियाँ हैं, अर्थात। प्रत्येक चरण पर वस्तुनिष्ठ फलन को वर्तमान बिंदु पर इसके ग्राफ पर एक स्पर्शरेखा हाइपरप्लेन द्वारा प्रतिस्थापित किया जाता है।

ग्रेडिएंट विधियों के k-वें चरण में, बिंदु Xk से बिंदु Xk+1 तक के संक्रमण को संबंध द्वारा वर्णित किया गया है:

जहां k चरण आकार है, k xk+1-Xk दिशा में एक सदिश है।

सबसे तेज वंश विधियां

पहली बार, इस तरह की पद्धति को 18वीं शताब्दी में ओ. कॉची द्वारा माना और लागू किया गया था। इसका विचार सरल है: किसी भी बिंदु पर उद्देश्य फ़ंक्शन f (X) का ग्रेडिएंट फ़ंक्शन के मूल्य में सबसे बड़ी वृद्धि की दिशा में एक वेक्टर है। इसलिए, एंटीग्रेडिएंट को फ़ंक्शन में सबसे बड़ी कमी की ओर निर्देशित किया जाएगा और यह सबसे तेज वंश की दिशा है। एंटीग्रेडिएंट (और ग्रेडिएंट) बिंदु X पर स्तर की सतह f(X) के लिए ऑर्थोगोनल है। यदि (1.2) में हम दिशा का परिचय देते हैं

तो यह बिंदु Xk पर सबसे तेज अवरोहण की दिशा होगी।

हमें Xk से Xk+1 तक संक्रमण सूत्र मिलता है:

एंटी-ग्रेडिएंट केवल डिसेंट की दिशा देता है, स्टेप साइज नहीं। सामान्य तौर पर, एक कदम न्यूनतम बिंदु नहीं देता है, इसलिए वंश प्रक्रिया को कई बार लागू किया जाना चाहिए। न्यूनतम बिंदु पर, ग्रेडिएंट के सभी घटक शून्य के बराबर होते हैं।

सभी ग्रेडिएंट विधियां उपरोक्त विचार का उपयोग करती हैं और तकनीकी विवरण में एक दूसरे से भिन्न होती हैं: एक विश्लेषणात्मक सूत्र या परिमित अंतर सन्निकटन द्वारा डेरिवेटिव की गणना; चरण आकार स्थिर हो सकता है, कुछ नियमों के अनुसार बदल सकता है, या एंटीग्रेडिएंट की दिशा में एक-आयामी अनुकूलन विधियों को लागू करने के बाद चुना जा सकता है, आदि। आदि।

हम विस्तार से नहीं रहेंगे, क्योंकि। गंभीर अनुकूलन प्रक्रिया के रूप में आमतौर पर सबसे तेज वंश विधि की सिफारिश नहीं की जाती है।

इस पद्धति का एक नुकसान यह है कि यह काठी बिंदु सहित किसी भी स्थिर बिंदु में परिवर्तित हो जाती है, जिसका समाधान नहीं हो सकता है।

लेकिन सबसे महत्वपूर्ण बात यह है कि सामान्य मामले में सबसे तेज वंश का बहुत धीमा अभिसरण है। मुद्दा यह है कि स्थानीय अर्थों में वंश "सबसे तेज़" है। यदि खोज हाइपरस्पेस दृढ़ता से लम्बी ("खड्डा") है, तो एंटीग्रेडिएंट को "खड्डे" के नीचे लगभग ओर्थोगोनली निर्देशित किया जाता है, अर्थात। न्यूनतम तक पहुँचने के लिए सर्वोत्तम दिशा। इस अर्थ में, अंग्रेजी शब्द "स्टीपेस्ट डिसेंट" का सीधा अनुवाद, यानी। सबसे तेज ढलान के साथ वंश रूसी भाषा के विशेष साहित्य में अपनाए गए "सबसे तेज" शब्द की तुलना में मामलों की स्थिति के अनुरूप है। इस स्थिति से बाहर निकलने का एक तरीका दूसरे आंशिक डेरिवेटिव द्वारा दी गई जानकारी का उपयोग करना है। चरों के पैमानों को बदलने का दूसरा तरीका है।

रैखिक सन्निकटन व्युत्पन्न ढाल

फ्लेचर-रीव्स कंजुगेट ग्रेडिएंट मेथड

संयुग्म ढाल विधि खोज दिशाओं के अनुक्रम का निर्माण करती है जो वर्तमान सबसे तेज अवरोही दिशा और पिछली खोज दिशाओं के रैखिक संयोजन हैं, अर्थात।

और गुणांकों को चुना जाता है ताकि खोज दिशाओं को संयुग्मित किया जा सके। साबित किया कि

और यह एक बहुत ही मूल्यवान परिणाम है जो आपको एक तेज़ और कुशल अनुकूलन एल्गोरिथम बनाने की अनुमति देता है।

फ्लेचर-रीव्स एल्गोरिथम

1. X0 में गणना की जाती है।

2. kवें चरण पर, दिशा में एक-आयामी खोज का उपयोग करते हुए, न्यूनतम f(X) पाया जाता है, जो बिंदु Xk+1 को निर्धारित करता है।

• 3. गणना f(Xk+1) और।
• 4. दिशा अनुपात से निर्धारित होती है:

• 5. (n+1)-वें पुनरावृत्ति के बाद (यानी, k=n के साथ), एक पुनरारंभ किया जाता है: X0=Xn+1 माना जाता है और चरण 1 में संक्रमण किया जाता है।
• 6. एल्गोरिथम रुक जाता है जब

जहां एक मनमाना स्थिरांक है।

फ्लेचर-रीव्स एल्गोरिथम का लाभ यह है कि इसमें मैट्रिक्स इनवर्जन की आवश्यकता नहीं होती है और कंप्यूटर मेमोरी को बचाता है, क्योंकि इसे न्यूटनियन विधियों में उपयोग किए जाने वाले मैट्रिक्स की आवश्यकता नहीं होती है, लेकिन साथ ही यह अर्ध-न्यूटोनियन एल्गोरिदम के रूप में लगभग उतना ही कुशल है। इसलिये खोज दिशाएँ परस्पर संयुग्मित हैं, तो द्विघात फ़ंक्शन को n चरणों से अधिक नहीं में छोटा किया जाएगा। सामान्य स्थिति में, पुनरारंभ का उपयोग किया जाता है, जो आपको परिणाम प्राप्त करने की अनुमति देता है।

फ्लेचर-रीव्स एल्गोरिथम एक-आयामी खोज की सटीकता के प्रति संवेदनशील है, इसलिए इसका उपयोग करते समय होने वाली किसी भी गोल करने वाली त्रुटियों को ठीक किया जाना चाहिए। साथ ही, एल्गोरिथम उन स्थितियों में विफल हो सकता है जहां हेसियन बीमार हो जाता है। एल्गोरिथ्म में हमेशा और हर जगह अभिसरण की कोई गारंटी नहीं होती है, हालांकि अभ्यास से पता चलता है कि एल्गोरिथ्म लगभग हमेशा एक परिणाम देता है।

न्यूटोनियन तरीके

सबसे तेज अवरोहण के अनुरूप खोज की दिशा वस्तुनिष्ठ फलन के एक रेखीय सन्निकटन से जुड़ी होती है। दूसरे डेरिवेटिव का उपयोग करने वाले तरीके उद्देश्य फ़ंक्शन के द्विघात सन्निकटन से उत्पन्न हुए, यानी टेलर श्रृंखला में फ़ंक्शन का विस्तार करते समय, तीसरे और उच्च आदेशों की शर्तों को छोड़ दिया जाता है।

हेसियन मैट्रिक्स कहां है।

दाईं ओर का न्यूनतम (यदि यह मौजूद है) उसी स्थान पर पहुंचता है जहां न्यूनतम द्विघात रूप होता है। आइए खोज की दिशा निर्धारित करने के लिए एक सूत्र लिखें:

न्यूनतम पर पहुंच गया है

एक अनुकूलन एल्गोरिथ्म जिसमें इस संबंध से खोज दिशा निर्धारित की जाती है, न्यूटन की विधि कहलाती है, और दिशा न्यूटन की दिशा होती है।

दूसरे डेरिवेटिव के सकारात्मक मैट्रिक्स के साथ एक मनमाना द्विघात फ़ंक्शन के न्यूनतम को खोजने की समस्याओं में, न्यूटन की विधि एक पुनरावृत्ति में एक समाधान देती है, भले ही शुरुआती बिंदु की पसंद की परवाह किए बिना।

न्यूटनियन विधियों का वर्गीकरण

दरअसल, न्यूटन की विधि में द्विघात फलन को अनुकूलित करने के लिए न्यूटन की दिशा का एकल अनुप्रयोग शामिल है। यदि फलन द्विघात नहीं है, तो निम्नलिखित प्रमेय सत्य है।

प्रमेय 1.4. यदि न्यूनतम बिंदु X* पर एक सामान्य गैर-रैखिक फ़ंक्शन f का हेसियन मैट्रिक्स सकारात्मक-निश्चित है, तो शुरुआती बिंदु को X* के काफी करीब चुना जाता है, और चरण की लंबाई सही ढंग से चुनी जाती है, फिर न्यूटन की विधि X* के साथ अभिसरण करती है द्विघात गति।

न्यूटन की विधि को संदर्भ एक माना जाता है, और इसके साथ सभी विकसित अनुकूलन प्रक्रियाओं की तुलना की जाती है। हालांकि, न्यूटन की विधि केवल सकारात्मक-निश्चित और अच्छी तरह से वातानुकूलित हेसियन मैट्रिक्स के साथ काम करती है (इसका निर्धारक शून्य से काफी अधिक होना चाहिए, अधिक सटीक रूप से, सबसे बड़े और सबसे छोटे eigenvalues ​​​​का अनुपात एक के करीब होना चाहिए)। इस कमी को दूर करने के लिए संशोधित न्यूटोनियन विधियों का उपयोग किया जाता है, जहाँ तक संभव हो न्यूटनियन दिशाओं का उपयोग करते हुए और आवश्यक होने पर ही उनसे विचलन किया जाता है।

न्यूटन की विधि में संशोधन का सामान्य सिद्धांत इस प्रकार है: प्रत्येक पुनरावृत्ति पर, कुछ सकारात्मक-निश्चित मैट्रिक्स "संबंधित" का निर्माण पहले किया जाता है, और फिर सूत्र द्वारा गणना की जाती है

चूँकि यह धनात्मक निश्चित है, तो - अनिवार्य रूप से अवतरण की दिशा होगी। निर्माण प्रक्रिया को व्यवस्थित किया जाता है ताकि यह सकारात्मक निश्चित होने पर हेसियन मैट्रिक्स के साथ मेल खाता हो। इन प्रक्रियाओं को कुछ मैट्रिक्स विस्तार के आधार पर बनाया गया है।

विधियों का एक अन्य समूह, जो लगभग न्यूटन विधि जितना तेज़ है, परिमित अंतरों का उपयोग करते हुए हेसियन मैट्रिक्स के सन्निकटन पर आधारित है, क्योंकि अनुकूलन के लिए डेरिवेटिव के सटीक मूल्यों का उपयोग करना आवश्यक नहीं है। ये विधियां तब उपयोगी होती हैं जब डेरिवेटिव की विश्लेषणात्मक गणना मुश्किल या असंभव होती है। ऐसी विधियों को असतत न्यूटन विधियाँ कहा जाता है।

न्यूटोनियन-प्रकार के तरीकों की प्रभावशीलता की कुंजी फ़ंक्शन की वक्रता के बारे में जानकारी को कम से कम करना है, जो हेसियन मैट्रिक्स में निहित है और उद्देश्य फ़ंक्शन के स्थानीय रूप से सटीक द्विघात मॉडल बनाना संभव बनाता है। लेकिन वंश के पुनरावृत्तियों के दौरान ढाल में परिवर्तन को देखने के आधार पर किसी फ़ंक्शन की वक्रता के बारे में जानकारी एकत्र करना और जमा करना संभव है।

इसके हेसियन मैट्रिक्स के स्पष्ट गठन के बिना एक गैर-रैखिक फ़ंक्शन की वक्रता को अनुमानित करने की संभावना के आधार पर संबंधित विधियों को अर्ध-न्यूटोनियन विधियां कहा जाता है।

ध्यान दें कि न्यूटोनियन प्रकार (अर्ध-न्यूटोनियन एक सहित) की अनुकूलन प्रक्रिया का निर्माण करते समय, एक सैडल बिंदु की उपस्थिति की संभावना को ध्यान में रखना आवश्यक है। इस मामले में, सर्वोत्तम खोज दिशा के वेक्टर को हमेशा "नीचे" दिशा में इससे दूर जाने के बजाय, सैडल बिंदु पर निर्देशित किया जाएगा।

न्यूटन-रैफसन विधि

द्विघात नहीं होने वाले कार्यों का अनुकूलन करते समय इस पद्धति में न्यूटनियन दिशा का बार-बार उपयोग होता है।

बहुभिन्नरूपी अनुकूलन के लिए मूल पुनरावृत्त सूत्र

संबंध से अनुकूलन की दिशा चुनते समय इस पद्धति में उपयोग किया जाता है

वास्तविक चरण की लंबाई गैर-सामान्यीकृत न्यूटनियन दिशा में छिपी हुई है।

चूंकि इस पद्धति को वर्तमान बिंदु पर उद्देश्य फ़ंक्शन के मूल्य की आवश्यकता नहीं होती है, इसे कभी-कभी अप्रत्यक्ष या विश्लेषणात्मक अनुकूलन विधि कहा जाता है। एक गणना में न्यूनतम द्विघात फ़ंक्शन निर्धारित करने की उनकी क्षमता पहली नज़र में बेहद आकर्षक लगती है। हालांकि, यह "एकल गणना" महंगा है। सबसे पहले, पहले क्रम के n आंशिक डेरिवेटिव और दूसरे के n(n+1)/2 - की गणना करना आवश्यक है। इसके अलावा, हेसियन मैट्रिक्स को उलटा होना चाहिए। इसके लिए पहले से ही लगभग n3 कम्प्यूटेशनल संचालन की आवश्यकता है। समान लागत के साथ, संयुग्म दिशा विधियाँ या संयुग्म ढाल विधियाँ लगभग n कदम उठा सकती हैं, अर्थात। लगभग एक ही परिणाम प्राप्त करें। इस प्रकार, न्यूटन-रैफसन विधि की पुनरावृत्ति द्विघात फलन के मामले में लाभ प्रदान नहीं करती है।

यदि फलन द्विघात नहीं है, तो

• - प्रारंभिक दिशा पहले से ही, आम तौर पर बोल रही है, वास्तविक न्यूनतम बिंदु को इंगित नहीं करती है, जिसका अर्थ है कि पुनरावृत्तियों को बार-बार दोहराया जाना चाहिए;
• - इकाई लंबाई का एक कदम उद्देश्य समारोह के बदतर मूल्य के साथ एक बिंदु तक ले जा सकता है, और खोज गलत दिशा दे सकती है, उदाहरण के लिए, हेसियन सकारात्मक निश्चित नहीं है;
• - हेसियन बीमार हो सकता है, जिससे इसे उल्टा करना असंभव हो जाता है, अर्थात। अगले पुनरावृत्ति के लिए दिशा का निर्धारण।

रणनीति स्वयं भेद नहीं करती है कि कौन सा स्थिर बिंदु (न्यूनतम, अधिकतम, काठी बिंदु) खोज आ रहा है, और उद्देश्य फ़ंक्शन मानों की गणना, जिसके द्वारा यह ट्रैक करना संभव होगा कि क्या फ़ंक्शन बढ़ रहा है, नहीं किया जाता है। तो, यह सब इस बात पर निर्भर करता है कि आकर्षण क्षेत्र में कौन सा स्थिर बिंदु खोज का प्रारंभिक बिंदु है। न्यूटन-रैफसन की रणनीति का प्रयोग एक प्रकार या किसी अन्य के संशोधन के बिना अपने आप में शायद ही कभी किया जाता है।

पियर्सन तरीके

पियर्सन ने दूसरे डेरिवेटिव की स्पष्ट रूप से गणना किए बिना व्युत्क्रम हेसियन का अनुमान लगाने के लिए कई तरीके प्रस्तावित किए, अर्थात। एंटीग्रेडिएंट की दिशा में परिवर्तन देखकर। इस मामले में, संयुग्म निर्देश प्राप्त होते हैं। ये एल्गोरिदम केवल विवरण में भिन्न हैं। यहां वे हैं जो लागू क्षेत्रों में सबसे अधिक व्यापक रूप से उपयोग किए जाते हैं।

पियर्सन का एल्गोरिदम # 2।

इस एल्गोरिथ्म में, प्रतिलोम हेसियन को सूत्र द्वारा प्रत्येक चरण पर गणना किए गए मैट्रिक्स एच द्वारा अनुमानित किया जाता है

एक मनमाना सकारात्मक-निश्चित सममित मैट्रिक्स प्रारंभिक मैट्रिक्स H0 के रूप में चुना जाता है।

यह पियर्सन एल्गोरिथ्म अक्सर उन स्थितियों की ओर ले जाता है जहां मैट्रिक्स एचके बीमार हो जाता है, अर्थात्, यह सकारात्मक निश्चित और गैर-सकारात्मक निश्चित के बीच दोलन करना शुरू कर देता है, जबकि मैट्रिक्स का निर्धारक शून्य के करीब होता है। इस स्थिति से बचने के लिए, मैट्रिक्स को हर n चरणों में फिर से सेट करना आवश्यक है, इसे H0 के बराबर करना।

पियर्सन का एल्गोरिथम #3।

इस एल्गोरिथम में, मैट्रिक्स Hk+1 सूत्र से निर्धारित होता है

एचके+1 = एचके +

एल्गोरिथ्म द्वारा उत्पन्न वंश पथ डेविडन-फ्लेचर-पॉवेल एल्गोरिथ्म के व्यवहार के समान है, लेकिन चरण थोड़े छोटे हैं। पियर्सन ने मैट्रिक्स के चक्रीय पुनर्क्रमण के साथ इस एल्गोरिथम का एक प्रकार भी प्रस्तावित किया।

प्रोजेक्टिव न्यूटन-रैफसन एल्गोरिथम

पियर्सन ने एक एल्गोरिथ्म का विचार प्रस्तावित किया जिसमें मैट्रिक्स की गणना संबंध से की जाती है

H0=R0, जहां मैट्रिक्स R0 पिछले एल्गोरिदम में प्रारंभिक मैट्रिक्स के समान है।

जब k स्वतंत्र चर n की संख्या का एक गुणक है, तो मैट्रिक्स Hk को मैट्रिक्स Rk+1 द्वारा प्रतिस्थापित किया जाता है जिसकी गणना योग के रूप में की जाती है

मान Hk(f(Xk+1) - f(Xk)) ग्रेडिएंट इंक्रीमेंट वेक्टर (f(Xk+1)-f(Xk)) का प्रोजेक्शन है, जो पिछले चरणों में सभी ग्रेडिएंट इंक्रीमेंट वैक्टर के लिए ऑर्थोगोनल है। प्रत्येक n चरणों के बाद, Rk व्युत्क्रम Hessian H-1(Xk) का एक सन्निकटन है, इसलिए संक्षेप में a (लगभग) न्यूटन खोज की जाती है।

डेविडन-फ्लेचर-पॉवेल विधि

इस पद्धति के अन्य नाम हैं - चर मीट्रिक विधि, अर्ध-न्यूटन विधि, क्योंकि वह इन दोनों तरीकों का इस्तेमाल करता है।

डेविडन-फ्लेचर-पॉवेल (डीएफपी) विधि न्यूटनियन दिशाओं के उपयोग पर आधारित है, लेकिन प्रत्येक चरण में व्युत्क्रम हेसियन की गणना की आवश्यकता नहीं है।

चरण k पर खोज दिशा दिशा है

जहां हाय एक सकारात्मक-निश्चित सममित मैट्रिक्स है जिसे प्रत्येक चरण में अद्यतन किया जाता है और, सीमा में, उलटा हेसियन के बराबर हो जाता है। पहचान मैट्रिक्स को आमतौर पर प्रारंभिक मैट्रिक्स एच के रूप में चुना जाता है। पुनरावृत्त DFT प्रक्रिया को निम्नानुसार दर्शाया जा सकता है:

• 1. चरण k पर, एक बिंदु Xk और एक धनात्मक-निश्चित आव्यूह Hk है।
• 2. नई खोज दिशा के रूप में चयन करें

3. दिशा के साथ एक-आयामी खोज (आमतौर पर क्यूबिक इंटरपोलेशन द्वारा) k फ़ंक्शन को छोटा करना निर्धारित करता है।

4. निर्भर करता है।

5. निर्भर करता है।

6. और द्वारा निर्धारित। यदि वीके या काफी छोटे हैं, तो प्रक्रिया समाप्त हो जाती है।

• 7. यूके = f(Xk+1) - f(Xk) सेट करें।
• 8. मैट्रिक्स एचके सूत्र के अनुसार अद्यतन किया जाता है

9. k को एक से बढ़ाएँ और चरण 2 पर वापस जाएँ।

यदि ढाल गणना त्रुटि छोटी है और मैट्रिक्स एचके खराब नहीं होता है तो यह विधि व्यवहार में प्रभावी होती है।

मैट्रिक्स AK, Hk का G-1 में अभिसरण सुनिश्चित करता है, मैट्रिक्स Bk सभी चरणों में Hk+1 की सकारात्मक निश्चितता सुनिश्चित करता है और H0 को सीमा में शामिल नहीं करता है।

द्विघात फलन के मामले में

वे। DFP एल्गोरिथ्म संयुग्म दिशाओं का उपयोग करता है।

इस प्रकार, डीएफटी विधि न्यूटनियन दृष्टिकोण के विचारों और संयुग्म दिशाओं के गुणों दोनों का उपयोग करती है, और द्विघात कार्य को कम करते समय, यह n पुनरावृत्तियों से अधिक नहीं में परिवर्तित होता है। यदि ऑप्टिमाइज़ किए जा रहे फ़ंक्शन में एक द्विघात फ़ंक्शन के करीब एक रूप है, तो G-1 (न्यूटन की विधि) के अच्छे सन्निकटन के कारण DFP विधि कुशल है। यदि उद्देश्य फ़ंक्शन का एक सामान्य रूप है, तो संयुग्म दिशाओं के उपयोग के कारण डीएफपी विधि प्रभावी है।

ढाल अनुकूलन के तरीके

गैर-रेखीय या कठिन-से-गणना संबंधों के साथ अनुकूलन समस्याएं जो अनुकूलन मानदंड और बाधाओं को निर्धारित करती हैं, गैर-रेखीय प्रोग्रामिंग का विषय हैं। एक नियम के रूप में, गैर-रेखीय प्रोग्रामिंग समस्याओं का समाधान केवल कंप्यूटर तकनीक का उपयोग करके संख्यात्मक तरीकों से पाया जा सकता है। उनमें से, सबसे अधिक इस्तेमाल किया जाने वाला ढाल विधियां (विश्राम के तरीके, ढाल, सबसे तेज वंश और चढ़ाई), गैर-ग्रेडिएंट नियतात्मक खोज विधियां (स्कैनिंग विधियां, सिम्प्लेक्स, आदि), और यादृच्छिक खोज विधियां हैं। इन सभी विधियों का उपयोग ऑप्टिमा के संख्यात्मक निर्धारण में किया जाता है और विशेष साहित्य में व्यापक रूप से शामिल किया जाता है।

सामान्य स्थिति में, अनुकूलन मानदंड का मान आरएक समारोह के रूप में देखा जा सकता है आर(एक्सबी xx..., एक्स एन),एन-आयामी अंतरिक्ष में परिभाषित। चूँकि n-आयामी स्थान का कोई दृश्य ग्राफिक प्रतिनिधित्व नहीं है, हम द्वि-आयामी स्थान के मामले का उपयोग करेंगे।

यदि एक आर(एल एक्स 2)क्षेत्र में निरंतर डी,फिर इष्टतम बिंदु के आसपास एम°(xi°, x z°)इस तल में एक बंद रेखा खींचना संभव है, जिसके अनुदिश मान आर= स्थिरांक ऐसी कई रेखाएँ हैं, जिन्हें समान स्तरों की रेखाएँ कहा जाता है, जिन्हें इष्टतम बिंदु के चारों ओर खींचा जा सकता है (चरण के आधार पर)

गैर-रेखीय प्रोग्रामिंग की समस्याओं को हल करने के लिए उपयोग की जाने वाली विधियों में, व्युत्पन्न के विश्लेषण के आधार पर समाधान खोजने के तरीकों द्वारा एक महत्वपूर्ण स्थान पर कब्जा कर लिया गया है, जो कि फ़ंक्शन की दिशा को अनुकूलित किया जा रहा है। यदि अंतरिक्ष में प्रत्येक बिंदु पर कई चरों का एक अदिश फलन अच्छी तरह से परिभाषित मान लेता है, तो इस मामले में हम एक अदिश क्षेत्र (तापमान क्षेत्र, दबाव क्षेत्र, घनत्व क्षेत्र, आदि) के साथ काम कर रहे हैं। सदिश क्षेत्र (बलों, वेगों आदि का क्षेत्र) को इसी प्रकार परिभाषित किया जाता है। इज़ोटेर्म, आइसोबार, आइसोक्रोन आदि। - ये सभी समान स्तरों की रेखाएँ (सतह) हैं, किसी फ़ंक्शन के समान मान (तापमान, दबाव, आयतन, आदि)। चूँकि फ़ंक्शन का मान अंतरिक्ष में एक बिंदु से दूसरे बिंदु पर बदलता है, इसलिए अंतरिक्ष में फ़ंक्शन के परिवर्तन की दर, यानी दिशा में व्युत्पन्न, निर्धारित करना आवश्यक हो जाता है।

गैर-रैखिक कार्यों के चरम को खोजने के लिए इंजीनियरिंग गणना में एक ढाल की अवधारणा का व्यापक रूप से उपयोग किया जाता है। ढाल विधियाँ खोज प्रकार की संख्यात्मक विधियाँ हैं। वे सार्वभौमिक और विशेष रूप से प्रतिबंधों के साथ गैर-रेखीय कार्यों के चरम की खोज के मामलों में प्रभावी हैं, साथ ही साथ जब विश्लेषणात्मक कार्य पूरी तरह से अज्ञात है। इन विधियों का सार उन चरों के मूल्यों को निर्धारित करना है जो ढाल के साथ आगे बढ़ते हुए लक्ष्य फ़ंक्शन का चरम प्रदान करते हैं (खोजते समय अधिकतम)या विपरीत दिशा में (मिनट)।विभिन्न ढाल विधियाँ एक दूसरे से भिन्न होती हैं जिस तरह से इष्टतम की ओर गति निर्धारित की जाती है। लब्बोलुआब यह है कि यदि रेखाएँ समान स्तर की हों आर (एक्सयू एक्स आई)ग्राफिक रूप से निर्भरता को चिह्नित करें आर (एक्स \ जेसी?),तब इष्टतम बिंदु की खोज विभिन्न तरीकों से की जा सकती है। उदाहरण के लिए, एक समतल पर एक ग्रिड बनाएं एक्स\, एक्सआरमूल्यों के संकेत के साथ आरग्रिड नोड्स पर (चित्र। 2.13)।

फिर आप चरम के नोडल मूल्यों में से चुन सकते हैं। यह पथ तर्कसंगत नहीं है, यह बड़ी संख्या में गणनाओं से जुड़ा है, और सटीकता कम है, क्योंकि यह कदम पर निर्भर करता है, और इष्टतम नोड्स के बीच स्थित हो सकता है।

संख्यात्मक तरीके

गणितीय मॉडल में अध्ययन के तहत प्रक्रियाओं के सैद्धांतिक विश्लेषण के आधार पर संकलित संबंध होते हैं या प्रसंस्करण प्रयोगों (डेटा टेबल, ग्राफ) के परिणामस्वरूप प्राप्त होते हैं। किसी भी मामले में, गणितीय मॉडल केवल वास्तविक प्रक्रिया का लगभग वर्णन करता है। इसलिए) मॉडल की सटीकता, पर्याप्तता का मुद्दा सबसे महत्वपूर्ण है। सन्निकटन की आवश्यकता समीकरणों के हल में ही उत्पन्न होती है। कुछ समय पहले तक, गैर-रैखिक या आंशिक अंतर समीकरण वाले मॉडल विश्लेषणात्मक रूप से हल नहीं किए जा सकते थे। यह गैर-संविदात्मक अभिन्न के कई वर्गों पर लागू होता है। हालांकि, संख्यात्मक विश्लेषण के तरीकों के विकास ने विशेष रूप से कंप्यूटर के उपयोग के साथ गणितीय मॉडल के विश्लेषण की संभावनाओं की सीमाओं का विस्तार करना संभव बना दिया।

संख्यात्मक विधियों का उपयोग अनुमानित कार्यों के लिए, विभेदक समीकरणों और उनकी प्रणालियों को हल करने के लिए, एकीकृत और अंतर करने के लिए, संख्यात्मक अभिव्यक्तियों की गणना करने के लिए किया जाता है।

फ़ंक्शन को विश्लेषणात्मक रूप से परिभाषित किया जा सकता है, तालिका, ग्राफ। अनुसंधान करते समय, एक सामान्य समस्या एक विश्लेषणात्मक अभिव्यक्ति द्वारा एक फ़ंक्शन का अनुमान है जो निर्दिष्ट शर्तों को पूरा करती है। यह चार कार्यों को पूरा करता है:

नोडल बिंदुओं का चयन, स्वतंत्र चर के कुछ मूल्यों (स्तरों) पर प्रयोग करना (यदि कारक बदलने का चरण गलत तरीके से चुना गया है, तो हम अध्ययन के तहत प्रक्रिया की एक विशिष्ट विशेषता को "छोड़" देंगे, या हम इसे लंबा कर देंगे प्रक्रिया और पैटर्न खोजने की जटिलता में वृद्धि);

किसी विशेष समस्या की सामग्री के आधार पर बहुपद, अनुभवजन्य सूत्रों के रूप में अनुमानित कार्यों का विकल्प (किसी को अनुमानित कार्यों के अधिकतम सरलीकरण के लिए प्रयास करना चाहिए);

अच्छाई-की-फिट मानदंड का चयन और उपयोग, जिसके आधार पर अनुमानित कार्यों के पैरामीटर पाए जाते हैं;

अनुमानित कार्य के चुनाव के लिए दी गई सटीकता की आवश्यकताओं की पूर्ति।

बहुपदों द्वारा फलनों के सन्निकटन की समस्याओं में, तीन वर्गों का उपयोग किया जाता है

शक्ति कार्यों का रैखिक संयोजन (टेलर श्रृंखला, लैग्रेंज, न्यूटन बहुपद, आदि);

समारोह संयोजन कॉस एनएक्स, डब्ल्यू उन्हें(फोरियर श्रेणी);

कार्यों द्वारा गठित बहुपद ऍक्स्प(-ए, डी)।

सन्निकटन फ़ंक्शन का पता लगाते समय, प्रयोगात्मक डेटा के साथ समझौते के विभिन्न मानदंडों का उपयोग किया जाता है।

ग्रेडिएंट विधि द्वारा अनुकूलन करते समय, अध्ययन के तहत वस्तु का इष्टतम आउटपुट चर के सबसे तेज वृद्धि (कमी) की दिशा में मांगा जाता है, अर्थात। ढाल की दिशा में। लेकिन इससे पहले कि आप ढाल की दिशा में एक कदम उठाएं, आपको इसकी गणना करने की आवश्यकता है। ग्रेडिएंट की गणना या तो उपलब्ध मॉडल से की जा सकती है

सिमुलेशन गतिशील ढाल बहुपद

i-वें कारक के संबंध में आंशिक अवकलज कहां है;

i, j, k - इकाई सदिश कारक स्थान के निर्देशांक अक्षों की दिशा में, या निर्देशांक अक्षों की दिशा में n परीक्षण गतियों के परिणामों के अनुसार।

यदि सांख्यिकीय प्रक्रिया के गणितीय मॉडल में एक रैखिक बहुपद का रूप है, प्रतिगमन गुणांक b i, जिनमें से x i की शक्तियों में एक टेलर श्रृंखला में फ़ंक्शन y = f(X) के विस्तार के आंशिक व्युत्पन्न हैं, तो इष्टतम है एक निश्चित चरण h i के साथ ढाल की दिशा में मांगा गया:

पीकेएफवी एन (सीएच) \u003d और 1 पी 1 + और 2 पी 2 + ... + और टी पी टी

प्रत्येक चरण के बाद दिशा को सही किया जाता है।

ढाल विधि, इसके कई संशोधनों के साथ, अध्ययन के तहत वस्तुओं के इष्टतम को खोजने के लिए एक सामान्य और प्रभावी तरीका है। ढाल विधि के संशोधनों में से एक पर विचार करें - खड़ी चढ़ाई विधि।

खड़ी चढ़ाई विधि, या अन्यथा बॉक्स-विल्सन विधि, तीन विधियों के लाभों को जोड़ती है - गॉस-सीडल विधि, ग्रेडिएंट विधि और पूर्ण (या भिन्नात्मक) फैक्टोरियल प्रयोगों की विधि, एक रैखिक गणितीय मॉडल प्राप्त करने के साधन के रूप में . खड़ी चढ़ाई विधि का कार्य आउटपुट चर के सबसे तेज वृद्धि (या कमी) की दिशा में कदम उठाना है, अर्थात ग्रेड y (X) के साथ। ढाल विधि के विपरीत, दिशा को प्रत्येक अगले चरण के बाद ठीक नहीं किया जाता है, लेकिन जब किसी दिए गए दिशा में किसी बिंदु पर उद्देश्य फ़ंक्शन का आंशिक चरम पहुंच जाता है, जैसा कि गॉस-सीडल विधि में किया जाता है। आंशिक चरम के बिंदु पर, एक नया फैक्टोरियल प्रयोग स्थापित किया जाता है, एक गणितीय मॉडल निर्धारित किया जाता है, और एक तेज चढ़ाई फिर से की जाती है। इस पद्धति द्वारा इष्टतम की ओर बढ़ने की प्रक्रिया में, मध्यवर्ती खोज परिणामों का सांख्यिकीय विश्लेषण नियमित रूप से किया जाता है। जब प्रतिगमन समीकरण में द्विघात प्रभाव महत्वपूर्ण हो जाते हैं तो खोज समाप्त कर दी जाती है। इसका मतलब है कि इष्टतम क्षेत्र तक पहुंच गया है।

आइए दो चर के एक फ़ंक्शन के उदाहरण का उपयोग करके ग्रेडिएंट विधियों का उपयोग करने के सिद्धांत का वर्णन करें

दो अतिरिक्त शर्तों के अधीन:

यह सिद्धांत (बिना परिवर्तन के) किसी भी संख्या में चर, साथ ही अतिरिक्त शर्तों पर लागू किया जा सकता है। समतल x 1, x 2 (चित्र 1) पर विचार करें। सूत्र (8) के अनुसार, प्रत्येक बिंदु F के एक निश्चित मान से मेल खाता है। चित्र 1 में, इस तल से संबंधित रेखाएँ F = const बिंदु M * के आसपास बंद वक्रों द्वारा दर्शायी जाती हैं, जहाँ F न्यूनतम है। मान लीजिए प्रारंभिक क्षण में मान x 1 और x 2 बिंदु M 0 के अनुरूप हैं। गणना चक्र परीक्षण चरणों की एक श्रृंखला के साथ शुरू होता है। सबसे पहले, x 1 को एक छोटा वेतन वृद्धि दी जाती है; इस समय, x 2 का मान अपरिवर्तित है। फिर एफ के मूल्य में परिणामी वृद्धि निर्धारित की जाती है, जिसे आंशिक व्युत्पन्न के मूल्य के समानुपाती माना जा सकता है

(यदि मान हमेशा समान होता है)।

आंशिक व्युत्पन्न (10) और (11) की परिभाषा का अर्थ है कि निर्देशांक वाला एक वेक्टर और पाया जाता है, जिसे F का ग्रेडिएंट कहा जाता है और इसे निम्नानुसार दर्शाया जाता है:

यह ज्ञात है कि इस वेक्टर की दिशा एफ के मूल्य में सबसे तेज वृद्धि की दिशा के साथ मेल खाती है। इसके विपरीत दिशा "सबसे तेज वंश" है, दूसरे शब्दों में, एफ के मूल्य में सबसे तेज कमी।

ढाल के घटकों को खोजने के बाद, परीक्षण आंदोलनों को रोक दिया जाता है और काम करने के चरणों को ढाल की दिशा के विपरीत दिशा में किया जाता है, और चरण का आकार जितना बड़ा होता है, वेक्टर ग्रेड एफ का निरपेक्ष मान उतना ही अधिक होता है। शर्तों को महसूस किया जाता है यदि कार्य चरणों के मूल्य और आंशिक डेरिवेटिव के पहले प्राप्त मूल्यों के समानुपाती हैं:

जहां बी एक सकारात्मक स्थिरांक है।

प्रत्येक कार्य चरण के बाद, F की वृद्धि का अनुमान लगाया जाता है। यदि यह नकारात्मक हो जाता है, तो आंदोलन सही दिशा में है और आपको उसी दिशा में आगे बढ़ने की आवश्यकता है M 0 M 1 आगे। यदि बिंदु एम 1 पर माप परिणाम दिखाता है कि, तो काम करने की गति बंद हो जाती है और परीक्षण आंदोलनों की एक नई श्रृंखला शुरू होती है। इस मामले में, ग्रेडिएंट ग्रेडएफ एक नए बिंदु एम 1 पर निर्धारित किया जाता है, फिर काम करने की गति सबसे तेज वंश की नई मिली दिशा के साथ जारी रहती है, यानी लाइन के साथ एम 1 एम 2 , आदि। इस विधि को सबसे तेज अवतरण/सबसे तेज चढ़ाई विधि कहा जाता है।

जब सिस्टम न्यूनतम के पास होता है, जो कि मात्रा के एक छोटे से मूल्य द्वारा इंगित किया जाता है

एक अधिक "सतर्क" खोज विधि, तथाकथित ढाल विधि के लिए एक स्विच है। यह सबसे तेज अवरोही विधि से भिन्न है जिसमें ग्रेडिएंट ग्रेडफ का निर्धारण करने के बाद, केवल एक कार्यशील चरण बनाया जाता है, और फिर एक नए बिंदु पर परीक्षण आंदोलनों की एक श्रृंखला फिर से शुरू होती है। खोज की यह विधि सबसे तेज अवरोही विधि की तुलना में न्यूनतम की अधिक सटीक स्थापना प्रदान करती है, जबकि बाद वाली आपको न्यूनतम तक जल्दी पहुंचने की अनुमति देती है। यदि खोज के दौरान बिंदु M अनुमेय क्षेत्र की सीमा तक पहुँचता है और कम से कम एक मान M 1 , M 2 संकेत बदलता है, तो विधि बदल जाती है और बिंदु M क्षेत्र की सीमा के साथ आगे बढ़ना शुरू कर देता है।

खड़ी चढ़ाई विधि की प्रभावशीलता चर के पैमाने और प्रतिक्रिया सतह के प्रकार की पसंद पर निर्भर करती है। गोलाकार आकृति वाली सतह इष्टतम तक तेजी से संकुचन सुनिश्चित करती है।

खड़ी चढ़ाई विधि के नुकसान में शामिल हैं:

1. एक्सट्रपलेशन की सीमा। ढाल के साथ चलते हुए, हम संबंधित चर के संबंध में उद्देश्य फ़ंक्शन के आंशिक डेरिवेटिव के एक्सट्रपलेशन पर भरोसा करते हैं। हालांकि, प्रतिक्रिया सतह का आकार बदल सकता है और खोज की दिशा बदलना आवश्यक है। दूसरे शब्दों में, विमान पर गति निरंतर नहीं हो सकती है।

2. वैश्विक इष्टतम खोजने में कठिनाई। विधि केवल स्थानीय ऑप्टिमा खोजने के लिए लागू है।

ग्रेडिएंट वेक्टर को किसी दिए गए बिंदु पर फ़ंक्शन की सबसे तेज़ वृद्धि की ओर निर्देशित किया जाता है। ग्रेडिएंट -ग्रेड (/ (x)) के विपरीत वेक्टर को एंटी-ग्रेडिएंट कहा जाता है और इसे फ़ंक्शन के सबसे तेज़ कमी की दिशा में निर्देशित किया जाता है। न्यूनतम बिंदु पर, फ़ंक्शन का ग्रेडिएंट शून्य है। प्रथम-क्रम विधियाँ, जिन्हें ग्रेडिएंट विधियाँ भी कहा जाता है, ग्रेडिएंट के गुणों पर आधारित होती हैं। यदि कोई अतिरिक्त जानकारी नहीं है, तो शुरुआती बिंदु से x (0 > बिंदु पर जाना बेहतर है x (1) , एंटीग्रेडिएंट की दिशा में झूठ बोलना - फ़ंक्शन में सबसे तेज़ कमी। एंटीग्रेडिएंट -ग्रेड चुनना ( /(x (^)) बिंदु पर एक्स (सेहम फॉर्म की एक पुनरावृत्त प्रक्रिया प्राप्त करते हैं

समन्वय रूप में, यह प्रक्रिया इस प्रकार लिखी जाती है:

पुनरावृत्ति प्रक्रिया को रोकने के लिए एक मानदंड के रूप में, कोई भी शर्त (10.2) या ढाल की छोटीता के लिए शर्त की पूर्ति का उपयोग कर सकता है

एक संयुक्त मानदंड भी संभव है, जिसमें संकेतित शर्तों की एक साथ पूर्ति शामिल है।

चरण आकार चुनने के तरीके में ढाल विधियां एक-दूसरे से भिन्न होती हैं। एकनिरंतर चरण विधि में, सभी पुनरावृत्तियों के लिए कुछ स्थिर चरण मान चुना जाता है। बहुत छोटा कदम ए ^सुनिश्चित करता है कि फ़ंक्शन घटता है, अर्थात। असमानता की पूर्ति

हालांकि, इससे न्यूनतम बिंदु तक पहुंचने के लिए पर्याप्त रूप से बड़ी संख्या में पुनरावृत्तियों को करने की आवश्यकता हो सकती है। दूसरी ओर, बहुत बड़ा कदम फ़ंक्शन को बढ़ने या न्यूनतम बिंदु के आसपास उतार-चढ़ाव का कारण बन सकता है। चरण आकार का चयन करने के लिए अतिरिक्त जानकारी की आवश्यकता होती है, इसलिए अभ्यास में निरंतर चरण वाली विधियों का उपयोग शायद ही कभी किया जाता है।

अधिक विश्वसनीय और किफायती (पुनरावृत्तियों की संख्या के संदर्भ में) एक चर चरण के साथ ढाल विधियां हैं, जब प्राप्त सन्निकटन के आधार पर, चरण का आकार किसी तरह से बदलता है। इस तरह की एक विधि के उदाहरण के रूप में, सबसे तेज वंश विधि पर विचार करें। इस पद्धति में, प्रत्येक पुनरावृत्ति पर, चरण मान n* को अवरोह की दिशा में न्यूनतम फ़ंक्शन /(x) की स्थिति से चुना जाता है, अर्थात।

इस स्थिति का मतलब है कि एंटीग्रेडिएंट के साथ आंदोलन तब तक होता है जब तक फ़ंक्शन f (x) का मान कम हो जाता है। इसलिए, प्रत्येक पुनरावृत्ति पर, फ़ंक्शन के π के संबंध में एक-आयामी न्यूनीकरण की समस्या को हल करना आवश्यक है (λ) =/(x(/r) - - agrad^x^)))। सबसे तेज वंश विधि का एल्गोरिथ्म इस प्रकार है।

• 1. आइए हम प्रारंभिक बिंदु x^° के निर्देशांक सेट करें, अनुमानित समाधान r की सटीकता। हम सेट करते हैं क = 0.
• 2. बिंदु x (/z) पर हम ग्रेडिएंट ग्रेड (/(x (^)) के मान की गणना करते हैं।
• 3. चरण आकार निर्धारित करें ए ^फ़ंक्शन cp(i) के i के संबंध में एक-आयामी न्यूनीकरण द्वारा।
• 4. हम सूत्र (10.4) के अनुसार न्यूनतम बिंदु x (* +1 >) के लिए एक नया सन्निकटन परिभाषित करते हैं।
• 5. पुनरावृति प्रक्रिया को रोकने के लिए शर्तों की जाँच करें। अगर वे संतुष्ट हैं, तो गणना बंद हो जाती है। वरना हम डाल देते हैं के.के.+1 और चरण 2 पर जाएँ।

सबसे तेज अवरोही विधि में, बिंदु x (*) से गति की दिशा बिंदु x (* +1) पर स्तर रेखा को स्पर्श करती है। अवरोही प्रक्षेपवक्र ज़िगज़ैग है, और आसन्न ज़िगज़ैग लिंक एक दूसरे के लिए ओर्थोगोनल हैं। दरअसल, एक कदम ए ^छोटा करके चुना जाता है एककार्य ( एक) आवश्यक शर्त

फ़ंक्शन का न्यूनतम - = 0. व्युत्पन्न की गणना करना

जटिल कार्य, हम पड़ोसी बिंदुओं पर अवरोही दिशा वैक्टर के लिए ऑर्थोगोनलिटी स्थिति प्राप्त करते हैं:

फ़ंक्शन φ(n) को कम करने की समस्या को एक चर के फ़ंक्शन की जड़ की गणना करने की समस्या तक कम किया जा सकता है जी (ए) =

सुचारू उत्तल कार्यों के लिए एक ज्यामितीय प्रगति की दर से ढाल विधियाँ न्यूनतम में परिवर्तित होती हैं। इस तरह के कार्यों में दूसरे डेरिवेटिव (हेस्से मैट्रिसेस) के मैट्रिक्स का सबसे बड़ा और सबसे छोटा eigenvalues ​​​​है

एक दूसरे से थोड़ा अलग, यानी। मैट्रिक्स एच (एक्स) अच्छी तरह से वातानुकूलित है। हालांकि, व्यवहार में, कम से कम कार्यों में अक्सर दूसरे डेरिवेटिव के खराब स्थिति वाले मैट्रिक्स होते हैं। कुछ दिशाओं में ऐसे कार्यों के मूल्य अन्य दिशाओं की तुलना में बहुत तेजी से बदलते हैं। ढाल विधियों के अभिसरण की दर भी ढाल गणना की सटीकता पर महत्वपूर्ण रूप से निर्भर करती है। सटीकता का नुकसान, जो आमतौर पर न्यूनतम बिंदुओं के आसपास होता है, आमतौर पर ग्रेडिएंट डिसेंट प्रक्रिया के अभिसरण को तोड़ सकता है। इसलिए, किसी समस्या को हल करने के प्रारंभिक चरण में ग्रेडिएंट विधियों का उपयोग अक्सर अन्य, अधिक कुशल विधियों के संयोजन में किया जाता है। इस मामले में, बिंदु x(0) न्यूनतम बिंदु से बहुत दूर है, और एंटीग्रेडिएंट की दिशा में कदम फ़ंक्शन में महत्वपूर्ण कमी प्राप्त करना संभव बनाते हैं।

अप्रतिबंधित अनुकूलन समस्या में कोई प्रतिबंध नहीं हैं।

याद रखें कि एक बहुआयामी फ़ंक्शन का ग्रेडिएंट एक वेक्टर है जो विश्लेषणात्मक रूप से आंशिक डेरिवेटिव के ज्यामितीय योग द्वारा व्यक्त किया जाता है

स्केलर फंक्शन ग्रेडिएंट एफ(एक्स) किसी बिंदु पर यह फ़ंक्शन की सबसे तेज़ वृद्धि की ओर निर्देशित होता है और स्तर रेखा (स्थिर मूल्य की सतह) के लिए ओर्थोगोनल होता है एफ(एक्स), एक बिंदु से गुजरना एक्स क) ग्रेडिएंट के विपरीत वेक्टर एंटीग्रेडिएंट को फ़ंक्शन के सबसे तेज़ कमी की दिशा में निर्देशित किया जाता है एफ(एक्स). चरम बिंदु पर ग्रैड एफ(एक्स)= 0.

ग्रेडिएंट विधियों में, न्यूनतम उद्देश्य फ़ंक्शन की खोज करते समय एक बिंदु की गति को पुनरावृत्त सूत्र द्वारा वर्णित किया जाता है

कहाँ पे  क  चरण पैरामीटर चालू कएंटीग्रेडिएंट के साथ वें पुनरावृत्ति। चढ़ाई के तरीकों (अधिकतम के लिए खोज) के लिए, आपको ढाल के साथ आगे बढ़ने की जरूरत है।

चरण पैरामीटर चुनने के साथ-साथ पिछले चरण में आंदोलन की दिशा को ध्यान में रखते हुए ढाल विधियों के विभिन्न प्रकार एक दूसरे से भिन्न होते हैं। ग्रेडिएंट विधियों के लिए निम्नलिखित विकल्पों पर विचार करें: एक स्थिर चरण के साथ, एक चर चरण पैरामीटर (चरण विभाजन), सबसे तेज वंश विधि और संयुग्म ढाल विधि के साथ।

एक स्थिर चरण पैरामीटर के साथ विधि।इस पद्धति में, प्रत्येक पुनरावृत्ति पर चरण पैरामीटर स्थिर होता है। सवाल उठता है: चरण पैरामीटर का मूल्य व्यावहारिक रूप से कैसे चुनें? पर्याप्त रूप से छोटा कदम पैरामीटर न्यूनतम बिंदु तक पहुंचने के लिए आवश्यक अस्वीकार्य रूप से बड़ी संख्या में पुनरावृत्तियों को जन्म दे सकता है। दूसरी ओर, एक चरण पैरामीटर जो बहुत बड़ा है, न्यूनतम बिंदु को ओवरशूट करने और इस बिंदु के आसपास एक ऑसिलेटरी कम्प्यूटेशनल प्रक्रिया को जन्म दे सकता है। ये परिस्थितियाँ विधि के नुकसान हैं। चूंकि अग्रिम में चरण पैरामीटर के स्वीकार्य मूल्य का अनुमान लगाना असंभव है  क, तो एक चर चरण पैरामीटर के साथ ग्रेडिएंट विधि का उपयोग करना आवश्यक हो जाता है।

जैसे-जैसे यह इष्टतम के करीब पहुंचता है, ग्रेडिएंट वेक्टर परिमाण में घटता जाता है, शून्य की ओर प्रवृत्त होता है, इसलिए, जब  क = स्थिरांक चरण की लंबाई धीरे-धीरे कम हो जाती है। इष्टतम के पास, ग्रेडिएंट वेक्टर की लंबाई शून्य हो जाती है। वेक्टर लंबाई या मानक in एन-आयामी यूक्लिडियन स्थान सूत्र द्वारा निर्धारित किया जाता है

, कहाँ पे एन- चर की संख्या।

इष्टतम की खोज को रोकने के विकल्प:

व्यावहारिक दृष्टिकोण से, तीसरे स्टॉपिंग मानदंड का उपयोग करना अधिक सुविधाजनक है (चूंकि डिज़ाइन पैरामीटर के मान रुचि के हैं), हालांकि, चरम बिंदु की निकटता निर्धारित करने के लिए, आपको दूसरे पर ध्यान केंद्रित करने की आवश्यकता है मानदंड। कम्प्यूटेशनल प्रक्रिया को रोकने के लिए कई मानदंडों का उपयोग किया जा सकता है।

एक उदाहरण पर विचार करें। उद्देश्य फ़ंक्शन का न्यूनतम ज्ञात करें एफ(एक्स) = (एक्स 1  2) 2 + (एक्स 2  4) 2 . समस्या का सटीक समाधान एक्स*= (2.0;4.0)।आंशिक व्युत्पन्न के लिए व्यंजक

,
.

एक चरण चुनें  क = 0.1. आइए शुरुआती बिंदु से खोजें एक्स 1 = . समाधान तालिका के रूप में प्रस्तुत किया गया है।

चरण पैरामीटर विभाजन के साथ ढाल विधि।इस स्थिति में, अनुकूलन प्रक्रिया के दौरान, चरण पैरामीटर k घट जाता है, यदि अगले चरण के बाद, उद्देश्य फ़ंक्शन बढ़ जाता है (जब न्यूनतम की खोज की जाती है)। इस मामले में, चरण की लंबाई अक्सर आधे में विभाजित (विभाजित) होती है, और चरण पिछले बिंदु से दोहराया जाता है। यह चरम बिंदु के लिए अधिक सटीक दृष्टिकोण प्रदान करता है।

सबसे तेज उतरने की विधि।चर चरण विधियाँ पुनरावृत्तियों की संख्या के संदर्भ में अधिक किफायती हैं। यदि प्रतिग्रेडिएंट की दिशा के साथ इष्टतम चरण लंबाई  k एक-आयामी न्यूनीकरण समस्या का समाधान है, तो इस विधि को सबसे तेज वंश विधि कहा जाता है। इस पद्धति में, प्रत्येक पुनरावृत्ति पर, एक-आयामी न्यूनतमकरण की समस्या हल हो जाती है:

एफ (एक्स कश्मीर+1 ) = एफ (एक्स क   क एस क )=मिनट एफ( क ), एस क =  एफ (एक्स);

 क >0

.

इस पद्धति में, एंटीग्रेडिएंट की दिशा में आंदोलन तब तक जारी रहता है जब तक कि उद्देश्य फ़ंक्शन के न्यूनतम तक नहीं पहुंच जाता (जब तक कि उद्देश्य फ़ंक्शन का मान कम न हो जाए)। एक उदाहरण का उपयोग करते हुए, आइए विचार करें कि अज्ञात पैरामीटर के आधार पर प्रत्येक चरण पर उद्देश्य फ़ंक्शन को विश्लेषणात्मक रूप से कैसे लिखा जा सकता है

उदाहरण। मिनट एफ(एक्स 1 , एक्स 2 ) = 2एक्स 1 2 + 4एक्स 2 3 – 3. फिर  एफ(एक्स)= [ 4एक्स 1 ; 12एक्स 2 2 ]. बात करने दो एक्स क = , फलस्वरूप  एफ(एक्स)= [ 8; 12], एफ(एक्स क   एस क ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. यह खोजना आवश्यक है जो इस फ़ंक्शन का न्यूनतम प्रदान करता है।

सबसे तेज वंश एल्गोरिथ्म (न्यूनतम खोजने के लिए)

प्रारंभिक चरण. मान लीजिए रुकने वाला स्थिरांक है। प्रारंभिक बिंदु चुनें एक्स 1 , रखना क = 1 और मुख्य चरण पर जाएं।

बुनियादी कदम. यदि एक || ग्रेडएफ(एक्स)||< , फिर खोज समाप्त करें, अन्यथा निर्धारित करें  एफ(एक्स क ) और ढूंढें  क न्यूनीकरण समस्या का इष्टतम समाधान एफ(एक्स क   क एस क ) पर  क  0. डाल एक्स क +1 = एक्स क   क एस क, सौंपना क =

क + 1 और मुख्य चरण दोहराएं।

स्टीपेस्ट डिसेंट मेथड में एक वेरिएबल के फंक्शन का न्यूनतम पता लगाने के लिए, आप यूनिमॉडल ऑप्टिमाइज़ेशन मेथड्स का उपयोग कर सकते हैं। विधियों के एक बड़े समूह से, द्विभाजन (द्विभाजन) और स्वर्ण खंड की विधि पर विचार करें। अनिमॉडल ऑप्टिमाइज़ेशन विधियों का सार चरम के स्थान की अनिश्चितता के अंतराल को कम करना है।

द्विभाजन विधि (द्विभाजन)प्रारंभिक चरण।विभेदकता स्थिरांक और अनिश्चितता अंतराल की अंतिम लंबाई चुनें मैं. का मान जितना संभव हो उतना छोटा होना चाहिए, हालांकि, फ़ंक्शन के मूल्यों को अलग करने की अनुमति देता है एफ( ) तथा एफ( ) . होने देना [ एक 1 , बी 1 ] प्रारंभिक अनिश्चितता अंतराल। डाल क =

मुख्य चरण में एक ही प्रकार के पुनरावृत्तियों की एक सीमित संख्या होती है।

के-वें पुनरावृत्ति।

स्टेप 1।यदि एक बी क  एक क  मैं, तो गणना समाप्त हो जाती है। समाधान एक्स * = (एक क + बी क )/2. अन्यथा

,
.

चरण दोयदि एक एफ( क ) < एफ( क ), रखना एक क +1 = एक क ; बी क +1 =  क. अन्यथा एक क +1 =  कतथा बी क +1 = बी क. सौंपना क = क + 1 और चरण 1 पर जाएँ।

गोल्डन सेक्शन विधि।द्विभाजन विधि की तुलना में अधिक कुशल विधि। आपको कम पुनरावृत्तियों में अनिश्चितता अंतराल का दिया गया मान प्राप्त करने की अनुमति देता है और उद्देश्य फ़ंक्शन की कम गणना की आवश्यकता होती है। इस पद्धति में, अनिश्चितता अंतराल के नए विभाजन बिंदु की गणना एक बार की जाती है। नया बिंदु कुछ दूरी पर रखा गया है

= 0.618034 अंतराल के अंत से।

गोल्डन रेश्यो एल्गोरिथम

प्रारंभिक चरण।अनिश्चितता अंतराल की स्वीकार्य परिमित लंबाई चुनें मैं > 0. होने देना [ एक 1 , बी 1 ] प्रारंभिक अनिश्चितता अंतराल। डाल  1 = एक 1 +(1   )(बी 1  एक 1 ) तथा  1 = एक 1 +  (बी 1  एक 1 ) , कहाँ पे  = 0,618 . गणना एफ( 1 ) तथा एफ( 1 ) , रखना क = 1 और मुख्य चरण पर जाएं।

स्टेप 1।यदि एक बी क  एक क  मैं, तब गणना समाप्त होती है एक्स * = (एक क + बी क )/ 2. अन्यथा, यदि एफ( क ) > एफ( क ) , फिर चरण 2 पर जाएँ; यदि एफ( क )  एफ( क ) , चरण 3 पर जाएँ।

चरण दोडाल एक क +1 =  क , बी क +1 = बी क ,  क +1 =  क ,  क +1 = एक क +1 +  (बी क +1 – एक क +1 ). गणना एफ( क +1 ), चरण 4 पर जाएं।

चरण 3डाल एक क +1 = एक क , बी क +1 =  क ,  क +1 =  क ,  क +1 = एक क +1 + (1   )(बी क +1 – एक क +1 ). गणना एफ( क +1 ).

चरण 4सौंपना क = क + 1, चरण 1 पर जाएं।

पहले पुनरावृत्ति में, फ़ंक्शन के दो मूल्यांकनों की आवश्यकता होती है, बाद के सभी पुनरावृत्तियों में, केवल एक।

संयुग्म ढाल विधि (फ्लेचर-रीव्स)।इस पद्धति में, आंदोलन की दिशा का चुनाव क+ 1 कदम दिशा परिवर्तन को ध्यान में रखता है ककदम। डिसेंट डायरेक्शन वेक्टर एंटी-ग्रेडिएंट डायरेक्शन और पिछली सर्च डायरेक्शन का एक लीनियर कॉम्बिनेशन है। इस मामले में, जब खड्ड कार्यों (संकीर्ण लंबी गर्त के साथ) को कम करते हैं, तो खोज खड्ड के लंबवत नहीं होती है, बल्कि इसके साथ होती है, जो आपको जल्दी से न्यूनतम तक पहुंचने की अनुमति देती है। संयुग्म ढाल विधि का उपयोग करके एक चरम सीमा की खोज करते समय, बिंदु निर्देशांक की गणना अभिव्यक्ति द्वारा की जाती है एक्स क +1 = एक्स क   वी क +1 , कहाँ पे वी क +1 निम्नलिखित व्यंजक द्वारा परिकलित एक सदिश है:

.

पहला पुनरावृत्ति आमतौर पर निर्भर करता है वी = 0 और एंटी-ग्रेडिएंट सर्च किया जाता है, जैसा कि सबसे तेज डिसेंट मेथड में होता है। फिर गति की दिशा एंटीग्रेडिएंट की दिशा से जितनी अधिक विचलित होती है, उतनी ही महत्वपूर्ण रूप से ग्रेडिएंट वेक्टर की लंबाई अंतिम पुनरावृत्ति में बदल जाती है। बाद में एनएल्गोरिथम के संचालन को ठीक करने के लिए कदम एंटीग्रेडिएंट के साथ सामान्य कदम उठाते हैं।

संयुग्म ढाल विधि का एल्गोरिथ्म

स्टेप 1।प्रारंभ बिंदु दर्ज करें एक्स 0 , शुद्धता  , आयाम एन.

चरण दोडाल क = 1.

चरण 3वेक्टर रखो वी क = 0.

चरण 4गणना ग्रैड एफ(एक्स क ).

चरण 5वेक्टर की गणना करें वी क +1.

चरण 6 1D वेक्टर खोज करें वी क +1.

चरण 7यदि एक क < एन, रखना क = क + 1 और चरण 4 पर जाएँ अन्यथा चरण 8 पर जाएँ।

चरण 8यदि वेक्टर की लंबाई वीसे कम, खोज समाप्त करें, अन्यथा चरण 2 पर जाएं।

संयुग्म दिशा विधि न्यूनीकरण समस्याओं को हल करने में सबसे प्रभावी में से एक है। एक आयामी खोज के संयोजन के साथ विधि अक्सर सीएडी में अभ्यास में प्रयोग की जाती है। हालांकि, यह ध्यान दिया जाना चाहिए कि यह गणना प्रक्रिया के दौरान होने वाली त्रुटियों के प्रति संवेदनशील है।

ढाल के तरीकों के नुकसान

बड़ी संख्या में चर के साथ समस्याओं में, विश्लेषणात्मक कार्यों के रूप में डेरिवेटिव प्राप्त करना मुश्किल या असंभव है।

अंतर योजनाओं का उपयोग करके डेरिवेटिव की गणना करते समय, परिणामी त्रुटि, विशेष रूप से एक चरम सीमा के आसपास, इस तरह के अनुमान की संभावनाओं को सीमित करती है।