Ανασκόπηση μεθόδων κλίσης σε προβλήματα μαθηματικής βελτιστοποίησης. μέθοδοι κλίσης

μέθοδοι κλίσης

Οι μέθοδοι βελτιστοποίησης χωρίς περιορισμούς κλίσης χρησιμοποιούν μόνο τις πρώτες παραγώγους της αντικειμενικής συνάρτησης και είναι μέθοδοι γραμμικής προσέγγισης σε κάθε βήμα, δηλ. η αντικειμενική συνάρτηση σε κάθε βήμα αντικαθίσταται από ένα εφαπτόμενο υπερεπίπεδο στο γράφημά της στο τρέχον σημείο.

Στο k-ο στάδιο των μεθόδων κλίσης, η μετάβαση από το σημείο Xk στο σημείο Xk+1 περιγράφεται από τη σχέση:

όπου k είναι το μέγεθος βήματος, k είναι ένα διάνυσμα προς την κατεύθυνση Xk+1-Xk.

Οι πιο απότομες μέθοδοι καθόδου

Για πρώτη φορά, μια τέτοια μέθοδος εξετάστηκε και εφαρμόστηκε από τον O. Cauchy τον 18ο αιώνα. Η ιδέα του είναι απλή: η κλίση της αντικειμενικής συνάρτησης f(X) σε οποιοδήποτε σημείο είναι ένα διάνυσμα προς την κατεύθυνση της μεγαλύτερης αύξησης της τιμής της συνάρτησης. Επομένως, η αντιδιαβάθμιση θα κατευθύνεται προς τη μεγαλύτερη μείωση της συνάρτησης και είναι η κατεύθυνση της πιο απότομης καθόδου. Η αντικλίση (και η κλίση) είναι ορθογώνια στην επίπεδη επιφάνεια f(X) στο σημείο Χ. Αν στο (1.2) εισάγουμε την κατεύθυνση

τότε αυτή θα είναι η κατεύθυνση της πιο απότομης καθόδου στο σημείο Xk.

Παίρνουμε τον τύπο μετάβασης από το Xk στο Xk+1:

Το anti-gradient δίνει μόνο την κατεύθυνση της καθόδου, όχι το μέγεθος του βήματος. Γενικά, ένα βήμα δεν δίνει ελάχιστο βαθμό, επομένως η διαδικασία κατάβασης πρέπει να εφαρμοστεί αρκετές φορές. Στο ελάχιστο σημείο, όλα τα στοιχεία της κλίσης είναι ίσα με μηδέν.

Όλες οι μέθοδοι κλίσης χρησιμοποιούν την παραπάνω ιδέα και διαφέρουν μεταξύ τους σε τεχνικές λεπτομέρειες: υπολογισμός παραγώγων με αναλυτικό τύπο ή προσέγγιση πεπερασμένων διαφορών. το μέγεθος του βήματος μπορεί να είναι σταθερό, να αλλάζει σύμφωνα με κάποιους κανόνες ή να επιλεγεί μετά την εφαρμογή μονοδιάστατων μεθόδων βελτιστοποίησης προς την κατεύθυνση της αντιδιαβάθμισης κ.λπ. και ούτω καθεξής.

Δεν θα σταθούμε λεπτομερώς, γιατί. Η μέθοδος της πιο απότομης κατάβασης γενικά δεν συνιστάται ως σοβαρή διαδικασία βελτιστοποίησης.

Ένα από τα μειονεκτήματα αυτής της μεθόδου είναι ότι συγκλίνει σε οποιοδήποτε ακίνητο σημείο, συμπεριλαμβανομένου του σημείου σέλας, το οποίο δεν μπορεί να αποτελέσει λύση.

Αλλά το πιο σημαντικό είναι η πολύ αργή σύγκλιση της πιο απότομης κατάβασης στη γενική περίπτωση. Το θέμα είναι ότι η κατάβαση είναι «η πιο γρήγορη» με την τοπική έννοια. Εάν ο υπερχώρος αναζήτησης είναι έντονα επιμήκης ("φαράγγι"), τότε η αντίστροφη κλίση κατευθύνεται σχεδόν ορθογώνια προς το κάτω μέρος της "ρεματιάς", δηλ. η καλύτερη κατεύθυνση για να φτάσετε στο ελάχιστο. Υπό αυτή την έννοια, μια άμεση μετάφραση του αγγλικού όρου «steepest descent», δηλ. η κάθοδος κατά μήκος της πιο απότομης πλαγιάς είναι πιο συνεπής με την κατάσταση των πραγμάτων παρά ο όρος "ο ταχύτερος" που υιοθετείται στη ρωσόφωνη εξειδικευμένη βιβλιογραφία. Μία διέξοδος σε αυτήν την περίπτωση είναι να χρησιμοποιήσετε τις πληροφορίες που δίνονται από τις δεύτερες μερικές παράγωγες. Μια άλλη διέξοδος είναι να αλλάξετε τις κλίμακες των μεταβλητών.

γραμμική κλίση παραγώγου προσέγγισης

Μέθοδος συζυγούς κλίσης Fletcher-Reeves

Η μέθοδος συζυγούς κλίσης κατασκευάζει μια ακολουθία κατευθύνσεων αναζήτησης που είναι γραμμικοί συνδυασμοί της τρέχουσας πιο απότομης κατεύθυνσης καθόδου και των προηγούμενων κατευθύνσεων αναζήτησης, δηλ.

και οι συντελεστές επιλέγονται έτσι ώστε οι οδηγίες αναζήτησης να συζευχθούν. Το απέδειξε

και αυτό είναι ένα πολύ πολύτιμο αποτέλεσμα που σας επιτρέπει να δημιουργήσετε έναν γρήγορο και αποτελεσματικό αλγόριθμο βελτιστοποίησης.

Αλγόριθμος Fletcher-Reeves

1. Στο Χ0 υπολογίζεται.

2. Στο kο βήμα, χρησιμοποιώντας μονοδιάστατη αναζήτηση προς την κατεύθυνση, βρίσκεται το ελάχιστο της f(X), που καθορίζει το σημείο Xk+1.

• 3. Υπολογίστε f(Xk+1) και.
• 4. Η κατεύθυνση καθορίζεται από την αναλογία:

• 5. Μετά την επανάληψη (n+1)-th (δηλαδή με k=n), εκτελείται επανεκκίνηση: Υποτίθεται ότι X0=Xn+1 και εκτελείται η μετάβαση στο βήμα 1.
• 6. Ο αλγόριθμος σταματά όταν

όπου είναι μια αυθαίρετη σταθερά.

Το πλεονέκτημα του αλγόριθμου Fletcher-Reeves είναι ότι δεν απαιτεί αντιστροφή μήτρας και εξοικονομεί μνήμη υπολογιστή, αφού δεν χρειάζεται τους πίνακες που χρησιμοποιούνται στις Νευτώνειες μεθόδους, αλλά ταυτόχρονα είναι σχεδόν εξίσου αποτελεσματικός με τους οιονεί νευτώνειους αλγόριθμους. Επειδή Οι οδηγίες αναζήτησης είναι αμοιβαία συζευγμένες, τότε η τετραγωνική συνάρτηση θα ελαχιστοποιηθεί σε όχι περισσότερα από n βήματα. Στη γενική περίπτωση, χρησιμοποιείται επανεκκίνηση, η οποία σας επιτρέπει να λάβετε το αποτέλεσμα.

Ο αλγόριθμος Fletcher-Reeves είναι ευαίσθητος στην ακρίβεια μιας μονοδιάστατης αναζήτησης, επομένως τυχόν σφάλματα στρογγυλοποίησης που ενδέχεται να προκύψουν πρέπει να διορθώνονται κατά τη χρήση του. Επίσης, ο αλγόριθμος μπορεί να αποτύχει σε καταστάσεις όπου ο Hessian γίνεται κακή. Ο αλγόριθμος δεν έχει καμία εγγύηση σύγκλισης πάντα και παντού, αν και η πρακτική δείχνει ότι ο αλγόριθμος σχεδόν πάντα δίνει ένα αποτέλεσμα.

Νευτώνειες μέθοδοι

Η κατεύθυνση αναζήτησης που αντιστοιχεί στην πιο απότομη κάθοδο συνδέεται με μια γραμμική προσέγγιση της αντικειμενικής συνάρτησης. Οι μέθοδοι που χρησιμοποιούν δεύτερες παραγώγους προέκυψαν από μια τετραγωνική προσέγγιση της αντικειμενικής συνάρτησης, δηλαδή κατά την επέκταση της συνάρτησης σε μια σειρά Taylor, οι όροι της τρίτης και ανώτερης τάξης απορρίπτονται.

πού είναι η μήτρα της Έσσης.

Το ελάχιστο της δεξιάς πλευράς (αν υπάρχει) επιτυγχάνεται στην ίδια θέση με το ελάχιστο της τετραγωνικής μορφής. Ας γράψουμε έναν τύπο για τον προσδιορισμό της κατεύθυνσης της αναζήτησης:

Το ελάχιστο επιτυγχάνεται στο

Ένας αλγόριθμος βελτιστοποίησης στον οποίο η κατεύθυνση αναζήτησης καθορίζεται από αυτή τη σχέση ονομάζεται μέθοδος του Newton και η κατεύθυνση είναι η κατεύθυνση του Newton.

Σε προβλήματα εύρεσης του ελάχιστου μιας αυθαίρετης τετραγωνικής συνάρτησης με θετικό πίνακα δεύτερων παραγώγων, η μέθοδος του Newton δίνει λύση σε μία επανάληψη, ανεξάρτητα από την επιλογή του σημείου εκκίνησης.

Ταξινόμηση Νευτώνειων Μεθόδων

Στην πραγματικότητα, η μέθοδος του Νεύτωνα συνίσταται σε μία μόνο εφαρμογή της Νευτώνειας κατεύθυνσης για τη βελτιστοποίηση της τετραγωνικής συνάρτησης. Αν η συνάρτηση δεν είναι τετραγωνική, τότε ισχύει το παρακάτω θεώρημα.

Θεώρημα 1.4. Εάν ο πίνακας Hessian μιας γενικής μη γραμμικής συνάρτησης f στο ελάχιστο σημείο X* είναι θετικός-ορισμένος, το σημείο εκκίνησης επιλέγεται αρκετά κοντά στο X* και τα μήκη βημάτων επιλέγονται σωστά, τότε η μέθοδος του Newton συγκλίνει στο X* με τετραγωνική ταχύτητα.

Η μέθοδος του Newton θεωρείται η μέθοδος αναφοράς και όλες οι αναπτυγμένες διαδικασίες βελτιστοποίησης συγκρίνονται με αυτήν. Ωστόσο, η μέθοδος του Νεύτωνα λειτουργεί μόνο με έναν θετικό-ορισμένο και καλά ρυθμισμένο πίνακα Hessian (η ορίζουσα του πρέπει να είναι ουσιαστικά μεγαλύτερη από το μηδέν, πιο συγκεκριμένα, ο λόγος της μεγαλύτερης και της μικρότερης ιδιοτιμής πρέπει να είναι κοντά στο ένα). Για να εξαλειφθεί αυτό το μειονέκτημα, χρησιμοποιούνται τροποποιημένες Νευτώνειες μέθοδοι, χρησιμοποιώντας όσο το δυνατόν περισσότερο Νευτώνειες κατευθύνσεις και παρεκκλίνοντας από αυτές μόνο όταν είναι απαραίτητο.

Η γενική αρχή των τροποποιήσεων στη μέθοδο του Νεύτωνα είναι η εξής: σε κάθε επανάληψη, αρχικά κατασκευάζεται κάποιος θετικός-καθορισμένος πίνακας "σχετιζόμενος" και στη συνέχεια υπολογίζεται με τον τύπο

Δεδομένου ότι είναι θετική οριστική, τότε - θα είναι αναγκαστικά η κατεύθυνση της καθόδου. Η διαδικασία κατασκευής είναι οργανωμένη έτσι ώστε να συμπίπτει με τον Hessian matrix εάν είναι θετική οριστική. Αυτές οι διαδικασίες χτίζονται με βάση ορισμένες επεκτάσεις μήτρας.

Μια άλλη ομάδα μεθόδων, οι οποίες είναι σχεδόν τόσο γρήγορες όσο η μέθοδος του Newton, βασίζεται στην προσέγγιση του πίνακα της Έσσης χρησιμοποιώντας πεπερασμένες διαφορές, επειδή δεν είναι απαραίτητο να χρησιμοποιηθούν οι ακριβείς τιμές των παραγώγων για βελτιστοποίηση. Αυτές οι μέθοδοι είναι χρήσιμες όταν ο αναλυτικός υπολογισμός των παραγώγων είναι δύσκολος ή απλά αδύνατος. Τέτοιες μέθοδοι ονομάζονται διακριτές μέθοδοι Newton.

Το κλειδί για την αποτελεσματικότητα των μεθόδων Νευτώνειου τύπου είναι η λήψη υπόψη πληροφοριών σχετικά με την καμπυλότητα της συνάρτησης που ελαχιστοποιείται, η οποία περιέχεται στον πίνακα Hessian και καθιστά δυνατή τη δημιουργία τοπικά ακριβών τετραγωνικών μοντέλων της αντικειμενικής συνάρτησης. Αλλά είναι δυνατό να συλλεχθούν και να συσσωρευτούν πληροφορίες σχετικά με την καμπυλότητα μιας συνάρτησης με βάση την παρατήρηση της αλλαγής στη διαβάθμιση κατά τις επαναλήψεις της καθόδου.

Οι αντίστοιχες μέθοδοι που βασίζονται στη δυνατότητα προσέγγισης της καμπυλότητας μιας μη γραμμικής συνάρτησης χωρίς τον ρητό σχηματισμό της μήτρας της Έσσης ονομάζονται οιονεί νευτώνειες μέθοδοι.

Σημειώστε ότι κατά την κατασκευή μιας διαδικασίας βελτιστοποίησης του Νευτώνειου τύπου (συμπεριλαμβανομένης της οιονεί Νευτώνειας), είναι απαραίτητο να ληφθεί υπόψη η πιθανότητα εμφάνισης ενός σημείου σέλας. Σε αυτήν την περίπτωση, το διάνυσμα της καλύτερης κατεύθυνσης αναζήτησης θα κατευθύνεται πάντα στο σημείο της σέλας, αντί να απομακρύνεται από αυτό προς την κατεύθυνση "κάτω".

Μέθοδος Newton-Raphson

Αυτή η μέθοδος συνίσταται στην επαναλαμβανόμενη χρήση της Νευτώνειας κατεύθυνσης κατά τη βελτιστοποίηση συναρτήσεων που δεν είναι τετραγωνικές.

Βασικός επαναληπτικός τύπος για βελτιστοποίηση πολλαπλών μεταβλητών

χρησιμοποιείται σε αυτή τη μέθοδο κατά την επιλογή της κατεύθυνσης βελτιστοποίησης από τη σχέση

Το πραγματικό μήκος βήματος είναι κρυμμένο στη μη κανονικοποιημένη Νευτώνεια κατεύθυνση.

Εφόσον αυτή η μέθοδος δεν απαιτεί την τιμή της αντικειμενικής συνάρτησης στο τρέχον σημείο, μερικές φορές ονομάζεται μέθοδος έμμεσης ή αναλυτικής βελτιστοποίησης. Η ικανότητά του να προσδιορίζει το ελάχιστο μιας τετραγωνικής συνάρτησης σε έναν υπολογισμό φαίνεται εξαιρετικά ελκυστική με την πρώτη ματιά. Ωστόσο, αυτός ο «ενιαίος υπολογισμός» είναι δαπανηρός. Πρώτα απ 'όλα, είναι απαραίτητο να υπολογιστούν n επιμέρους παράγωγοι της πρώτης τάξης και n(n+1)/2 - της δεύτερης. Επιπλέον, η μήτρα Hessian πρέπει να αντιστραφεί. Αυτό απαιτεί ήδη περίπου n3 υπολογιστικές πράξεις. Με το ίδιο κόστος, οι μέθοδοι συζευγμένης κατεύθυνσης ή οι μέθοδοι συζευγμένης κλίσης μπορούν να κάνουν περίπου n βήματα, δηλ. επιτυγχάνουν σχεδόν το ίδιο αποτέλεσμα. Έτσι, η επανάληψη της μεθόδου Newton-Raphson δεν παρέχει πλεονεκτήματα στην περίπτωση μιας τετραγωνικής συνάρτησης.

Αν η συνάρτηση δεν είναι τετραγωνική, τότε

• - η αρχική κατεύθυνση ήδη, σε γενικές γραμμές, δεν υποδεικνύει το πραγματικό ελάχιστο σημείο, πράγμα που σημαίνει ότι οι επαναλήψεις πρέπει να επαναλαμβάνονται επανειλημμένα.
• - ένα βήμα μοναδιαίου μήκους μπορεί να οδηγήσει σε ένα σημείο με χειρότερη τιμή της αντικειμενικής συνάρτησης και η αναζήτηση μπορεί να δώσει τη λάθος κατεύθυνση εάν, για παράδειγμα, η Έσσια δεν είναι θετική οριστική.
• - το Hessian μπορεί να γίνει άρρωστο, καθιστώντας αδύνατη την αναστροφή του, δηλ. καθορίζοντας την κατεύθυνση για την επόμενη επανάληψη.

Η ίδια η στρατηγική δεν διακρίνει ποιο σταθερό σημείο (ελάχιστο, μέγιστο, σημείο σέλας) πλησιάζει η αναζήτηση και ο υπολογισμός των τιμών της αντικειμενικής συνάρτησης, με τις οποίες θα ήταν δυνατό να εντοπιστεί εάν η συνάρτηση αυξάνεται, δεν γίνεται. Έτσι, όλα εξαρτώνται από το ακίνητο σημείο στη ζώνη έλξης είναι το σημείο εκκίνησης της αναζήτησης. Η στρατηγική Newton-Raphson σπάνια χρησιμοποιείται μόνη της χωρίς τροποποίηση του ενός ή του άλλου είδους.

Μέθοδοι Pearson

Ο Pearson πρότεινε διάφορες μεθόδους για την προσέγγιση του αντίστροφου Hessian χωρίς να υπολογίζει ρητά τις δεύτερες παραγώγους, δηλ. παρατηρώντας αλλαγές στην κατεύθυνση της αντιδιαβάθμισης. Σε αυτή την περίπτωση, λαμβάνονται συζευγμένες οδηγίες. Αυτοί οι αλγόριθμοι διαφέρουν μόνο σε λεπτομέρειες. Εδώ είναι αυτά που χρησιμοποιούνται ευρύτερα σε εφαρμοσμένους τομείς.

Αλγόριθμος Pearson #2.

Σε αυτόν τον αλγόριθμο, η αντίστροφη Hessian προσεγγίζεται από τον πίνακα Hk που υπολογίζεται σε κάθε βήμα από τον τύπο

Ένας αυθαίρετος θετικός-ορισμένος συμμετρικός πίνακας επιλέγεται ως αρχικός πίνακας H0.

Αυτός ο αλγόριθμος Pearson οδηγεί συχνά σε καταστάσεις όπου ο πίνακας Hk καθίσταται ακατάλληλος, δηλαδή, αρχίζει να ταλαντώνεται, να ταλαντώνεται μεταξύ θετικής οριστικής και μη θετικής οριστικής, ενώ η ορίζουσα του πίνακα είναι κοντά στο μηδέν. Για να αποφευχθεί αυτή η κατάσταση, είναι απαραίτητο να επαναρυθμίζετε τον πίνακα κάθε n βήματα, εξισώνοντάς τον σε H0.

Αλγόριθμος Pearson #3.

Σε αυτόν τον αλγόριθμο, ο πίνακας Hk+1 προσδιορίζεται από τον τύπο

Hk+1 = Hk +

Η διαδρομή καθόδου που δημιουργείται από τον αλγόριθμο είναι παρόμοια με τη συμπεριφορά του αλγόριθμου Davidon-Fletcher-Powell, αλλά τα βήματα είναι ελαφρώς μικρότερα. Ο Pearson πρότεινε επίσης μια παραλλαγή αυτού του αλγορίθμου με μια κυκλική αναδιάταξη του πίνακα.

Προβολικός αλγόριθμος Newton-Raphson

Ο Pearson πρότεινε την ιδέα ενός αλγορίθμου στον οποίο ο πίνακας υπολογίζεται από τη σχέση

H0=R0, όπου ο πίνακας R0 είναι ίδιος με τους αρχικούς πίνακες στους προηγούμενους αλγόριθμους.

Όταν το k είναι πολλαπλάσιο του αριθμού των ανεξάρτητων μεταβλητών n, ο πίνακας Hk αντικαθίσταται από τον πίνακα Rk+1 που υπολογίζεται ως το άθροισμα

Η τιμή Hk(f(Xk+1) - f(Xk)) είναι η προβολή του διανύσματος αύξησης διαβάθμισης (f(Xk+1)-f(Xk)), ορθογώνια σε όλα τα διανύσματα αύξησης κλίσης στα προηγούμενα βήματα. Μετά από κάθε n βήματα, το Rk είναι μια προσέγγιση του αντίστροφου Hessian H-1(Xk), οπότε στην ουσία εκτελείται μια (περίπου) αναζήτηση Newton.

Μέθοδος Davidon-Fletcher-Powell

Αυτή η μέθοδος έχει άλλα ονόματα - η μέθοδος μεταβλητής μετρικής, η μέθοδος οιονεί Newton, επειδή χρησιμοποιεί και τις δύο αυτές προσεγγίσεις.

Η μέθοδος Davidon-Fletcher-Powell (DFP) βασίζεται στη χρήση Νευτώνειων κατευθύνσεων, αλλά δεν απαιτεί τον υπολογισμό του αντίστροφου Hessian σε κάθε βήμα.

Η κατεύθυνση αναζήτησης στο βήμα k είναι η κατεύθυνση

όπου Hi είναι ένας θετικός-ορισμένος συμμετρικός πίνακας που ενημερώνεται σε κάθε βήμα και, στο όριο, γίνεται ίσος με τον αντίστροφο Έσσιο. Ο πίνακας ταυτότητας επιλέγεται συνήθως ως ο αρχικός πίνακας H. Η επαναληπτική διαδικασία DFT μπορεί να αναπαρασταθεί ως εξής:

• 1. Στο βήμα k, υπάρχει ένα σημείο Xk και ένας θετικός-ορισμένος πίνακας Hk.
• 2. Επιλέξτε ως τη νέα κατεύθυνση αναζήτησης

3. Η μονοδιάστατη αναζήτηση (συνήθως με κυβική παρεμβολή) κατά μήκος της κατεύθυνσης καθορίζει το k ελαχιστοποιώντας τη συνάρτηση.

4. Βασίζεται.

5. Βασίζεται.

6. Καθορίζεται από και. Εάν το Vk ή είναι αρκετά μικρό, η διαδικασία τερματίζεται.

• 7. Σετ Uk = f(Xk+1) - f(Xk).
• 8. Το Matrix Hk ενημερώνεται σύμφωνα με τον τύπο

9. Αυξήστε το k κατά ένα και επιστρέψτε στο βήμα 2.

Η μέθοδος είναι αποτελεσματική στην πράξη εάν το σφάλμα υπολογισμού της κλίσης είναι μικρό και ο πίνακας Hk δεν ρυθμίζεται άσχημα.

Ο πίνακας Ak εξασφαλίζει τη σύγκλιση του Hk στο G-1, ο πίνακας Bk εξασφαλίζει τη θετική οριστικότητα του Hk+1 σε όλα τα στάδια και αποκλείει το H0 στο όριο.

Στην περίπτωση τετραγωνικής συνάρτησης

εκείνοι. ο αλγόριθμος DFP χρησιμοποιεί συζευγμένες οδηγίες.

Έτσι, η μέθοδος DFT χρησιμοποιεί τόσο τις ιδέες της Νευτώνειας προσέγγισης όσο και τις ιδιότητες των συζευγμένων κατευθύνσεων, και όταν ελαχιστοποιείται η τετραγωνική συνάρτηση, συγκλίνει σε όχι περισσότερες από n επαναλήψεις. Εάν η συνάρτηση που βελτιστοποιείται έχει μια μορφή κοντά σε μια τετραγωνική συνάρτηση, τότε η μέθοδος DFP είναι αποτελεσματική λόγω μιας καλής προσέγγισης του G-1 (μέθοδος του Newton). Εάν η αντικειμενική συνάρτηση έχει γενική μορφή, τότε η μέθοδος DFP είναι αποτελεσματική λόγω της χρήσης συζευγμένων κατευθύνσεων.

Μέθοδοι βελτιστοποίησης κλίσης

Τα προβλήματα βελτιστοποίησης με μη γραμμικές ή δύσκολες στον υπολογισμό σχέσεις που καθορίζουν το κριτήριο και τους περιορισμούς βελτιστοποίησης αποτελούν αντικείμενο μη γραμμικού προγραμματισμού. Κατά κανόνα, λύσεις σε προβλήματα μη γραμμικού προγραμματισμού μπορούν να βρεθούν μόνο με αριθμητικές μεθόδους που χρησιμοποιούν τεχνολογία υπολογιστών. Μεταξύ αυτών, οι πιο συχνά χρησιμοποιούμενες είναι οι μέθοδοι κλίσης (μέθοδοι χαλάρωσης, κλίση, πιο απότομη κάθοδος και ανάβαση), μέθοδοι ντετερμινιστικής αναζήτησης χωρίς κλίση (μέθοδοι σάρωσης, simplex, κ.λπ.) και μέθοδοι τυχαίας αναζήτησης. Όλες αυτές οι μέθοδοι χρησιμοποιούνται στον αριθμητικό προσδιορισμό του βέλτιστου και καλύπτονται ευρέως στην εξειδικευμένη βιβλιογραφία.

Στη γενική περίπτωση, η τιμή του κριτηρίου βελτιστοποίησης Rμπορεί να θεωρηθεί ως συνάρτηση R(x β xx..., x n),ορίζεται σε ν-διάστατο χώρο. Εφόσον δεν υπάρχει οπτική γραφική αναπαράσταση ενός ν-διάστατου χώρου, θα χρησιμοποιήσουμε την περίπτωση ενός δισδιάστατου χώρου.

Αν R(μεγάλο x 2)συνεχής στην περιοχή ΡΕ,τότε γύρω από το βέλτιστο σημείο M°(xi°, x z°)είναι δυνατό να σχεδιάσετε μια κλειστή γραμμή σε αυτό το επίπεδο, κατά μήκος της οποίας η τιμή R= συνθ. Υπάρχουν πολλές τέτοιες γραμμές, που ονομάζονται γραμμές ίσων επιπέδων, που μπορούν να σχεδιαστούν γύρω από το βέλτιστο σημείο (ανάλογα με το βήμα

Μεταξύ των μεθόδων που χρησιμοποιούνται για την επίλυση προβλημάτων μη γραμμικού προγραμματισμού, σημαντική θέση καταλαμβάνουν οι μέθοδοι εύρεσης λύσεων που βασίζονται στην ανάλυση της παραγώγου σε σχέση με την κατεύθυνση της συνάρτησης που βελτιστοποιείται. Εάν σε κάθε σημείο του χώρου μια κλιμακωτή συνάρτηση πολλών μεταβλητών παίρνει καλά καθορισμένες τιμές, τότε σε αυτή την περίπτωση έχουμε να κάνουμε με ένα βαθμωτό πεδίο (πεδίο θερμοκρασίας, πεδίο πίεσης, πεδίο πυκνότητας κ.λπ.). Το διανυσματικό πεδίο (το πεδίο των δυνάμεων, ταχυτήτων κ.λπ.) ορίζεται με παρόμοιο τρόπο. Ισόθερμες, ισοβαρείς, ισόχρονες κ.λπ. - όλα αυτά είναι γραμμές (επιφάνειες) ίσων επιπέδων, ίσες τιμές μιας συνάρτησης (θερμοκρασία, πίεση, όγκος κ.λπ.). Εφόσον η τιμή της συνάρτησης αλλάζει από σημείο σε σημείο στο χώρο, καθίσταται απαραίτητος ο προσδιορισμός του ρυθμού μεταβολής της συνάρτησης στο χώρο, δηλαδή της παραγώγου στην κατεύθυνση.

Η έννοια της κλίσης χρησιμοποιείται ευρέως στους μηχανικούς υπολογισμούς για την εύρεση των ακραίων μη γραμμικών συναρτήσεων. Οι μέθοδοι διαβάθμισης είναι αριθμητικές μέθοδοι του τύπου αναζήτησης. Είναι καθολικές και ιδιαίτερα αποτελεσματικές σε περιπτώσεις αναζήτησης άκρων μη γραμμικών συναρτήσεων με περιορισμούς, καθώς και όταν η αναλυτική συνάρτηση είναι εντελώς άγνωστη. Η ουσία αυτών των μεθόδων είναι ο προσδιορισμός των τιμών των μεταβλητών που παρέχουν το άκρο της συνάρτησης στόχου μετακινώντας κατά μήκος της κλίσης (κατά την αναζήτηση Μέγιστη)ή προς την αντίθετη κατεύθυνση (ελάχ.).Οι διάφορες μέθοδοι κλίσης διαφέρουν μεταξύ τους στον τρόπο με τον οποίο καθορίζεται η κίνηση προς το βέλτιστο. Η ουσία είναι ότι αν οι γραμμές είναι ίσα επίπεδα R(xu x i)χαρακτηρίζουν γραφικά την εξάρτηση R(x\jc?),τότε η αναζήτηση για το βέλτιστο σημείο μπορεί να πραγματοποιηθεί με διάφορους τρόπους. Για παράδειγμα, σχεδιάστε ένα πλέγμα σε ένα επίπεδο x\, xrμε ένδειξη αξιών Rστους κόμβους του πλέγματος (Εικ. 2.13).

Στη συνέχεια, μπορείτε να επιλέξετε από τις κομβικές τιμές του ακραίου. Αυτή η διαδρομή δεν είναι ορθολογική, σχετίζεται με μεγάλο αριθμό υπολογισμών και η ακρίβεια είναι χαμηλή, καθώς εξαρτάται από το βήμα και το βέλτιστο μπορεί να βρίσκεται μεταξύ των κόμβων.

Αριθμητικές Μέθοδοι

Τα μαθηματικά μοντέλα περιέχουν σχέσεις που συντάσσονται με βάση μια θεωρητική ανάλυση των υπό μελέτη διεργασιών ή λαμβάνονται ως αποτέλεσμα πειραμάτων επεξεργασίας (πίνακες δεδομένων, γραφήματα). Σε κάθε περίπτωση, το μαθηματικό μοντέλο περιγράφει μόνο κατά προσέγγιση την πραγματική διαδικασία. Επομένως) το θέμα της ακρίβειας, της επάρκειας του μοντέλου είναι το πιο σημαντικό. Η ανάγκη για προσεγγίσεις προκύπτει στην ίδια τη λύση των εξισώσεων. Μέχρι πρόσφατα, μοντέλα που περιείχαν μη γραμμικές ή μερικές διαφορικές εξισώσεις δεν μπορούσαν να επιλυθούν αναλυτικά. Το ίδιο ισχύει για πολλές κατηγορίες μη συσταλτικών ολοκληρωμάτων. Ωστόσο, η ανάπτυξη μεθόδων για αριθμητική ανάλυση κατέστησε δυνατή την τεράστια επέκταση των ορίων των δυνατοτήτων ανάλυσης μαθηματικών μοντέλων, ειδικά με τη χρήση υπολογιστών.

Οι αριθμητικές μέθοδοι χρησιμοποιούνται για την προσέγγιση συναρτήσεων, για την επίλυση διαφορικών εξισώσεων και των συστημάτων τους, για ολοκλήρωση και διαφοροποίηση, για υπολογισμό αριθμητικών παραστάσεων.

Η συνάρτηση μπορεί να οριστεί αναλυτικά, πίνακας, γραφική παράσταση. Κατά την εκτέλεση έρευνας, ένα κοινό πρόβλημα είναι η προσέγγιση μιας συνάρτησης με μια αναλυτική έκφραση που ικανοποιεί τις αναφερόμενες συνθήκες. Αυτό επιτυγχάνει τέσσερις εργασίες:

Επιλογή κομβικών σημείων, διεξαγωγή πειραμάτων σε ορισμένες τιμές (επίπεδα) ανεξάρτητων μεταβλητών (εάν το βήμα αλλαγής του συντελεστή επιλεγεί λανθασμένα, είτε θα «παραλείψουμε» ένα χαρακτηριστικό γνώρισμα της υπό μελέτη διαδικασίας ή θα επιμηκύνουμε το διαδικασία και να αυξήσει την πολυπλοκότητα της εύρεσης προτύπων).

Η επιλογή των συναρτήσεων προσέγγισης με τη μορφή πολυωνύμων, εμπειρικών τύπων, ανάλογα με το περιεχόμενο ενός συγκεκριμένου προβλήματος (θα πρέπει να επιδιώξουμε τη μέγιστη απλοποίηση των συναρτήσεων προσέγγισης).

Επιλογή και χρήση κριτηρίων καλής προσαρμογής, βάσει των οποίων βρίσκονται οι παράμετροι των συναρτήσεων προσέγγισης.

Εκπλήρωση των απαιτήσεων μιας δεδομένης ακρίβειας στην επιλογή μιας προσεγγιστικής συνάρτησης.

Σε προβλήματα προσέγγισης συναρτήσεων με πολυώνυμα χρησιμοποιούνται τρεις κλάσεις

Γραμμικός συνδυασμός συναρτήσεων ισχύος (σειρά Taylor, πολυώνυμα Lagrange, Newton, κ.λπ.).

Συνδυασμός λειτουργιών cos nx, w τους(σειρά Fourier);

Πολυώνυμο που σχηματίζεται από συναρτήσεις exp(-Ενα δ).

Κατά την εύρεση της συνάρτησης προσέγγισης, χρησιμοποιούνται διάφορα κριτήρια συμφωνίας με τα πειραματικά δεδομένα.

Κατά τη βελτιστοποίηση με τη μέθοδο της κλίσης, το βέλτιστο του υπό μελέτη αντικειμένου αναζητείται προς την κατεύθυνση της ταχύτερης αύξησης (μείωσης) της μεταβλητής εξόδου, δηλ. προς την κατεύθυνση της κλίσης. Αλλά πριν κάνετε ένα βήμα προς την κατεύθυνση της κλίσης, πρέπει να το υπολογίσετε. Η κλίση μπορεί να υπολογιστεί είτε από το διαθέσιμο μοντέλο

προσομοίωση πολυωνύμου δυναμικής κλίσης

πού είναι η μερική παράγωγος ως προς τον παράγοντα i-ο;

i, j, k - μοναδιαία διανύσματα προς την κατεύθυνση των αξόνων συντεταγμένων του χώρου παραγόντων ή σύμφωνα με τα αποτελέσματα n δοκιμαστικών κινήσεων προς την κατεύθυνση των αξόνων συντεταγμένων.

Εάν το μαθηματικό μοντέλο της στατιστικής διαδικασίας έχει τη μορφή γραμμικού πολυωνύμου, του οποίου οι συντελεστές παλινδρόμησης b i είναι μερικές παράγωγοι της επέκτασης της συνάρτησης y = f(X) σε μια σειρά Taylor σε δυνάμεις x i , τότε το βέλτιστο είναι αναζητείται προς την κατεύθυνση της κλίσης με ένα ορισμένο βήμα h i:

pkfv n (Ch) \u003d και 1 p 1 + και 2 p 2 + ... + και t p t

Η κατεύθυνση διορθώνεται μετά από κάθε βήμα.

Η μέθοδος gradient, μαζί με τις πολυάριθμες τροποποιήσεις της, είναι μια κοινή και αποτελεσματική μέθοδος για την εύρεση του βέλτιστου των υπό μελέτη αντικειμένων. Εξετάστε μια από τις τροποποιήσεις της μεθόδου της κλίσης - τη μέθοδο της απότομης ανάβασης.

Η μέθοδος απότομης ανάβασης, ή αλλιώς η μέθοδος Box-Wilson, συνδυάζει τα πλεονεκτήματα τριών μεθόδων - της μεθόδου Gauss-Seidel, της μεθόδου βαθμίδωσης και της μεθόδου πλήρους (ή κλασματικών) παραγοντικών πειραμάτων, ως μέσο απόκτησης ενός γραμμικού μαθηματικού μοντέλου. . Το καθήκον της μεθόδου απότομης ανάβασης είναι να πραγματοποιήσει βηματισμό προς την κατεύθυνση της ταχύτερης αύξησης (ή μείωσης) της μεταβλητής εξόδου, δηλαδή κατά μήκος του βαθμού y (X). Σε αντίθεση με τη μέθοδο κλίσης, η κατεύθυνση διορθώνεται όχι μετά από κάθε επόμενο βήμα, αλλά όταν επιτευχθεί ένα μερικό άκρο της αντικειμενικής συνάρτησης σε κάποιο σημείο σε μια δεδομένη κατεύθυνση, όπως γίνεται στη μέθοδο Gauss-Seidel. Στο σημείο ενός μερικού άκρου, στήνεται ένα νέο παραγοντικό πείραμα, καθορίζεται ένα μαθηματικό μοντέλο και εκτελείται πάλι μια απότομη ανάβαση. Στη διαδικασία της μετάβασης προς το βέλτιστο με αυτή τη μέθοδο, πραγματοποιείται τακτικά μια στατιστική ανάλυση των ενδιάμεσων αποτελεσμάτων αναζήτησης. Η αναζήτηση τερματίζεται όταν τα δευτεροβάθμια αποτελέσματα στην εξίσωση παλινδρόμησης γίνουν σημαντικά. Αυτό σημαίνει ότι έχει επιτευχθεί η βέλτιστη περιοχή.

Ας περιγράψουμε την αρχή της χρήσης μεθόδων διαβάθμισης χρησιμοποιώντας το παράδειγμα μιας συνάρτησης δύο μεταβλητών

με δύο επιπλέον προϋποθέσεις:

Αυτή η αρχή (χωρίς αλλαγή) μπορεί να εφαρμοστεί σε οποιονδήποτε αριθμό μεταβλητών, καθώς και σε πρόσθετες συνθήκες. Θεωρήστε το επίπεδο x 1 , x 2 (Εικ. 1). Σύμφωνα με τον τύπο (8), κάθε σημείο αντιστοιχεί σε μια ορισμένη τιμή του F. Στο Σχήμα 1, οι γραμμές F = const που ανήκουν σε αυτό το επίπεδο αντιπροσωπεύονται από κλειστές καμπύλες που περιβάλλουν το σημείο M*, όπου το F είναι ελάχιστο. Έστω στην αρχική στιγμή οι τιμές x 1 και x 2 αντιστοιχούν στο σημείο M 0 . Ο κύκλος υπολογισμού ξεκινά με μια σειρά δοκιμαστικών βημάτων. Πρώτον, στο x 1 δίνεται μια μικρή αύξηση. αυτή τη στιγμή, η τιμή του x 2 παραμένει αμετάβλητη. Στη συνέχεια προσδιορίζεται η προκύπτουσα αύξηση στην τιμή του F, η οποία μπορεί να θεωρηθεί ανάλογη με την τιμή της μερικής παραγώγου

(αν η τιμή είναι πάντα η ίδια).

Ο ορισμός των μερικών παραγώγων (10) και (11) σημαίνει ότι βρίσκεται ένα διάνυσμα με συντεταγμένες και, το οποίο ονομάζεται βαθμίδα του F και συμβολίζεται ως εξής:

Είναι γνωστό ότι η κατεύθυνση αυτού του διανύσματος συμπίπτει με την κατεύθυνση της πιο απότομης αύξησης της τιμής του F. Η αντίθετη κατεύθυνση από αυτήν είναι η «πιο απότομη κάθοδος», με άλλα λόγια, η πιο απότομη μείωση της τιμής του F.

Μετά την εύρεση των συνιστωσών της κλίσης, οι δοκιμαστικές κινήσεις σταματούν και τα βήματα εργασίας εκτελούνται προς την αντίθετη κατεύθυνση από την κατεύθυνση της κλίσης, και το μέγεθος του βήματος είναι όσο μεγαλύτερο, τόσο μεγαλύτερη είναι η απόλυτη τιμή του διανυσματικού βαθμού F. προϋποθέσεις πραγματοποιούνται εάν οι τιμές των βημάτων εργασίας και είναι ανάλογες με τις προηγουμένως ληφθείσες τιμές των μερικών παραγώγων:

όπου b είναι θετική σταθερά.

Μετά από κάθε βήμα εργασίας, υπολογίζεται η αύξηση του F. Εάν αποδειχθεί αρνητικό, τότε η κίνηση είναι στη σωστή κατεύθυνση και πρέπει να κινηθείτε προς την ίδια κατεύθυνση M 0 M 1 περαιτέρω. Εάν στο σημείο M 1 το αποτέλεσμα της μέτρησης το δείξει, τότε οι κινήσεις εργασίας σταματούν και ξεκινά μια νέα σειρά δοκιμαστικών κινήσεων. Σε αυτή την περίπτωση, η κλίση gradF προσδιορίζεται σε ένα νέο σημείο M 1 , τότε η κίνηση εργασίας συνεχίζεται κατά μήκος της νέας ευρεθείσας κατεύθυνσης της πιο απότομης καθόδου, δηλαδή κατά μήκος της γραμμής M 1 M 2, κ.λπ. Αυτή η μέθοδος ονομάζεται μέθοδος πιο απότομης κατάβασης/πιο απότομης ανάβασης.

Όταν το σύστημα είναι κοντά στο ελάχιστο, το οποίο υποδεικνύεται από μια μικρή τιμή της ποσότητας

υπάρχει μια αλλαγή σε μια πιο «προσεκτική» μέθοδο αναζήτησης, τη λεγόμενη μέθοδο gradient. Διαφέρει από την πιο απότομη μέθοδο καθόδου στο ότι μετά τον προσδιορισμό του gradient gradF, γίνεται μόνο ένα βήμα εργασίας και, στη συνέχεια, μια σειρά δοκιμαστικών κινήσεων ξεκινά ξανά σε ένα νέο σημείο. Αυτή η μέθοδος αναζήτησης παρέχει πιο ακριβή καθορισμό του ελάχιστου σε σύγκριση με την πιο απότομη μέθοδο καθόδου, ενώ η τελευταία σας επιτρέπει να προσεγγίσετε γρήγορα το ελάχιστο. Εάν κατά τη διάρκεια της αναζήτησης το σημείο M φτάσει στο όριο της επιτρεπόμενης περιοχής και τουλάχιστον μία από τις τιμές M 1 , M 2 αλλάξει πρόσημο, η μέθοδος αλλάζει και το σημείο M αρχίζει να κινείται κατά μήκος του ορίου της περιοχής.

Η αποτελεσματικότητα της μεθόδου απότομης ανάβασης εξαρτάται από την επιλογή της κλίμακας των μεταβλητών και τον τύπο της επιφάνειας απόκρισης. Η επιφάνεια με σφαιρικά περιγράμματα εξασφαλίζει γρήγορη συστολή στο βέλτιστο.

Τα μειονεκτήματα της μεθόδου απότομης ανάβασης περιλαμβάνουν:

1. Περιορισμός παρέκτασης. Προχωρώντας κατά μήκος της κλίσης, βασιζόμαστε στην παρέκταση των μερικών παραγώγων της αντικειμενικής συνάρτησης σε σχέση με τις αντίστοιχες μεταβλητές. Ωστόσο, το σχήμα της επιφάνειας απόκρισης μπορεί να αλλάξει και είναι απαραίτητο να αλλάξει η κατεύθυνση της αναζήτησης. Με άλλα λόγια, η κίνηση στο αεροπλάνο δεν μπορεί να είναι συνεχής.

2. Δυσκολία στην εύρεση του παγκόσμιου βέλτιστου. Η μέθοδος είναι εφαρμόσιμη για την εύρεση μόνο τοπικών βέλτιστων.

Το διάνυσμα κλίσης κατευθύνεται προς την ταχύτερη αύξηση της συνάρτησης σε ένα δεδομένο σημείο. Το διάνυσμα απέναντι από τη βαθμίδα -grad(/(x)), ονομάζεται αντι-βαθμίδα και κατευθύνεται προς την κατεύθυνση της ταχύτερης μείωσης της συνάρτησης. Στο ελάχιστο σημείο, η κλίση της συνάρτησης είναι μηδέν. Οι μέθοδοι πρώτης τάξης, που ονομάζονται επίσης μέθοδοι κλίσης, βασίζονται στις ιδιότητες της κλίσης. Εάν δεν υπάρχουν πρόσθετες πληροφορίες, τότε από το σημείο εκκίνησης x (0 > είναι καλύτερο να πάτε στο σημείο x (1) , που βρίσκεται προς την κατεύθυνση της αντιδιαβάθμισης - η ταχύτερη μείωση της συνάρτησης. /(x (^)) στο σημείο x (προςλαμβάνουμε μια επαναληπτική διαδικασία της φόρμας

Σε συντεταγμένη μορφή, αυτή η διαδικασία γράφεται ως εξής:

Ως κριτήριο για τη διακοπή της επαναληπτικής διαδικασίας, μπορεί κανείς να χρησιμοποιήσει είτε την συνθήκη (10.2) είτε την εκπλήρωση της συνθήκης για τη μικρότητα της κλίσης

Είναι επίσης δυνατό ένα συνδυασμένο κριτήριο, το οποίο συνίσταται στην ταυτόχρονη εκπλήρωση των αναφερόμενων προϋποθέσεων.

Οι μέθοδοι κλίσης διαφέρουν μεταξύ τους στον τρόπο επιλογής του μεγέθους βήματος. ΕΝΑΣτη μέθοδο σταθερού βήματος, επιλέγεται κάποια σταθερή τιμή βήματος για όλες τις επαναλήψεις. Αρκετά μικρό βήμα α^διασφαλίζει ότι η συνάρτηση μειώνεται, δηλ. εκπλήρωση της ανισότητας

Ωστόσο, αυτό μπορεί να οδηγήσει στην ανάγκη να πραγματοποιηθεί ένας αρκετά μεγάλος αριθμός επαναλήψεων για να επιτευχθεί το ελάχιστο σημείο. Από την άλλη πλευρά, ένα πολύ μεγάλο βήμα μπορεί να προκαλέσει ανάπτυξη της συνάρτησης ή να οδηγήσει σε διακυμάνσεις γύρω από το ελάχιστο σημείο. Απαιτούνται πρόσθετες πληροφορίες για την επιλογή του μεγέθους του βήματος, επομένως μέθοδοι με σταθερό βήμα χρησιμοποιούνται σπάνια στην πράξη.

Πιο αξιόπιστες και οικονομικές (ως προς τον αριθμό των επαναλήψεων) είναι οι μέθοδοι κλίσης με μεταβλητό βήμα, όταν, ανάλογα με την προσέγγιση που προκύπτει, το μέγεθος του βήματος αλλάζει κατά κάποιο τρόπο. Ως παράδειγμα μιας τέτοιας μεθόδου, εξετάστε την πιο απότομη μέθοδο καθόδου. Σε αυτή τη μέθοδο, σε κάθε επανάληψη, η τιμή βήματος n* επιλέγεται από την συνθήκη του ελάχιστου της συνάρτησης /(x) προς την κατεύθυνση της καθόδου, δηλ.

Αυτή η συνθήκη σημαίνει ότι η κίνηση κατά μήκος της αντιδιαβάθμισης συμβαίνει όσο μειώνεται η τιμή της συνάρτησης f(x). Επομένως, σε κάθε επανάληψη, είναι απαραίτητο να λυθεί το πρόβλημα της μονοδιάστατης ελαχιστοποίησης ως προς το π της συνάρτησης φ(λ) =/(x(/r) - - agrad^x^))). Ο αλγόριθμος της μεθόδου της πιο απότομης κατάβασης έχει ως εξής.

• 1. Ας ορίσουμε τις συντεταγμένες του αρχικού σημείου x^°, την ακρίβεια της κατά προσέγγιση λύσης r. Θέτουμε κ = 0.
• 2. Στο σημείο x (/z) υπολογίζουμε την τιμή του gradient grad(/(x (^)).
• 3. Προσδιορίστε το μέγεθος του βήματος α^με μονοδιάστατη ελαχιστοποίηση ως προς το i της συνάρτησης cp(i).
• 4. Ορίζουμε μια νέα προσέγγιση στο ελάχιστο σημείο x (* +1 > σύμφωνα με τον τύπο (10.4).
• 5. Ελέγξτε τις συνθήκες διακοπής της επαναληπτικής διαδικασίας. Αν είναι ικανοποιημένοι, τότε οι υπολογισμοί σταματούν. Διαφορετικά, βάζουμε κ κ+ 1 και μεταβείτε στο στοιχείο 2.

Στη μέθοδο της πιο απότομης κατάβασης, η κατεύθυνση κίνησης από το σημείο x (*) αγγίζει τη γραμμή στάθμης στο σημείο x (* +1) . Η τροχιά καθόδου είναι ζιγκ-ζαγκ και οι παρακείμενοι ζιγκ-ζαγκ σύνδεσμοι είναι ορθογώνιοι μεταξύ τους. Πράγματι, ένα βήμα α^επιλέγεται ελαχιστοποιώντας ΕΝΑλειτουργίες ( ΕΝΑ). Απαραίτητη προϋπόθεση

ελάχιστο της συνάρτησης - = 0. Υπολογισμός της παραγώγου

σύνθετη συνάρτηση, λαμβάνουμε την συνθήκη ορθογωνικότητας για τα διανύσματα κατεύθυνσης καθόδου σε γειτονικά σημεία:

Το πρόβλημα της ελαχιστοποίησης της συνάρτησης φ(n) μπορεί να αναχθεί στο πρόβλημα του υπολογισμού της ρίζας μιας συνάρτησης μιας μεταβλητής g(a) =

Οι μέθοδοι κλίσης συγκλίνουν στο ελάχιστο με το ρυθμό μιας γεωμετρικής προόδου για ομαλές κυρτές συναρτήσεις. Τέτοιες συναρτήσεις έχουν τις μεγαλύτερες και τις μικρότερες ιδιοτιμές του πίνακα των δεύτερων παραγώγων (πίνακες Hesse)

διαφέρουν ελάχιστα μεταξύ τους, δηλ. ο πίνακας H(x) είναι καλά ρυθμισμένος. Ωστόσο, στην πράξη, οι ελαχιστοποιημένες συναρτήσεις έχουν συχνά κακώς ρυθμισμένους πίνακες δεύτερων παραγώγων. Οι τιμές τέτοιων συναρτήσεων κατά μήκος ορισμένων κατευθύνσεων αλλάζουν πολύ πιο γρήγορα από ό,τι σε άλλες κατευθύνσεις. Ο ρυθμός σύγκλισης των μεθόδων κλίσης εξαρτάται επίσης σημαντικά από την ακρίβεια των υπολογισμών της κλίσης. Η απώλεια ακρίβειας, η οποία συνήθως συμβαίνει κοντά στα ελάχιστα σημεία, μπορεί γενικά να σπάσει τη σύγκλιση της διαδικασίας βαθμίδωσης καθόδου. Ως εκ τούτου, οι μέθοδοι κλίσης χρησιμοποιούνται συχνά σε συνδυασμό με άλλες, πιο αποτελεσματικές μεθόδους στο αρχικό στάδιο της επίλυσης ενός προβλήματος. Σε αυτή την περίπτωση, το σημείο x(0) απέχει πολύ από το ελάχιστο σημείο και τα βήματα προς την κατεύθυνση της αντιδιαβάθμισης καθιστούν δυνατή την επίτευξη σημαντικής μείωσης στη συνάρτηση.

Δεν υπάρχουν περιορισμοί στο πρόβλημα βελτιστοποίησης χωρίς περιορισμούς.

Θυμηθείτε ότι η διαβάθμιση μιας πολυδιάστατης συνάρτησης είναι ένα διάνυσμα που εκφράζεται αναλυτικά από το γεωμετρικό άθροισμα των μερικών παραγώγων

Βαθμωτή κλίση συνάρτησης φά(Χ) σε κάποιο σημείο κατευθύνεται προς την ταχύτερη αύξηση της συνάρτησης και είναι ορθογώνια στη γραμμή επιπέδου (επιφάνειες σταθερής τιμής φά(Χ), περνώντας από ένα σημείο Χ κ). Το διάνυσμα αντίθετο προς τη διαβάθμιση  αντιβαθμίδα  κατευθύνεται προς την κατεύθυνση της ταχύτερης μείωσης της συνάρτησης φά(Χ). Στο ακραίο σημείο grad φά(Χ)= 0.

Στις μεθόδους κλίσης, η κίνηση ενός σημείου κατά την αναζήτηση του ελάχιστου της αντικειμενικής συνάρτησης περιγράφεται από τον επαναληπτικό τύπο

Οπου  κ  ενεργοποίηση της παραμέτρου βήματος κη επανάληψη κατά μήκος της αντιδιαβάθμισης. Για μεθόδους αναρρίχησης (αναζήτηση για το μέγιστο), πρέπει να κινηθείτε κατά μήκος της κλίσης.

Οι διαφορετικές παραλλαγές των μεθόδων κλίσης διαφέρουν μεταξύ τους ως προς τον τρόπο επιλογής της παραμέτρου βήματος, καθώς και λαμβάνοντας υπόψη την κατεύθυνση της κίνησης στο προηγούμενο βήμα. Εξετάστε τις ακόλουθες επιλογές για μεθόδους διαβάθμισης: με σταθερό βήμα, με μεταβλητή παράμετρο βήματος (διάσπαση βημάτων), τη μέθοδο της πιο απότομης κατάβασης και τη μέθοδο συζευγμένης κλίσης.

Μέθοδος με παράμετρο σταθερού βήματος.Σε αυτή τη μέθοδο, η παράμετρος βήματος είναι σταθερή σε κάθε επανάληψη. Τίθεται το ερώτημα: πώς να επιλέξετε πρακτικά την τιμή της παραμέτρου βήματος; Μια αρκετά μικρή παράμετρος βήματος μπορεί να οδηγήσει σε έναν απαράδεκτα μεγάλο αριθμό επαναλήψεων που απαιτούνται για την επίτευξη του ελάχιστου σημείου. Από την άλλη πλευρά, μια παράμετρος βήματος που είναι πολύ μεγάλη μπορεί να οδηγήσει σε υπέρβαση του ελάχιστου σημείου και σε μια ταλαντωτική υπολογιστική διαδικασία γύρω από αυτό το σημείο. Αυτές οι συνθήκες είναι μειονεκτήματα της μεθόδου. Δεδομένου ότι είναι αδύνατο να μαντέψει κανείς εκ των προτέρων την αποδεκτή τιμή της παραμέτρου βήματος  κ, τότε καθίσταται απαραίτητο να χρησιμοποιηθεί η μέθοδος gradient με μια παράμετρο μεταβλητού βήματος.

Καθώς πλησιάζει το βέλτιστο, το διάνυσμα κλίσης μειώνεται σε μέγεθος, τείνει στο μηδέν, επομένως, όταν  κ = Το μήκος του βήματος μειώνεται σταδιακά. Κοντά στο βέλτιστο, το μήκος του διανύσματος κλίσης τείνει στο μηδέν. Διάνυσμα μήκος ή κανόνας σε n-ο διαστατικός ευκλείδειος χώρος καθορίζεται από τον τύπο

, Οπου n- αριθμός μεταβλητών.

Επιλογές για τη διακοπή της αναζήτησης για το βέλτιστο:

Από πρακτική άποψη, είναι πιο βολικό να χρησιμοποιήσετε το 3ο κριτήριο διακοπής (καθώς οι τιμές των παραμέτρων σχεδίασης ενδιαφέρουν), ωστόσο, για να προσδιορίσετε την εγγύτητα του ακραίου σημείου, πρέπει να εστιάσετε στο 2ο κριτήριο. Μπορούν να χρησιμοποιηθούν διάφορα κριτήρια για να σταματήσει η υπολογιστική διαδικασία.

Εξετάστε ένα παράδειγμα. Βρείτε το ελάχιστο της αντικειμενικής συνάρτησης φά(Χ) = (Χ 1  2) 2 + (Χ 2  4) 2 . Ακριβής λύση του προβλήματος X*= (2,0; 4,0).Εκφράσεις για μερικές παραγώγους

,
.

Επιλέξτε ένα βήμα  κ = 0.1. Ας ψάξουμε από την αφετηρία Χ 1 = . Η λύση παρουσιάζεται με τη μορφή πίνακα.

Μέθοδος κλίσης με διαχωρισμό παραμέτρων βήματος.Σε αυτήν την περίπτωση, κατά τη διαδικασία βελτιστοποίησης, η παράμετρος βήματος  k μειώνεται εάν, μετά το επόμενο βήμα, αυξηθεί η συνάρτηση στόχου (κατά την αναζήτηση ενός ελάχιστου). Σε αυτή την περίπτωση, το μήκος του βήματος συχνά χωρίζεται (διαιρείται) στη μέση και το βήμα επαναλαμβάνεται από το προηγούμενο σημείο. Αυτό παρέχει μια πιο ακριβή προσέγγιση στο ακραίο σημείο.

Η πιο απότομη μέθοδος καθόδου.Οι μέθοδοι μεταβλητού βήματος είναι πιο οικονομικές ως προς τον αριθμό των επαναλήψεων. Εάν το βέλτιστο μήκος βήματος  k κατά μήκος της κατεύθυνσης της αντιδιαβάθμισης είναι μια λύση σε ένα μονοδιάστατο πρόβλημα ελαχιστοποίησης, τότε αυτή η μέθοδος ονομάζεται μέθοδος πιο απότομης καθόδου. Σε αυτή τη μέθοδο, σε κάθε επανάληψη, λύνεται το πρόβλημα της μονοδιάστατης ελαχιστοποίησης:

F(X k+1 )=F(X κ   κ μικρό κ )=min F( κ ), Σ κ =  F(X);

 κ >0

.

Σε αυτή τη μέθοδο, η κίνηση προς την κατεύθυνση της αντιδιαβάθμισης συνεχίζεται μέχρι να επιτευχθεί το ελάχιστο της αντικειμενικής συνάρτησης (μέχρι να μειωθεί η τιμή της αντικειμενικής συνάρτησης). Χρησιμοποιώντας ένα παράδειγμα, ας εξετάσουμε πώς η αντικειμενική συνάρτηση μπορεί να γραφτεί αναλυτικά σε κάθε βήμα ανάλογα με την άγνωστη παράμετρο

Παράδειγμα. ελάχ φά(Χ 1 , Χ 2 ) = 2Χ 1 2 + 4Χ 2 3 – 3. Επειτα  φά(Χ)= [ 4Χ 1 ; 12Χ 2 2 ]. Αφήστε το θέμα Χ κ = , ως εκ τούτου  φά(Χ)= [ 8; 12], φά(Χ κ   μικρό κ ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. Είναι απαραίτητο να βρεθεί το  που αποδίδει το ελάχιστο αυτής της συνάρτησης.

Αλγόριθμος απότομης καθόδου (για την εύρεση του ελάχιστου)

αρχικό βήμα. Έστω  η σταθερά παύσης. Επιλέξτε το σημείο εκκίνησης Χ 1 , βάζω κ = 1 και μεταβείτε στο κύριο βήμα.

Βασικό βήμα. Αν || gradF(Χ)||< , μετά τερματίστε την αναζήτηση, διαφορετικά προσδιορίστε  φά(Χ κ ) και βρείτε  κ  βέλτιστη λύση του προβλήματος ελαχιστοποίησης φά(Χ κ   κ μικρό κ ) στο  κ  0. Βάζω Χ κ +1 = Χ κ   κ μικρό κ, ανάθεση κ =

κ + 1 και επαναλάβετε το κύριο βήμα.

Για να βρείτε το ελάχιστο μιας συνάρτησης μιας μεταβλητής στη μέθοδο πιο απότομης κατάβασης, μπορείτε να χρησιμοποιήσετε μεθόδους μονοτροπικής βελτιστοποίησης. Από μια μεγάλη ομάδα μεθόδων, εξετάστε τη μέθοδο διχοτομίας (διχοτόμηση) και τη χρυσή τομή. Η ουσία των μεθόδων μονοτροπικής βελτιστοποίησης είναι να περιοριστεί το διάστημα αβεβαιότητας της θέσης του άκρου.

Μέθοδος διχοτομίας (διχοτόμηση)Αρχικό βήμα.Επιλέξτε τη σταθερά διακριτικότητας  και το τελικό μήκος του διαστήματος αβεβαιότητας μεγάλο. Η τιμή του  πρέπει να είναι όσο το δυνατόν μικρότερη, επιτρέποντας ωστόσο τη διάκριση των τιμών της συνάρτησης φά( ) Και φά( ) . Αφήνω [ ένα 1 , σι 1 ]  αρχικό διάστημα αβεβαιότητας. Βάζω κ =

Το κύριο στάδιο αποτελείται από έναν πεπερασμένο αριθμό επαναλήψεων του ίδιου τύπου.

k-η επανάληψη.

Βήμα 1.Αν σι κ  ένα κ  μεγάλο, τότε ο υπολογισμός τελειώνει. Λύση Χ * = (ένα κ + σι κ )/2. Σε διαφορετική περίπτωση

,
.

Βήμα 2Αν φά( κ ) < φά( κ ), βάζω ένα κ +1 = ένα κ ; σι κ +1 =  κ. Σε διαφορετική περίπτωση ένα κ +1 =  κΚαι σι κ +1 = σι κ. Αναθέτω κ = κ + 1 και μεταβείτε στο βήμα 1.

Μέθοδος Χρυσής Τομής.Μια πιο αποτελεσματική μέθοδος από τη μέθοδο διχοτομίας. Σας επιτρέπει να λαμβάνετε μια δεδομένη τιμή του διαστήματος αβεβαιότητας σε λιγότερες επαναλήψεις και απαιτεί λιγότερους υπολογισμούς της αντικειμενικής συνάρτησης. Σε αυτή τη μέθοδο, το νέο σημείο διαίρεσης του διαστήματος αβεβαιότητας υπολογίζεται μία φορά. Το νέο σημείο τοποθετείται σε απόσταση

 = 0,618034 από το τέλος του διαστήματος.

Αλγόριθμος Χρυσής Αναλογίας

Αρχικό βήμα.Επιλέξτε ένα αποδεκτό πεπερασμένο μήκος του διαστήματος αβεβαιότητας μεγάλο > 0. Αφήνω [ ένα 1 , σι 1 ]  αρχικό διάστημα αβεβαιότητας. Βάζω  1 = ένα 1 +(1   )(σι 1  ένα 1 ) Και  1 = ένα 1 +  (σι 1  ένα 1 ) , Οπου  = 0,618 . Υπολογίζω φά( 1 ) Και φά( 1 ) , βάζω κ = 1 και μεταβείτε στο κύριο βήμα.

Βήμα 1.Αν σι κ  ένα κ  μεγάλο, τότε τελειώνουν οι υπολογισμοί Χ * = (ένα κ + σι κ )/ 2. Διαφορετικά, αν φά( κ ) > φά( κ ) , μετά πηγαίνετε στο βήμα 2. Αν φά( κ )  φά( κ ) , μεταβείτε στο βήμα 3.

Βήμα 2Βάζω ένα κ +1 =  κ , σι κ +1 = σι κ ,  κ +1 =  κ ,  κ +1 = ένα κ +1 +  (σι κ +1 – ένα κ +1 ). Υπολογίζω φά( κ +1 ), μεταβείτε στο βήμα 4.

Βήμα 3Βάζω ένα κ +1 = ένα κ , σι κ +1 =  κ ,  κ +1 =  κ ,  κ +1 = ένα κ +1 + (1   )(σι κ +1 – ένα κ +1 ). Υπολογίζω φά( κ +1 ).

Βήμα 4Αναθέτω κ = κ + 1, μεταβείτε στο βήμα 1.

Στην πρώτη επανάληψη απαιτούνται δύο αξιολογήσεις της συνάρτησης, σε όλες τις επόμενες επαναλήψεις μόνο μία.

Μέθοδος συζυγούς κλίσης (Fletcher-Reeves).Σε αυτή τη μέθοδο, η επιλογή της κατεύθυνσης της κίνησης σε κ+ 1 βήμα λαμβάνει υπόψη την αλλαγή κατεύθυνσης κβήμα. Το διάνυσμα κατεύθυνσης καθόδου είναι ένας γραμμικός συνδυασμός της κατεύθυνσης κατά της κλίσης και της προηγούμενης κατεύθυνσης αναζήτησης. Σε αυτήν την περίπτωση, κατά την ελαχιστοποίηση των λειτουργιών της χαράδρας (με στενές μακριές γούρνες), η αναζήτηση δεν είναι κάθετη στη χαράδρα, αλλά κατά μήκος της, γεγονός που σας επιτρέπει να φτάσετε γρήγορα στο ελάχιστο. Κατά την αναζήτηση για ένα άκρο χρησιμοποιώντας τη μέθοδο συζυγούς κλίσης, οι συντεταγμένες του σημείου υπολογίζονται από την έκφραση Χ κ +1 = Χ κ   V κ +1 , Οπου V κ +1 είναι ένα διάνυσμα που υπολογίζεται από την ακόλουθη παράσταση:

.

Η πρώτη επανάληψη συνήθως βασίζεται V = 0 και εκτελείται η αναζήτηση κατά της κλίσης, όπως στην πιο απότομη μέθοδο κατάβασης. Τότε η κατεύθυνση της κίνησης αποκλίνει από την κατεύθυνση της αντιδιαβάθμισης όσο περισσότερο, τόσο πιο σημαντικά το μήκος του διανύσματος κλίσης μεταβάλλεται στην τελευταία επανάληψη. Μετά nβήματα για τη διόρθωση της λειτουργίας του αλγορίθμου κάντε το συνηθισμένο βήμα κατά μήκος της αντιδιαβάθμισης.

Αλγόριθμος της μεθόδου συζυγούς κλίσης

Βήμα 1.Εισαγάγετε το σημείο εκκίνησης Χ 0 , ακρίβεια  , διάσταση n.

Βήμα 2Βάζω κ = 1.

Βήμα 3Βάλτε διάνυσμα V κ = 0.

Βήμα 4Υπολογίζω grad φά(Χ κ ).

Βήμα 5Υπολογίστε το διάνυσμα V κ +1.

Βήμα 6Εκτελέστε 1D διανυσματική αναζήτηση V κ +1.

Βήμα 7Αν κ < n, βάζω κ = κ + 1 και μεταβείτε στο βήμα 4 διαφορετικά μεταβείτε στο βήμα 8.

Βήμα 8Αν το μήκος του διανύσματος Vλιγότερο από , τερματίστε την αναζήτηση, διαφορετικά μεταβείτε στο βήμα 2.

Η μέθοδος συζυγούς κατεύθυνσης είναι μια από τις πιο αποτελεσματικές στην επίλυση προβλημάτων ελαχιστοποίησης. Η μέθοδος σε συνδυασμό με τη μονοδιάστατη αναζήτηση χρησιμοποιείται συχνά στην πράξη στο CAD. Ωστόσο, πρέπει να σημειωθεί ότι είναι ευαίσθητο σε σφάλματα που προκύπτουν κατά τη διαδικασία υπολογισμού.

Μειονεκτήματα των μεθόδων κλίσης

Σε προβλήματα με μεγάλο αριθμό μεταβλητών, είναι δύσκολο ή αδύνατο να ληφθούν παράγωγοι με τη μορφή αναλυτικών συναρτήσεων.

Κατά τον υπολογισμό των παραγώγων χρησιμοποιώντας σχήματα διαφοράς, το σφάλμα που προκύπτει, ειδικά κοντά σε ένα άκρο, περιορίζει τις δυνατότητες μιας τέτοιας προσέγγισης.