Ανασκόπηση μεθόδων κλίσης σε προβλήματα μαθηματικής βελτιστοποίησης. Μέθοδοι κλίσης

Μέθοδοι κλίσης

Οι μέθοδοι βελτιστοποίησης χωρίς περιορισμούς κλίσης χρησιμοποιούν μόνο τις πρώτες παραγώγους της αντικειμενικής συνάρτησης και είναι μέθοδοι γραμμικής προσέγγισης σε κάθε βήμα, δηλ. η αντικειμενική συνάρτηση σε κάθε βήμα αντικαθίσταται από ένα εφαπτόμενο υπερεπίπεδο στο γράφημά της στο τρέχον σημείο.

Στο kο στάδιο των μεθόδων κλίσης, η μετάβαση από το σημείο Xk στο σημείο Xk+1 περιγράφεται από τη σχέση:

όπου k είναι το μέγεθος του βήματος, k είναι το διάνυσμα προς την κατεύθυνση Xk+1-Xk.

Μέθοδοι απότομης κατάβασης

Αυτή η μέθοδος εξετάστηκε και εφαρμόστηκε για πρώτη φορά από τον O. Cauchy τον 18ο αιώνα. Η ιδέα του είναι απλή: η κλίση της αντικειμενικής συνάρτησης f(X) σε οποιοδήποτε σημείο είναι ένα διάνυσμα προς την κατεύθυνση της μεγαλύτερης αύξησης της τιμής της συνάρτησης. Κατά συνέπεια, η αντιδιαβάθμιση θα κατευθυνθεί προς την κατεύθυνση της μεγαλύτερης μείωσης της συνάρτησης και είναι η κατεύθυνση της πιο απότομης καθόδου. Η αντιδιαβάθμιση (και η κλίση) είναι ορθογώνια ως προς την επίπεδη επιφάνεια f(X) στο σημείο X. Αν εισαγάγουμε την κατεύθυνση στην (1.2)

τότε αυτή θα είναι η κατεύθυνση της πιο απότομης καθόδου στο σημείο Xk.

Λαμβάνουμε τον τύπο για τη μετάβαση από το Xk στο Xk+1:

Η αντιδιαβάθμιση δίνει μόνο την κατεύθυνση της καθόδου, αλλά όχι το μέγεθος του βήματος. Γενικά, ένα βήμα δεν δίνει ελάχιστο βαθμό, επομένως η διαδικασία κατάβασης πρέπει να εφαρμοστεί αρκετές φορές. Στο ελάχιστο σημείο, όλα τα στοιχεία κλίσης είναι ίσα με μηδέν.

Όλες οι μέθοδοι διαβάθμισης χρησιμοποιούν την δηλωμένη ιδέα και διαφέρουν μεταξύ τους σε τεχνικές λεπτομέρειες: υπολογισμός παραγώγων με χρήση αναλυτικού τύπου ή προσέγγιση πεπερασμένων διαφορών. το μέγεθος του βήματος μπορεί να είναι σταθερό, να αλλάζει σύμφωνα με κάποιους κανόνες ή να επιλεγεί μετά την εφαρμογή μονοδιάστατων μεθόδων βελτιστοποίησης στην κατεύθυνση της αντιδιαβάθμισης κ.λπ. και ούτω καθεξής.

Δεν θα μπούμε σε λεπτομέρειες, γιατί... Η μέθοδος της πιο απότομης κατάβασης δεν συνιστάται γενικά ως μια σοβαρή διαδικασία βελτιστοποίησης.

Ένα από τα μειονεκτήματα αυτής της μεθόδου είναι ότι συγκλίνει σε οποιοδήποτε ακίνητο σημείο, συμπεριλαμβανομένου ενός σημείου σέλας, το οποίο δεν μπορεί να αποτελέσει λύση.

Αλλά το πιο σημαντικό είναι η πολύ αργή σύγκλιση της πιο απότομης κατάβασης στη γενική περίπτωση. Το θέμα είναι ότι η κατάβαση είναι «γρηγορότερη» με την τοπική έννοια. Εάν ο υπερχώρος αναζήτησης είναι έντονα επιμήκης ("φαράγγι"), τότε η αντίστροφη κλίση κατευθύνεται σχεδόν ορθογώνια προς το κάτω μέρος της "ρεματιάς", δηλ. η καλύτερη κατεύθυνση για να επιτευχθεί το ελάχιστο. Υπό αυτή την έννοια, μια άμεση μετάφραση του αγγλικού όρου «steepest descent», δηλ. Η κάθοδος κατά μήκος της πιο απότομης πλαγιάς είναι πιο συνεπής με την κατάσταση των πραγμάτων παρά ο όρος «γρηγορότερος», που υιοθετείται στη ρωσόφωνη εξειδικευμένη βιβλιογραφία. Μια διέξοδος σε αυτήν την περίπτωση είναι να χρησιμοποιήσετε τις πληροφορίες που παρέχονται από δεύτερα επιμέρους παράγωγα. Μια άλλη διέξοδος είναι να αλλάξετε τις κλίμακες των μεταβλητών.

γραμμική κλίση παραγώγου προσέγγισης

Μέθοδος συζυγούς κλίσης Fletcher-Reeves

Στη μέθοδο συζυγούς κλίσης, κατασκευάζεται μια ακολουθία κατευθύνσεων αναζήτησης, οι οποίες είναι γραμμικοί συνδυασμοί της τρέχουσας κατεύθυνσης της πιο απότομης καθόδου και των προηγούμενων κατευθύνσεων αναζήτησης, δηλ.

Επιπλέον, οι συντελεστές επιλέγονται έτσι ώστε οι οδηγίες αναζήτησης να συζευχθούν. Έχει αποδειχθεί ότι

και αυτό είναι ένα πολύ πολύτιμο αποτέλεσμα που σας επιτρέπει να δημιουργήσετε έναν γρήγορο και αποτελεσματικό αλγόριθμο βελτιστοποίησης.

Αλγόριθμος Fletcher-Reeves

1. Στο Χ0 υπολογίζεται.

2. Στο kο βήμα, χρησιμοποιώντας μονοδιάστατη αναζήτηση προς την κατεύθυνση, βρίσκεται η ελάχιστη f(X), η οποία καθορίζει το σημείο Xk+1.

• 3. f(Xk+1) και υπολογίζονται.
• 4. Η κατεύθυνση καθορίζεται από τη σχέση:

• 5. Μετά την (n+1)η επανάληψη (δηλαδή όταν k=n), γίνεται επανεκκίνηση: Υποτίθεται ότι X0=Xn+1 και πραγματοποιείται η μετάβαση στο βήμα 1.
• 6. Ο αλγόριθμος σταματά όταν

όπου είναι μια αυθαίρετη σταθερά.

Το πλεονέκτημα του αλγόριθμου Fletcher-Reeves είναι ότι δεν απαιτεί αντιστροφή μήτρας και εξοικονομεί μνήμη υπολογιστή, αφού δεν χρειάζεται τους πίνακες που χρησιμοποιούνται στις νευτώνειες μεθόδους, αλλά ταυτόχρονα είναι σχεδόν εξίσου αποτελεσματικός με τους οιονεί νευτώνειους αλγόριθμους. Επειδή οι οδηγίες αναζήτησης είναι αμοιβαία συζευγμένες, τότε η τετραγωνική συνάρτηση θα ελαχιστοποιηθεί σε όχι περισσότερα από n βήματα. Στη γενική περίπτωση, χρησιμοποιείται επανεκκίνηση, η οποία σας επιτρέπει να λάβετε το αποτέλεσμα.

Ο αλγόριθμος Fletcher-Reeves είναι ευαίσθητος στην ακρίβεια της μονοδιάστατης αναζήτησης, επομένως πρέπει να χρησιμοποιείται για την εξάλειψη τυχόν σφαλμάτων στρογγυλοποίησης που μπορεί να προκύψουν. Επιπρόσθετα, ο αλγόριθμος μπορεί να αποτύχει σε καταστάσεις όπου ο Hessian γίνεται κακή. Ο αλγόριθμος δεν έχει καμία εγγύηση σύγκλισης πάντα και παντού, αν και η πρακτική δείχνει ότι ο αλγόριθμος παράγει σχεδόν πάντα αποτελέσματα.

Νευτώνειες μέθοδοι

Η κατεύθυνση αναζήτησης που αντιστοιχεί στην πιο απότομη κάθοδο σχετίζεται με μια γραμμική προσέγγιση της αντικειμενικής συνάρτησης. Οι μέθοδοι που χρησιμοποιούν δεύτερες παραγώγους προέκυψαν από την τετραγωνική προσέγγιση της αντικειμενικής συνάρτησης, δηλαδή, κατά την επέκταση της συνάρτησης σε μια σειρά Taylor, οι όροι της τρίτης και ανώτερης τάξης απορρίπτονται.

πού είναι η μήτρα της Έσσης.

Το ελάχιστο της δεξιάς πλευράς (αν υπάρχει) επιτυγχάνεται στο ίδιο σημείο με το ελάχιστο της τετραγωνικής μορφής. Ας γράψουμε τον τύπο για να καθορίσουμε την κατεύθυνση αναζήτησης:

Το ελάχιστο επιτυγχάνεται στο

Ένας αλγόριθμος βελτιστοποίησης στον οποίο η κατεύθυνση αναζήτησης καθορίζεται από αυτή τη σχέση ονομάζεται μέθοδος του Νεύτωνα και η κατεύθυνση ονομάζεται Νευτώνεια κατεύθυνση.

Σε προβλήματα εύρεσης του ελάχιστου μιας αυθαίρετης τετραγωνικής συνάρτησης με θετικό πίνακα δεύτερων παραγώγων, η μέθοδος του Newton δίνει λύση σε μία επανάληψη, ανεξάρτητα από την επιλογή του σημείου εκκίνησης.

Ταξινόμηση Νευτώνειων μεθόδων

Η ίδια η μέθοδος του Νεύτωνα συνίσταται στην εφαρμογή της διεύθυνσης του Νεύτωνα μία φορά για τη βελτιστοποίηση μιας τετραγωνικής συνάρτησης. Αν η συνάρτηση δεν είναι τετραγωνική, τότε ισχύει το παρακάτω θεώρημα.

Θεώρημα 1.4. Εάν ο πίνακας Hessian μιας μη γραμμικής συνάρτησης f γενικής μορφής στο ελάχιστο σημείο X* είναι θετικός ορισμένος, το σημείο εκκίνησης επιλέγεται αρκετά κοντά στο X* και τα μήκη βημάτων έχουν επιλεγεί σωστά, τότε η μέθοδος του Newton συγκλίνει στο X* με ένα τετραγωνικό τιμή.

Η μέθοδος του Newton θεωρείται μέθοδος αναφοράς· όλες οι αναπτυγμένες διαδικασίες βελτιστοποίησης συγκρίνονται με αυτήν. Ωστόσο, η μέθοδος του Newton είναι αποτελεσματική μόνο για έναν θετικό καθορισμένο και καλά διαμορφωμένο πίνακα Hessian (η ορίζουσα του πρέπει να είναι σημαντικά μεγαλύτερη από το μηδέν, ή ακριβέστερα, η αναλογία της μεγαλύτερης και της μικρότερης ιδιοτιμής πρέπει να είναι κοντά στο ένα). Για να ξεπεραστεί αυτό το μειονέκτημα, χρησιμοποιούνται τροποποιημένες Νευτώνειες μέθοδοι, χρησιμοποιώντας Νευτώνειες κατευθύνσεις όποτε είναι δυνατόν και παρεκκλίνοντας από αυτές μόνο όταν είναι απαραίτητο.

Η γενική αρχή των τροποποιήσεων της μεθόδου του Νεύτωνα είναι η εξής: σε κάθε επανάληψη, αρχικά κατασκευάζεται ένας ορισμένος θετικός καθορισμένος πίνακας που «συσχετίζεται» και στη συνέχεια υπολογίζεται χρησιμοποιώντας τον τύπο

Δεδομένου ότι είναι θετική οριστική, τότε - θα είναι αναγκαστικά η κατεύθυνση της καθόδου. Η διαδικασία κατασκευής είναι οργανωμένη έτσι ώστε να συμπίπτει με τον Hessian matrix εάν είναι θετική οριστική. Αυτές οι διαδικασίες βασίζονται σε ορισμένες αποσυνθέσεις μήτρας.

Μια άλλη ομάδα μεθόδων, που πρακτικά δεν είναι κατώτερη σε ταχύτητα από τη μέθοδο του Νεύτωνα, βασίζεται στην προσέγγιση της μήτρας της Έσσης χρησιμοποιώντας πεπερασμένες διαφορές, επειδή Δεν είναι απαραίτητο να χρησιμοποιηθούν ακριβείς τιμές παραγώγων για βελτιστοποίηση. Αυτές οι μέθοδοι είναι χρήσιμες όταν ο αναλυτικός υπολογισμός των παραγώγων είναι δύσκολος ή απλά αδύνατος. Τέτοιες μέθοδοι ονομάζονται διακριτές μέθοδοι Newton.

Το κλειδί για την αποτελεσματικότητα των μεθόδων τύπου Newton είναι η λήψη υπόψη πληροφοριών σχετικά με την καμπυλότητα της ελαχιστοποιημένης συνάρτησης, που περιέχεται στον πίνακα Hessian και επιτρέπει την κατασκευή τοπικά ακριβών τετραγωνικών μοντέλων της αντικειμενικής συνάρτησης. Αλλά είναι δυνατό να συλλεχθούν και να συσσωρευτούν πληροφορίες σχετικά με την καμπυλότητα μιας συνάρτησης με βάση την παρατήρηση της αλλαγής της κλίσης κατά τη διάρκεια των επαναλήψεων καθόδου.

Οι αντίστοιχες μέθοδοι, που βασίζονται στη δυνατότητα προσέγγισης της καμπυλότητας μιας μη γραμμικής συνάρτησης χωρίς να σχηματίζεται ρητά η μήτρα της Έσσης, ονομάζονται οιονεί νευτώνειες μέθοδοι.

Σημειώστε ότι κατά την κατασκευή μιας διαδικασίας βελτιστοποίησης του Νευτώνειου τύπου (συμπεριλαμβανομένης της οιονεί Νευτώνειας), είναι απαραίτητο να ληφθεί υπόψη η πιθανότητα εμφάνισης ενός σημείου σέλας. Σε αυτήν την περίπτωση, το διάνυσμα της καλύτερης κατεύθυνσης αναζήτησης θα κατευθύνεται πάντα προς το σημείο της σέλας, αντί να απομακρύνεται από αυτό προς την κατεύθυνση προς τα κάτω.

Μέθοδος Newton-Raphson

Αυτή η μέθοδος συνίσταται στην επανειλημμένη χρήση της Νευτώνειας κατεύθυνσης κατά τη βελτιστοποίηση συναρτήσεων που δεν είναι τετραγωνικές.

Βασικός επαναληπτικός τύπος για πολυδιάστατη βελτιστοποίηση

χρησιμοποιείται σε αυτή τη μέθοδο κατά την επιλογή της κατεύθυνσης βελτιστοποίησης από τη σχέση

Το πραγματικό μήκος βήματος είναι κρυμμένο στη μη κανονικοποιημένη Νευτώνεια κατεύθυνση.

Εφόσον αυτή η μέθοδος δεν απαιτεί την τιμή της αντικειμενικής συνάρτησης στο τρέχον σημείο, μερικές φορές ονομάζεται μέθοδος έμμεσης ή αναλυτικής βελτιστοποίησης. Η ικανότητά του να προσδιορίζει το ελάχιστο μιας τετραγωνικής συνάρτησης σε έναν μόνο υπολογισμό φαίνεται εξαιρετικά ελκυστική με την πρώτη ματιά. Ωστόσο, αυτός ο «ενιαίος υπολογισμός» απαιτεί σημαντικό κόστος. Πρώτα απ 'όλα, είναι απαραίτητο να υπολογιστούν n επιμέρους παράγωγοι της πρώτης τάξης και n(n+1)/2 - της δεύτερης. Επιπλέον, η μήτρα Hessian πρέπει να αντιστραφεί. Αυτό απαιτεί περίπου n3 υπολογιστικές πράξεις. Με το ίδιο κόστος, οι μέθοδοι συζευγμένης κατεύθυνσης ή οι μέθοδοι συζευγμένης κλίσης μπορούν να κάνουν περίπου n βήματα, δηλ. επιτυγχάνουν σχεδόν το ίδιο αποτέλεσμα. Έτσι, η επανάληψη της μεθόδου Newton-Raphson δεν παρέχει πλεονεκτήματα στην περίπτωση μιας τετραγωνικής συνάρτησης.

Αν η συνάρτηση δεν είναι τετραγωνική, τότε

• - η αρχική κατεύθυνση, γενικά, δεν υποδεικνύει πλέον το πραγματικό ελάχιστο σημείο, πράγμα που σημαίνει ότι οι επαναλήψεις πρέπει να επαναληφθούν πολλές φορές.
• - ένα βήμα μοναδιαίου μήκους μπορεί να οδηγήσει σε ένα σημείο με χειρότερη τιμή της αντικειμενικής συνάρτησης και η αναζήτηση μπορεί να δώσει τη λάθος κατεύθυνση εάν, για παράδειγμα, η Έσσια δεν είναι θετική οριστική.
• - το Hessian μπορεί να γίνει άρρωστο, καθιστώντας αδύνατη την αναστροφή του, δηλ. καθορίζοντας την κατεύθυνση για την επόμενη επανάληψη.

Η ίδια η στρατηγική δεν διακρίνει ποιο σταθερό σημείο (ελάχιστο, μέγιστο, σημείο σέλας) πλησιάζει η αναζήτηση και δεν γίνονται υπολογισμοί των τιμών της αντικειμενικής συνάρτησης, που θα μπορούσαν να χρησιμοποιηθούν για την παρακολούθηση της αύξησης της συνάρτησης. Αυτό σημαίνει ότι όλα εξαρτώνται από το ακίνητο σημείο το σημείο εκκίνησης της αναζήτησης στη ζώνη έλξης. Η στρατηγική Newton-Raphson σπάνια χρησιμοποιείται μόνη της χωρίς τροποποίηση του ενός ή του άλλου είδους.

Μέθοδοι Pearson

Ο Pearson πρότεινε διάφορες μεθόδους που προσεγγίζουν την αντίστροφη Έσσια χωρίς να υπολογίζουν ρητά τις δεύτερες παραγώγους, δηλ. παρατηρώντας αλλαγές στην κατεύθυνση της αντιδιαβάθμισης. Σε αυτή την περίπτωση, λαμβάνονται συζευγμένες οδηγίες. Αυτοί οι αλγόριθμοι διαφέρουν μόνο σε λεπτομέρειες. Ας παρουσιάσουμε αυτά που χρησιμοποιούνται ευρέως σε εφαρμοσμένους τομείς.

Αλγόριθμος Pearson Νο. 2.

Σε αυτόν τον αλγόριθμο, η αντίστροφη Hessian προσεγγίζεται από τον πίνακα Hk, που υπολογίζεται σε κάθε βήμα χρησιμοποιώντας τον τύπο

Ένας αυθαίρετος θετικός καθορισμένος συμμετρικός πίνακας επιλέγεται ως αρχικός πίνακας H0.

Αυτός ο αλγόριθμος Pearson οδηγεί συχνά σε καταστάσεις όπου ο πίνακας Hk καθίσταται ακατάλληλος, δηλαδή, αρχίζει να ταλαντώνεται, να ταλαντώνεται μεταξύ θετικής οριστικής και μη θετικής οριστικής, ενώ η ορίζουσα του πίνακα είναι κοντά στο μηδέν. Για να αποφευχθεί αυτή η κατάσταση, είναι απαραίτητο να επαναπροσδιορίζεται ο πίνακας κάθε n βήματα, εξισώνοντάς τον με H0.

Αλγόριθμος Pearson Νο. 3.

Σε αυτόν τον αλγόριθμο, ο πίνακας Hk+1 προσδιορίζεται από τον τύπο

Hk+1 = Hk +

Η τροχιά καθόδου που δημιουργείται από τον αλγόριθμο είναι παρόμοια με τη συμπεριφορά του αλγόριθμου Davidon-Fletcher-Powell, αλλά τα βήματα είναι ελαφρώς μικρότερα. Ο Pearson πρότεινε επίσης μια παραλλαγή αυτού του αλγορίθμου με επαναφορά κυκλικού πίνακα.

Προβολικός αλγόριθμος Newton-Raphson

Ο Pearson πρότεινε την ιδέα ενός αλγορίθμου στον οποίο ο πίνακας υπολογίζεται από τη σχέση

H0=R0, όπου ο πίνακας R0 είναι ίδιος με τους αρχικούς πίνακες στους προηγούμενους αλγόριθμους.

Όταν το k είναι πολλαπλάσιο του αριθμού των ανεξάρτητων μεταβλητών n, ο πίνακας Hk αντικαθίσταται από τον πίνακα Rk+1, που υπολογίζεται ως το άθροισμα

Η ποσότητα Hk(f(Xk+1) - f(Xk)) είναι η προβολή του διανύσματος αύξησης της κλίσης (f(Xk+1) - f(Xk)), ορθογώνια σε όλα τα διανύσματα αύξησης κλίσης στα προηγούμενα βήματα. Μετά από κάθε n βήματα, το Rk είναι μια προσέγγιση του αντίστροφου Hessian H-1(Xk), οπότε στην πραγματικότητα εκτελείται μια (κατά προσέγγιση) αναζήτηση Newton.

Μέθοδος Davidon-Fletcher-Powell

Αυτή η μέθοδος έχει άλλα ονόματα - η μέθοδος μεταβλητής μετρικής, η μέθοδος οιονεί Newton, επειδή χρησιμοποιεί και τις δύο αυτές προσεγγίσεις.

Η μέθοδος Davidon-Fletcher-Powell (DFP) βασίζεται στη χρήση Νευτώνειων κατευθύνσεων, αλλά δεν απαιτεί τον υπολογισμό του αντίστροφου Hessian σε κάθε βήμα.

Η κατεύθυνση αναζήτησης στο βήμα k είναι η κατεύθυνση

όπου το Hi είναι ένας θετικός ορισμένος συμμετρικός πίνακας που ενημερώνεται σε κάθε βήμα και στο όριο γίνεται ίσος με τον αντίστροφο Έσσιο. Ο πίνακας ταυτότητας επιλέγεται συνήθως ως ο αρχικός πίνακας H. Η επαναληπτική διαδικασία DFT μπορεί να αναπαρασταθεί ως εξής:

• 1. Στο βήμα k υπάρχει ένα σημείο Xk και ένας θετικός ορισμένος πίνακας Hk.
• 2. Επιλέξτε ως τη νέα κατεύθυνση αναζήτησης

3. Μια μονοδιάστατη αναζήτηση (συνήθως κυβική παρεμβολή) κατά μήκος της κατεύθυνσης καθορίζει το k, το οποίο ελαχιστοποιεί τη συνάρτηση.

4. Βασίζεται.

5. Βασίζεται.

6. Καθορίζεται. Εάν το Vk ή είναι αρκετά μικρό, η διαδικασία τελειώνει.

• 7. Υποτίθεται ότι Uk = f(Xk+1) - f(Xk).
• 8. Το Matrix Hk ενημερώνεται σύμφωνα με τον τύπο

9. Αυξήστε το k κατά ένα και επιστρέψτε στο βήμα 2.

Η μέθοδος είναι αποτελεσματική στην πράξη εάν το σφάλμα στους υπολογισμούς της κλίσης είναι μικρό και ο πίνακας Hk δεν καθίσταται κακή.

Ο πίνακας Ak εξασφαλίζει τη σύγκλιση του Hk στο G-1, ο πίνακας Bk εξασφαλίζει τη θετική οριστικότητα του Hk+1 σε όλα τα στάδια και αποκλείει το H0 στο όριο.

Στην περίπτωση τετραγωνικής συνάρτησης

εκείνοι. Ο αλγόριθμος DFP χρησιμοποιεί συζευγμένες οδηγίες.

Έτσι, η μέθοδος DFT χρησιμοποιεί τόσο τις ιδέες της Νευτώνειας προσέγγισης όσο και τις ιδιότητες των συζευγμένων κατευθύνσεων, και όταν ελαχιστοποιείται η τετραγωνική συνάρτηση, συγκλίνει σε όχι περισσότερες από n επαναλήψεις. Εάν η βελτιστοποιημένη συνάρτηση έχει μια μορφή κοντά σε μια τετραγωνική συνάρτηση, τότε η μέθοδος DFT είναι αποτελεσματική λόγω της καλής προσέγγισης G-1 (μέθοδος του Newton). Εάν η αντικειμενική συνάρτηση έχει γενική μορφή, τότε η μέθοδος DFT είναι αποτελεσματική λόγω της χρήσης συζευγμένων κατευθύνσεων.

Μέθοδοι βελτιστοποίησης κλίσης

Τα προβλήματα βελτιστοποίησης με μη γραμμικές ή δύσκολες στον υπολογισμό σχέσεις που ορίζουν κριτήρια και περιορισμούς βελτιστοποίησης αποτελούν αντικείμενο μη γραμμικού προγραμματισμού. Κατά κανόνα, λύσεις σε προβλήματα μη γραμμικού προγραμματισμού μπορούν να βρεθούν μόνο με αριθμητικές μεθόδους που χρησιμοποιούν τεχνολογία υπολογιστών. Μεταξύ αυτών, οι πιο συχνά χρησιμοποιούμενες είναι οι μέθοδοι κλίσης (μέθοδοι χαλάρωσης, κλίση, πιο απότομη κάθοδος και ανάβαση), μέθοδοι ντετερμινιστικής αναζήτησης χωρίς κλίση (μέθοδοι σάρωσης, simplex, κ.λπ.) και μέθοδοι τυχαίας αναζήτησης. Όλες αυτές οι μέθοδοι χρησιμοποιούνται στον αριθμητικό προσδιορισμό του βέλτιστου και καλύπτονται ευρέως στην εξειδικευμένη βιβλιογραφία.

Γενικά, η τιμή του κριτηρίου βελτιστοποίησης Rμπορεί να θεωρηθεί ως συνάρτηση R(x β xx..., x n),ορίζεται σε ν-διάστατο χώρο. Εφόσον δεν υπάρχει οπτική γραφική αναπαράσταση του ν-διάστατου χώρου, θα χρησιμοποιήσουμε την περίπτωση ενός δισδιάστατου χώρου.

Αν R(ιβ β x 2)συνεχής στην περιοχή ΡΕ,τότε γύρω από το βέλτιστο σημείο M°(xi°, x g °)είναι δυνατόν να σχεδιάσουμε μια κλειστή γραμμή σε ένα δεδομένο επίπεδο κατά μήκος της οποίας η τιμή R= συνθ. Πολλές τέτοιες γραμμές, που ονομάζονται γραμμές ίσων επιπέδων, μπορούν να σχεδιαστούν γύρω από το βέλτιστο σημείο (ανάλογα με το βήμα

Μεταξύ των μεθόδων που χρησιμοποιούνται για την επίλυση προβλημάτων μη γραμμικού προγραμματισμού, σημαντική θέση καταλαμβάνουν οι μέθοδοι εύρεσης λύσεων που βασίζονται στην ανάλυση της παραγώγου σε σχέση με την κατεύθυνση της συνάρτησης που βελτιστοποιείται. Εάν σε κάθε σημείο του χώρου μια κλιμακωτή συνάρτηση πολλών μεταβλητών παίρνει καλά καθορισμένες τιμές, τότε σε αυτή την περίπτωση έχουμε να κάνουμε με ένα βαθμωτό πεδίο (πεδίο θερμοκρασίας, πεδίο πίεσης, πεδίο πυκνότητας κ.λπ.). Το διανυσματικό πεδίο (πεδίο δυνάμεων, ταχυτήτων κ.λπ.) ορίζεται με παρόμοιο τρόπο. Ισόθερμες, ισοβαρείς, ισόχρονες κ.λπ. - όλα αυτά είναι γραμμές (επιφάνειες) ίσων επιπέδων, ίσων τιμών της συνάρτησης (θερμοκρασία, πίεση, όγκος κ.λπ.). Εφόσον η τιμή μιας συνάρτησης αλλάζει από σημείο σε σημείο στο χώρο, καθίσταται απαραίτητος ο προσδιορισμός του ρυθμού μεταβολής της συνάρτησης στο χώρο, δηλαδή της παραγώγου στην κατεύθυνση.

Η έννοια της κλίσης χρησιμοποιείται ευρέως στους μηχανικούς υπολογισμούς κατά την εύρεση ακραίων μη γραμμικών συναρτήσεων. Οι μέθοδοι διαβάθμισης είναι μέθοδοι αριθμητικής αναζήτησης. Είναι καθολικές και ιδιαίτερα αποτελεσματικές σε περιπτώσεις αναζήτησης άκρων μη γραμμικών συναρτήσεων με περιορισμούς, καθώς και όταν η αναλυτική συνάρτηση είναι εντελώς άγνωστη. Η ουσία αυτών των μεθόδων είναι ο προσδιορισμός των τιμών των μεταβλητών που παρέχουν το άκρο της συνάρτησης στόχου μετακινώντας κατά μήκος της κλίσης (κατά την αναζήτηση Μέγιστη)ή προς την αντίθετη κατεύθυνση (ελάχ.).Οι διάφορες μέθοδοι κλίσης διαφέρουν μεταξύ τους στον τρόπο με τον οποίο καθορίζουν την κίνηση προς το βέλτιστο. Η ουσία είναι ότι εάν γραμμές ίσων επιπέδων R(xu x i)χαρακτηρίζουν γραφικά την εξάρτηση R(x\jc?),τότε η αναζήτηση για το βέλτιστο σημείο μπορεί να γίνει με διάφορους τρόπους. Για παράδειγμα, σχεδιάστε ένα πλέγμα σε ένα αεροπλάνο x\, xrυποδεικνύοντας τις τιμές Rσε κόμβους πλέγματος (Εικ. 2.13).

Στη συνέχεια, μπορείτε να επιλέξετε την ακραία τιμή από τις τιμές του κόμβου. Αυτή η διαδρομή δεν είναι ορθολογική, συνδέεται με μεγάλο αριθμό υπολογισμών και η ακρίβεια είναι χαμηλή, καθώς εξαρτάται από το βήμα και το βέλτιστο μπορεί να είναι μεταξύ κόμβων.

Αριθμητικές μέθοδοι

Τα μαθηματικά μοντέλα περιέχουν σχέσεις που συντάσσονται με βάση μια θεωρητική ανάλυση των διαδικασιών που μελετώνται ή λαμβάνονται ως αποτέλεσμα πειραμάτων επεξεργασίας (πίνακες δεδομένων, γραφήματα). Σε κάθε περίπτωση, το μαθηματικό μοντέλο περιγράφει μόνο κατά προσέγγιση την πραγματική διαδικασία. Επομένως, το ζήτημα της ακρίβειας και της επάρκειας του μοντέλου είναι το πιο σημαντικό. Η ανάγκη για προσεγγίσεις προκύπτει επίσης κατά την επίλυση των ίδιων των εξισώσεων. Μέχρι πρόσφατα, μοντέλα που περιέχουν μη γραμμικές διαφορικές εξισώσεις ή μερικές διαφορικές εξισώσεις δεν μπορούσαν να επιλυθούν με αναλυτικές μεθόδους. Το ίδιο ισχύει για πολλές κατηγορίες ολοκληρωμάτων ουρανού. Ωστόσο, η ανάπτυξη μεθόδων αριθμητικής ανάλυσης κατέστησε δυνατή την ατελείωτη επέκταση των ορίων των δυνατοτήτων ανάλυσης μαθηματικών μοντέλων, ειδικά αυτό κατέστη δυνατό με τη χρήση υπολογιστών.

Οι αριθμητικές μέθοδοι χρησιμοποιούνται για την προσέγγιση συναρτήσεων, για την επίλυση διαφορικών εξισώσεων και των συστημάτων τους, για ολοκλήρωση και διαφοροποίηση και για υπολογισμό αριθμητικών παραστάσεων.

Η συνάρτηση μπορεί να καθοριστεί αναλυτικά, ως πίνακας ή ως γράφημα. Κατά την εκτέλεση έρευνας, μια κοινή εργασία είναι η προσέγγιση μιας συνάρτησης με μια αναλυτική έκφραση που ικανοποιεί τις αναφερόμενες συνθήκες. Αυτό λύνει τέσσερα προβλήματα:

Επιλέγοντας κομβικά σημεία, διεξαγωγή πειραμάτων σε ορισμένες τιμές (επίπεδα) ανεξάρτητων μεταβλητών (εάν το βήμα αλλαγής ενός παράγοντα επιλεχθεί λανθασμένα, είτε θα «χάσουμε» ένα χαρακτηριστικό γνώρισμα της διαδικασίας που μελετάμε ή θα επιμηκύνουμε τη διαδικασία και να αυξήσει την πολυπλοκότητα της αναζήτησης ενός μοτίβου).

Η επιλογή των συναρτήσεων προσέγγισης με τη μορφή πολυωνύμων, εμπειρικών τύπων, ανάλογα με το περιεχόμενο ενός συγκεκριμένου προβλήματος (κάποιος πρέπει να προσπαθήσει να απλοποιήσει όσο το δυνατόν περισσότερο τις συναρτήσεις προσέγγισης).

Επιλογή και χρήση κριτηρίων συμφωνίας βάσει των οποίων βρίσκονται οι παράμετροι των συναρτήσεων προσέγγισης.

Ικανοποίηση των απαιτήσεων μιας δεδομένης ακρίβειας για την επιλογή μιας συνάρτησης προσέγγισης.

Σε προβλήματα προσέγγισης συναρτήσεων με πολυώνυμα, χρησιμοποιούνται τρεις κλάσεις

Γραμμικός συνδυασμός συναρτήσεων ισχύος (σειρά Taylor, πολυώνυμα Lagrange, Newton, κ.λπ.).

Συνδυασμός λειτουργιών soz ph, w τους(σειρά Fourier);

Πολυώνυμο που σχηματίζεται από συναρτήσεις exp(-Ενα δ).

Κατά την εύρεση της συνάρτησης προσέγγισης, χρησιμοποιούνται διάφορα κριτήρια συμφωνίας με πειραματικά δεδομένα.

Κατά τη βελτιστοποίηση με τη μέθοδο της κλίσης, το βέλτιστο του υπό μελέτη αντικειμένου αναζητείται προς την κατεύθυνση της ταχύτερης αύξησης (μείωσης) της μεταβλητής εξόδου, δηλ. προς την κατεύθυνση της κλίσης. Αλλά πριν κάνετε ένα βήμα προς την κλίση, πρέπει να το υπολογίσετε. Η κλίση μπορεί να υπολογιστεί είτε χρησιμοποιώντας ένα υπάρχον μοντέλο

μοντελοποίηση πολυωνύμου δυναμικής κλίσης

πού είναι η μερική παράγωγος ως προς τον παράγοντα i-ο;

i, j, k - μοναδιαία διανύσματα προς την κατεύθυνση των αξόνων συντεταγμένων του χώρου παραγόντων ή σύμφωνα με τα αποτελέσματα n δοκιμαστικών κινήσεων προς την κατεύθυνση των αξόνων συντεταγμένων.

Εάν το μαθηματικό μοντέλο μιας στατιστικής διαδικασίας έχει τη μορφή γραμμικού πολυωνύμου, οι συντελεστές παλινδρόμησης b i του οποίου είναι μερικές παράγωγοι της επέκτασης της συνάρτησης y = f(X) σε μια σειρά Taylor σε δυνάμεις x i , τότε το βέλτιστο είναι αναζητείται προς την κατεύθυνση της κλίσης με ένα ορισμένο βήμα h i:

pkfv n(H)= και 1 r 1 + και 2 r 2 +…+ και t r t

Η κατεύθυνση προσαρμόζεται μετά από κάθε βήμα.

Η μέθοδος gradient, μαζί με τις πολυάριθμες τροποποιήσεις της, είναι μια κοινή και αποτελεσματική μέθοδος για την αναζήτηση του βέλτιστου των υπό μελέτη αντικειμένων. Ας εξετάσουμε μία από τις τροποποιήσεις της μεθόδου της κλίσης - τη μέθοδο της απότομης ανάβασης.

Η μέθοδος απότομης ανάβασης, ή αλλιώς η μέθοδος Box-Wilson, συνδυάζει τα πλεονεκτήματα τριών μεθόδων - της μεθόδου Gauss-Seidel, της μεθόδου βαθμίδωσης και της μεθόδου πλήρους (ή κλασματικών) παραγοντικών πειραμάτων, ως μέσο απόκτησης ενός γραμμικού μαθηματικού μοντέλου. . Το καθήκον της μεθόδου απότομης ανάβασης είναι να πραγματοποιήσει σταδιακή κίνηση προς την κατεύθυνση της ταχύτερης αύξησης (ή μείωσης) της μεταβλητής εξόδου, δηλαδή κατά μήκος του βαθμού y(X). Σε αντίθεση με τη μέθοδο κλίσης, η κατεύθυνση δεν προσαρμόζεται μετά από κάθε επόμενο βήμα, αλλά όταν επιτυγχάνεται ένα συγκεκριμένο άκρο της αντικειμενικής συνάρτησης σε κάποιο σημείο σε μια δεδομένη κατεύθυνση, όπως γίνεται στη μέθοδο Gauss-Seidel. Στο σημείο ενός συγκεκριμένου άκρου, πραγματοποιείται ένα νέο παραγοντικό πείραμα, καθορίζεται ένα μαθηματικό μοντέλο και εκτελείται και πάλι μια απότομη ανάβαση. Στη διαδικασία της μετάβασης προς το βέλτιστο χρησιμοποιώντας την καθορισμένη μέθοδο, πραγματοποιείται τακτικά στατιστική ανάλυση των ενδιάμεσων αποτελεσμάτων αναζήτησης. Η αναζήτηση σταματά όταν τα δευτεροβάθμια αποτελέσματα στην εξίσωση παλινδρόμησης γίνουν σημαντικά. Αυτό σημαίνει ότι έχει επιτευχθεί η βέλτιστη περιοχή.

Ας περιγράψουμε την αρχή της χρήσης μεθόδων διαβάθμισης χρησιμοποιώντας το παράδειγμα μιας συνάρτησης δύο μεταβλητών

με δύο επιπλέον προϋποθέσεις:

Αυτή η αρχή (χωρίς τροποποίηση) μπορεί να εφαρμοστεί σε οποιονδήποτε αριθμό μεταβλητών, καθώς και σε πρόσθετες προϋποθέσεις. Θεωρήστε το επίπεδο x 1 , x 2 (Εικ. 1). Σύμφωνα με τον τύπο (8), κάθε σημείο αντιστοιχεί σε μια ορισμένη τιμή του F. Στο Σχ. 1, οι γραμμές F = const που ανήκουν σε αυτό το επίπεδο αντιπροσωπεύονται από κλειστές καμπύλες που περιβάλλουν το σημείο M * στο οποίο το F είναι ελάχιστο. Έστω στην αρχική στιγμή οι τιμές x 1 και x 2 αντιστοιχούν στο σημείο M 0 . Ο κύκλος υπολογισμού ξεκινά με μια σειρά δοκιμαστικών βημάτων. Πρώτον, η τιμή του x 1 δίνεται με μια μικρή αύξηση. αυτή τη στιγμή η τιμή του x 2 παραμένει αμετάβλητη. Στη συνέχεια προσδιορίζεται η προκύπτουσα αύξηση στην τιμή του F, η οποία μπορεί να θεωρηθεί ανάλογη με την τιμή της μερικής παραγώγου

(αν η τιμή είναι πάντα η ίδια).

Ο ορισμός των μερικών παραγώγων (10) και (11) σημαίνει ότι έχει βρεθεί ένα διάνυσμα με συντεταγμένες και, το οποίο ονομάζεται βαθμίδα της τιμής F και συμβολίζεται ως εξής:

Είναι γνωστό ότι η κατεύθυνση αυτού του διανύσματος συμπίπτει με την κατεύθυνση της πιο απότομης αύξησης της τιμής του F. Η αντίθετη κατεύθυνση είναι η «πιο απότομη κάθοδος», με άλλα λόγια, η πιο απότομη μείωση της τιμής του F.

Μετά την εύρεση των συνιστωσών της κλίσης, οι δοκιμαστικές κινήσεις σταματούν και τα βήματα εργασίας εκτελούνται προς την αντίθετη κατεύθυνση από την κατεύθυνση της κλίσης και όσο μεγαλύτερη είναι η απόλυτη τιμή του διανυσματικού βαθμού F, τόσο μεγαλύτερο είναι το μέγεθος του βήματος. Αυτές οι συνθήκες πληρούνται εάν οι τιμές των βημάτων εργασίας είναι ανάλογες με τις προηγουμένως ληφθείσες τιμές των μερικών παραγώγων:

όπου b είναι θετική σταθερά.

Μετά από κάθε βήμα εργασίας, υπολογίζεται η αύξηση της τιμής του F. Εάν αποδειχθεί αρνητική, τότε η κίνηση γίνεται προς τη σωστή κατεύθυνση και πρέπει να προχωρήσετε περαιτέρω προς την ίδια κατεύθυνση M 0 M 1. Εάν στο σημείο M 1 το αποτέλεσμα της μέτρησης το δείξει, τότε οι κινήσεις εργασίας σταματούν και ξεκινά μια νέα σειρά δοκιμαστικών κινήσεων. Σε αυτή την περίπτωση, η κλίση gradF προσδιορίζεται στο νέο σημείο M 1, στη συνέχεια η κίνηση εργασίας συνεχίζεται κατά μήκος της νέας ευρεθείσας κατεύθυνσης της πιο απότομης καθόδου, δηλαδή κατά μήκος της γραμμής M 1 M 2, κ.λπ. Αυτή η μέθοδος ονομάζεται μέθοδος πιο απότομης κατάβασης/πιο απότομης ανάβασης.

Όταν το σύστημα είναι κοντά στο ελάχιστο, το οποίο υποδεικνύεται από μια μικρή τιμή του

υπάρχει μια αλλαγή σε μια πιο «προσεκτική» μέθοδο αναζήτησης, τη λεγόμενη μέθοδο gradient. Διαφέρει από την πιο απότομη μέθοδο καθόδου στο ότι μετά τον προσδιορισμό του gradient gradF, γίνεται μόνο ένα βήμα εργασίας και στη συνέχεια μια σειρά δοκιμαστικών κινήσεων ξεκινά ξανά σε ένα νέο σημείο. Αυτή η μέθοδος αναζήτησης παρέχει ακριβέστερο προσδιορισμό του ελάχιστου σε σύγκριση με την πιο απότομη μέθοδο καθόδου, ενώ η τελευταία σας επιτρέπει να προσεγγίσετε γρήγορα το ελάχιστο. Εάν κατά τη διαδικασία αναζήτησης το σημείο M φτάσει στο όριο της αποδεκτής περιοχής και τουλάχιστον μία από τις ποσότητες M 1, M 2 αλλάξει πρόσημο, η μέθοδος αλλάζει και το σημείο M αρχίζει να κινείται κατά μήκος του ορίου της περιοχής.

Η αποτελεσματικότητα της μεθόδου απότομης ανάβασης εξαρτάται από την επιλογή της κλίμακας των μεταβλητών και τον τύπο της επιφάνειας απόκρισης. Η επιφάνεια με σφαιρικά περιγράμματα εξασφαλίζει γρήγορη συστολή στο βέλτιστο.

Τα μειονεκτήματα της μεθόδου απότομης ανάβασης περιλαμβάνουν:

1. Περιορισμοί παρέκτασης. Προχωρώντας κατά μήκος της κλίσης, βασιζόμαστε στην παρέκταση των μερικών παραγώγων της αντικειμενικής συνάρτησης σε σχέση με τις αντίστοιχες μεταβλητές. Ωστόσο, το σχήμα της επιφάνειας απόκρισης μπορεί να αλλάξει και η κατεύθυνση αναζήτησης πρέπει να αλλάξει. Με άλλα λόγια, η κίνηση σε ένα επίπεδο δεν μπορεί να είναι συνεχής.

2. Δυσκολία στην εύρεση ενός παγκόσμιου βέλτιστου. Η μέθοδος είναι εφαρμόσιμη για την εύρεση μόνο τοπικών βέλτιστων.

Το διάνυσμα κλίσης κατευθύνεται προς την κατεύθυνση της ταχύτερης αύξησης της συνάρτησης σε ένα δεδομένο σημείο. Το διάνυσμα αντίθετο από τη διαβάθμιση -grad(/(x)) ονομάζεται αντιβαθμίδα και κατευθύνεται προς την κατεύθυνση της ταχύτερης μείωσης της συνάρτησης. Στο ελάχιστο σημείο, η κλίση της συνάρτησης είναι μηδέν. Οι μέθοδοι πρώτης τάξης, που ονομάζονται επίσης μέθοδοι βαθμίδωσης, βασίζονται στις ιδιότητες των βαθμίδων. Εάν δεν υπάρχουν πρόσθετες πληροφορίες, τότε από το αρχικό σημείο x (0 > είναι καλύτερα να πάτε στο σημείο x (1) που βρίσκεται προς την κατεύθυνση της αντιδιαβάθμισης - η ταχύτερη μείωση της συνάρτησης. Επιλογή της αντιδιαβάθμισης -grad(/( x (^)) στο σημείο ως κατεύθυνση καθόδου x(kλαμβάνουμε μια επαναληπτική διαδικασία της φόρμας

Σε συντεταγμένη μορφή, αυτή η διαδικασία γράφεται ως εξής:

Ως κριτήριο για τη διακοπή της επαναληπτικής διαδικασίας, μπορείτε να χρησιμοποιήσετε είτε την συνθήκη (10.2) είτε την εκπλήρωση της συνθήκης μιας μικρής κλίσης

Ένα συνδυασμένο κριτήριο είναι επίσης δυνατό, το οποίο συνίσταται στην ταυτόχρονη εκπλήρωση των καθορισμένων προϋποθέσεων.

Οι μέθοδοι κλίσης διαφέρουν μεταξύ τους στον τρόπο με τον οποίο επιλέγουν το μέγεθος του βήματος ΕΝΑΣτη μέθοδο με σταθερό βήμα, επιλέγεται μια ορισμένη σταθερή τιμή βήματος για όλες τις επαναλήψεις. Αρκετά μικρό βήμα α^διασφαλίζει ότι η συνάρτηση μειώνεται, δηλ. εκπλήρωση της ανισότητας

Ωστόσο, αυτό μπορεί να οδηγήσει στην ανάγκη να πραγματοποιηθεί ένας αρκετά μεγάλος αριθμός επαναλήψεων για να επιτευχθεί το ελάχιστο σημείο. Από την άλλη πλευρά, ένα πολύ μεγάλο βήμα μπορεί να προκαλέσει ανάπτυξη της συνάρτησης ή να οδηγήσει σε διακυμάνσεις γύρω από το ελάχιστο σημείο. Απαιτούνται πρόσθετες πληροφορίες για την επιλογή του μεγέθους του βήματος, επομένως μέθοδοι με σταθερά βήματα χρησιμοποιούνται σπάνια στην πράξη.

Οι μέθοδοι κλίσης με μεταβλητά βήματα είναι πιο αξιόπιστες και οικονομικές (όσον αφορά τον αριθμό των επαναλήψεων), όταν το μέγεθος του βήματος αλλάζει με κάποιο τρόπο ανάλογα με την προσέγγιση που προκύπτει. Ως παράδειγμα μιας τέτοιας μεθόδου, εξετάστε την πιο απότομη μέθοδο καθόδου. Σε αυτή τη μέθοδο, σε κάθε επανάληψη, το μέγεθος βήματος i* επιλέγεται από την συνθήκη του ελάχιστου της συνάρτησης f(x) προς την κατεύθυνση της καθόδου, δηλ.

Αυτή η συνθήκη σημαίνει ότι η κίνηση κατά μήκος της αντιδιαβάθμισης συμβαίνει όσο μειώνεται η τιμή της συνάρτησης /(x). Επομένως, σε κάθε επανάληψη είναι απαραίτητο να λυθεί το πρόβλημα της μονοδιάστατης ελαχιστοποίησης ως προς το φ της συνάρτησης φ(τ) =/(x(/r) - - agrad^x^))). Ο αλγόριθμος της μεθόδου της πιο απότομης κατάβασης έχει ως εξής.

• 1. Ας ορίσουμε τις συντεταγμένες του αρχικού σημείου x^° και την ακρίβεια της κατά προσέγγιση λύσης r. Ας ορίσουμε κ = 0.
• 2. Στο σημείο x (/r) υπολογίζουμε την τιμή του gradient grad(/(x (^)).
• 3. Προσδιορίστε το μέγεθος του βήματος α^με μονοδιάστατη ελαχιστοποίηση της συνάρτησης cp(i) ως προς το i.
• 4. Ας προσδιορίσουμε μια νέα προσέγγιση στο ελάχιστο σημείο x (* +1 > χρησιμοποιώντας τον τύπο (10.4).
• 5. Ας ελέγξουμε τις συνθήκες διακοπής της επαναληπτικής διαδικασίας. Εάν εκπληρωθούν, τότε οι υπολογισμοί σταματούν. Διαφορετικά υποθέτουμε κ κ+ 1 και μεταβείτε στο βήμα 2.

Στη μέθοδο της πιο απότομης κατάβασης, η κατεύθυνση κίνησης από το σημείο x (*) αγγίζει τη γραμμή στάθμης στο σημείο x (* +1). Το μονοπάτι κατάβασης είναι ζιγκ-ζαγκ και οι παρακείμενοι ζιγκ-ζαγκ σύνδεσμοι είναι ορθογώνιοι μεταξύ τους. Πράγματι, ένα βήμα α^επιλέγεται ελαχιστοποιώντας κατά ΕΝΑλειτουργίες ( ΕΝΑ). Προαπαιτούμενο

ελάχιστο της συνάρτησης - = 0. Έχοντας υπολογίσει την παράγωγο

σύνθετη συνάρτηση, λαμβάνουμε την συνθήκη για την ορθογωνικότητα των διανυσμάτων των κατευθύνσεων καθόδου σε γειτονικά σημεία:

Το πρόβλημα της ελαχιστοποίησης της συνάρτησης φ(π) μπορεί να αναχθεί στο πρόβλημα του υπολογισμού της ρίζας μιας συνάρτησης μιας μεταβλητής g(a) =

Οι μέθοδοι κλίσης συγκλίνουν στο ελάχιστο με ρυθμό γεωμετρικής προόδου για ομαλές κυρτές συναρτήσεις. Τέτοιες συναρτήσεις έχουν τις μεγαλύτερες και τις μικρότερες ιδιοτιμές του πίνακα των δεύτερων παραγώγων (Hessian matrix)

διαφέρουν ελάχιστα μεταξύ τους, δηλ. ο πίνακας H(x) είναι καλά ρυθμισμένος. Ωστόσο, στην πράξη, οι συναρτήσεις που ελαχιστοποιούνται συχνά έχουν κακώς ρυθμισμένους πίνακες δεύτερων παραγώγων. Οι τιμές τέτοιων συναρτήσεων αλλάζουν πολύ πιο γρήγορα σε ορισμένες κατευθύνσεις παρά σε άλλες κατευθύνσεις. Ο ρυθμός σύγκλισης των μεθόδων κλίσης εξαρτάται επίσης σημαντικά από την ακρίβεια των υπολογισμών της κλίσης. Η απώλεια ακρίβειας, η οποία συνήθως συμβαίνει κοντά σε ελάχιστα σημεία, μπορεί γενικά να διαταράξει τη σύγκλιση της διαδικασίας κατάβασης με κλίση. Ως εκ τούτου, οι μέθοδοι κλίσης χρησιμοποιούνται συχνά σε συνδυασμό με άλλες, πιο αποτελεσματικές μεθόδους στο αρχικό στάδιο επίλυσης ενός προβλήματος. Σε αυτή την περίπτωση, το σημείο x (0) απέχει πολύ από το ελάχιστο σημείο και τα βήματα προς την κατεύθυνση της αντιδιαβάθμισης καθιστούν δυνατή την επίτευξη σημαντικής μείωσης της συνάρτησης.

Δεν υπάρχουν περιορισμοί σε ένα πρόβλημα βελτιστοποίησης χωρίς περιορισμούς.

Θυμηθείτε ότι η διαβάθμιση μιας πολυδιάστατης συνάρτησης είναι ένα διάνυσμα που εκφράζεται αναλυτικά από το γεωμετρικό άθροισμα των μερικών παραγώγων

Διαβάθμιση μιας βαθμωτής συνάρτησης φά(Χ) σε κάποιο σημείο κατευθύνεται προς την κατεύθυνση της ταχύτερης αύξησης της συνάρτησης και είναι ορθογώνια προς τη γραμμή επιπέδου (επιφάνεια σταθερής τιμής φά(Χ), περνώντας από ένα σημείο Χ κ). Το διάνυσμα αντίθετο προς τη διαβάθμιση  αντιδιαβάθμιση  κατευθύνεται προς την ταχύτερη μείωση της συνάρτησης φά(Χ). Στο ακραίο σημείο grad φά(Χ)= 0.

Στις μεθόδους κλίσης, η κίνηση ενός σημείου κατά την αναζήτηση του ελάχιστου της αντικειμενικής συνάρτησης περιγράφεται από τον επαναληπτικό τύπο

Οπου  κ  παράμετρος βήματος κη επανάληψη κατά μήκος της αντιδιαβάθμισης. Για αύξουσες μεθόδους (αναζήτηση για το μέγιστο), πρέπει να μετακινηθείτε κατά μήκος της κλίσης.

Διάφορες παραλλαγές μεθόδων κλίσης διαφέρουν μεταξύ τους ως προς τον τρόπο με τον οποίο επιλέγουν την παράμετρο βήματος, καθώς και λαμβάνοντας υπόψη την κατεύθυνση της κίνησης στο προηγούμενο βήμα. Ας εξετάσουμε τις ακόλουθες επιλογές για μεθόδους κλίσης: με σταθερό βήμα, με μεταβλητή παράμετρο βήματος (διαίρεση βήματος), τη μέθοδο πιο απότομης κατάβασης και τη μέθοδο συζυγούς κλίσης.

Μέθοδος με παράμετρο σταθερού βήματος.Σε αυτή τη μέθοδο, η παράμετρος βήματος είναι σταθερή σε κάθε επανάληψη. Τίθεται το ερώτημα: πώς να επιλέξετε πρακτικά την τιμή της παραμέτρου βήματος; Μια αρκετά μικρή παράμετρος βήματος μπορεί να έχει ως αποτέλεσμα έναν απαράδεκτα μεγάλο αριθμό επαναλήψεων που απαιτούνται για την επίτευξη του ελάχιστου σημείου. Από την άλλη πλευρά, μια πολύ μεγάλη παράμετρος βήματος μπορεί να οδηγήσει σε υπέρβαση του ελάχιστου σημείου και σε μια ταλαντωτική υπολογιστική διαδικασία γύρω από αυτό το σημείο. Αυτές οι συνθήκες είναι μειονεκτήματα της μεθόδου. Δεδομένου ότι είναι αδύνατο να μαντέψει κανείς εκ των προτέρων την αποδεκτή τιμή της παραμέτρου βήματος  κ, τότε υπάρχει ανάγκη να χρησιμοποιηθεί η μέθοδος gradient με μια παράμετρο μεταβλητού βήματος.

Καθώς πλησιάζουμε το βέλτιστο, το διάνυσμα κλίσης μειώνεται σε τιμή, τείνει στο μηδέν, οπότε πότε  κ = const το μήκος του βήματος μειώνεται σταδιακά. Κοντά στο βέλτιστο, το μήκος του διανύσματος κλίσης τείνει στο μηδέν. Διάνυσμα μήκος ή κανόνας σε n-ο διαστατικός ευκλείδειος χώρος καθορίζεται από τον τύπο

, Οπου n- αριθμός μεταβλητών.

Επιλογές για τη διακοπή της βέλτιστης διαδικασίας αναζήτησης:

Από πρακτική άποψη, είναι πιο βολικό να χρησιμοποιήσετε το 3ο κριτήριο διακοπής (καθώς οι τιμές των παραμέτρων σχεδίασης ενδιαφέρουν), ωστόσο, για να προσδιορίσετε την εγγύτητα του ακραίου σημείου, πρέπει να εστιάσετε στο 2ο κριτήριο. Μπορούν να χρησιμοποιηθούν διάφορα κριτήρια για να σταματήσει η υπολογιστική διαδικασία.

Ας δούμε ένα παράδειγμα. Βρείτε το ελάχιστο της αντικειμενικής συνάρτησης φά(Χ) = (Χ 1  2) 2 + (Χ 2  4) 2 . Ακριβής λύση στο πρόβλημα X*= (2,0; 4,0).Εκφράσεις για μερικές παραγώγους

,
.

Επιλέγοντας ένα βήμα  κ = 0.1. Ας ψάξουμε από την αφετηρία Χ 1 = . Ας παρουσιάσουμε τη λύση σε μορφή πίνακα.

Μέθοδος κλίσης με διαίρεση της παραμέτρου βήματος.Σε αυτήν την περίπτωση, κατά τη διαδικασία βελτιστοποίησης, η παράμετρος βήματος  k μειώνεται εάν μετά το επόμενο βήμα αυξηθεί η αντικειμενική συνάρτηση (κατά την αναζήτηση ελάχιστου). Σε αυτή την περίπτωση, το μήκος του βήματος συχνά χωρίζεται (διαιρείται) στη μέση και το βήμα επαναλαμβάνεται από το προηγούμενο σημείο. Αυτό παρέχει μια πιο ακριβή προσέγγιση στο ακραίο σημείο.

Μέθοδος της πιο απότομης κατάβασης.Οι μέθοδοι μεταβλητού βήματος είναι πιο οικονομικές ως προς τον αριθμό των επαναλήψεων. Εάν το βέλτιστο μήκος βήματος  k κατά μήκος της κατεύθυνσης της αντίστροφης κλίσης είναι μια λύση σε ένα μονοδιάστατο πρόβλημα ελαχιστοποίησης, τότε αυτή η μέθοδος ονομάζεται μέθοδος πιο απότομης καθόδου. Σε αυτή τη μέθοδο, σε κάθε επανάληψη λύνεται το πρόβλημα της μονοδιάστατης ελαχιστοποίησης:

F(X k+1 )=F(X κ   κ μικρό κ )=min F( κ ), Σ κ =  F(X);

 κ >0

.

Σε αυτή τη μέθοδο, η κίνηση προς την κατεύθυνση της αντιδιαβάθμισης συνεχίζεται μέχρι να επιτευχθεί το ελάχιστο της αντικειμενικής συνάρτησης (ενώ η τιμή της αντικειμενικής συνάρτησης μειώνεται). Χρησιμοποιώντας ένα παράδειγμα, ας εξετάσουμε πώς η αντικειμενική συνάρτηση μπορεί να γραφτεί αναλυτικά σε κάθε βήμα ανάλογα με μια άγνωστη παράμετρο

Παράδειγμα. ελάχ φά(Χ 1 , Χ 2 ) = 2Χ 1 2 + 4Χ 2 3 – 3. Επειτα  φά(Χ)= [ 4Χ 1 ; 12Χ 2 2 ]. Αφήστε το θέμα Χ κ = , ως εκ τούτου  φά(Χ)= [ 8; 12], φά(Χ κ   μικρό κ ) =

2(2  8 ) 2 + 4(1  12 ) 3  3. Είναι απαραίτητο να βρείτε το , το οποίο παρέχει το ελάχιστο για αυτή τη συνάρτηση.

Αλγόριθμος για την πιο απότομη μέθοδο καθόδου (για να βρείτε το ελάχιστο)

Αρχικό βήμα. Έστω   σταθερά παύσης. Επιλέξτε το σημείο εκκίνησης Χ 1 , βάζω κ = 1 και μεταβείτε στο κύριο βήμα.

Βασικό βήμα. Αν || gradF(Χ)||< , μετά τερματίστε την αναζήτηση, διαφορετικά προσδιορίστε  φά(Χ κ ) και βρείτε  κ  βέλτιστη λύση στο πρόβλημα ελαχιστοποίησης φά(Χ κ   κ μικρό κ ) στο  κ  0. Βάζω Χ κ +1 = Χ κ   κ μικρό κ, ανάθεση κ =

κ + 1 και επαναλάβετε το κύριο βήμα.

Για να βρείτε το ελάχιστο μιας συνάρτησης μιας μεταβλητής στη μέθοδο πιο απότομης κατάβασης, μπορείτε να χρησιμοποιήσετε μεθόδους μονοτροπικής βελτιστοποίησης. Από μια μεγάλη ομάδα μεθόδων, θα εξετάσουμε τη μέθοδο διχοτομίας (διχοτόμηση) και τη χρυσή τομή. Η ουσία των μεθόδων μονοτροπικής βελτιστοποίησης είναι να περιοριστεί το εύρος της αβεβαιότητας στη θέση του άκρου.

Μέθοδος διχοτομίας (διχοτόμηση)Αρχικό βήμα.Επιλέξτε τη σταθερά διακριτικότητας  και το πεπερασμένο μήκος του διαστήματος αβεβαιότητας μεγάλο. Η τιμή  πρέπει να είναι όσο το δυνατόν μικρότερη, αλλά εξακολουθεί να επιτρέπει σε κάποιον να διακρίνει τις τιμές της συνάρτησης φά( ) Και φά( ) . Αφήνω [ ένα 1 , σι 1 ] - αρχικό διάστημα αβεβαιότητας. Βάζω κ =

Το κύριο στάδιο αποτελείται από έναν πεπερασμένο αριθμό επαναλήψεων του ίδιου τύπου.

kth επανάληψη.

Βήμα 1.Αν σι κ  ένα κ  μεγάλο, τότε τελειώνουν οι υπολογισμοί. Λύση Χ * = (ένα κ + σι κ )/2. Σε διαφορετική περίπτωση

,
.

Βήμα 2.Αν φά( κ ) < φά( κ ), βάζω ένα κ +1 = ένα κ ; σι κ +1 =  κ. Σε διαφορετική περίπτωση ένα κ +1 =  κΚαι σι κ +1 = σι κ. Αναθέτω κ = κ + 1 και μεταβείτε στο βήμα 1.

Μέθοδος Χρυσής Τομής.Μια πιο αποτελεσματική μέθοδος από τη μέθοδο διχοτομίας. Σας επιτρέπει να λαμβάνετε μια δεδομένη τιμή του διαστήματος αβεβαιότητας σε λιγότερες επαναλήψεις και απαιτεί λιγότερους υπολογισμούς της αντικειμενικής συνάρτησης. Σε αυτή τη μέθοδο, το νέο σημείο διαίρεσης του διαστήματος αβεβαιότητας υπολογίζεται μία φορά. Ένα νέο σημείο τοποθετείται σε απόσταση

 = 0,618034 από το τέλος του διαστήματος.

Αλγόριθμος της μεθόδου της χρυσής τομής

Αρχικό βήμα.Επιλέξτε το επιτρεπόμενο πεπερασμένο μήκος του διαστήματος αβεβαιότητας μεγάλο > 0. Αφήνω [ ένα 1 , σι 1 ] - αρχικό διάστημα αβεβαιότητας. Βάζω  1 = ένα 1 +(1   )(σι 1  ένα 1 ) Και  1 = ένα 1 +  (σι 1  ένα 1 ) , Οπου  = 0,618 . Υπολογίζω φά( 1 ) Και φά( 1 ) , βάζω κ = 1 και μεταβείτε στην κύρια σκηνή.

Βήμα 1.Αν σι κ  ένα κ  μεγάλο, τότε τελειώνουν οι υπολογισμοί Χ * = (ένα κ + σι κ )/ 2. Διαφορετικά αν φά( κ ) > φά( κ ) , μετά πηγαίνετε στο βήμα 2. Αν φά( κ )  φά( κ ) , μεταβείτε στο βήμα 3.

Βήμα 2.Βάζω ένα κ +1 =  κ , σι κ +1 = σι κ ,  κ +1 =  κ ,  κ +1 = ένα κ +1 +  (σι κ +1 – ένα κ +1 ). Υπολογίζω φά( κ +1 ), μεταβείτε στο βήμα 4.

Βήμα 3.Βάζω ένα κ +1 = ένα κ , σι κ +1 =  κ ,  κ +1 =  κ ,  κ +1 = ένα κ +1 + (1   )(σι κ +1 – ένα κ +1 ). Υπολογίζω φά( κ +1 ).

Βήμα 4.Αναθέτω κ = κ + 1, μεταβείτε στο βήμα 1.

Στην πρώτη επανάληψη απαιτούνται δύο υπολογισμοί συναρτήσεων, σε όλες τις επόμενες επαναλήψεις μόνο ένας.

Μέθοδος συζυγούς κλίσης (Fletcher-Reeves).Σε αυτή τη μέθοδο, επιλέγοντας την κατεύθυνση της κίνησης κ+ Το βήμα 1 λαμβάνει υπόψη την αλλαγή κατεύθυνσης κβήμα. Το διάνυσμα κατεύθυνσης καθόδου είναι ένας γραμμικός συνδυασμός της κατεύθυνσης κατά της κλίσης και της προηγούμενης κατεύθυνσης αναζήτησης. Σε αυτήν την περίπτωση, κατά την ελαχιστοποίηση των λειτουργιών της ρεματιάς (με στενές μακριές κοιλότητες), η αναζήτηση δεν είναι κάθετη στη χαράδρα, αλλά κατά μήκος της, γεγονός που επιτρέπει σε κάποιον να φτάσει γρήγορα στο ελάχιστο. Οι συντεταγμένες ενός σημείου κατά την αναζήτηση ενός άκρου χρησιμοποιώντας τη μέθοδο συζυγούς κλίσης υπολογίζονται χρησιμοποιώντας την έκφραση Χ κ +1 = Χ κ   V κ +1 , Οπου V κ +1 – διάνυσμα που υπολογίζεται χρησιμοποιώντας την ακόλουθη έκφραση:

.

Η πρώτη επανάληψη συνήθως βασίζεται V = 0 και πραγματοποιείται αναζήτηση κατά μήκος της αντιδιαβάθμισης, όπως στην πιο απότομη μέθοδο καθόδου. Τότε η κατεύθυνση της κίνησης αποκλίνει από την κατεύθυνση της αντιδιαβάθμισης, όσο περισσότερο, τόσο πιο σημαντικά αλλάζει το μήκος του διανύσματος κλίσης στην τελευταία επανάληψη. Μετά nΤα βήματα για τη διόρθωση της λειτουργίας του αλγορίθμου γίνονται χρησιμοποιώντας το συνηθισμένο βήμα κατά της κλίσης.

Αλγόριθμος της μεθόδου συζυγούς κλίσης

Βήμα 1.Εισαγάγετε το σημείο εκκίνησης Χ 0 , ακρίβεια  , διάσταση n.

Βήμα 2.Βάζω κ = 1.

Βήμα 3.Βάλτε διάνυσμα V κ = 0.

Βήμα 4.Υπολογίζω grad φά(Χ κ ).

Βήμα 5.Υπολογίστε το διάνυσμα V κ +1.

Βήμα 6.Εκτελέστε μια μονοδιάστατη διανυσματική αναζήτηση V κ +1.

Βήμα 7Αν κ < n, βάζω κ = κ + 1 και πηγαίνετε στο βήμα 4, διαφορετικά πηγαίνετε στο βήμα 8.

Βήμα 8Αν το διανυσματικό μήκος Vλιγότερο από , τερματίστε την αναζήτηση, διαφορετικά  μεταβείτε στο βήμα 2.

Η μέθοδος συζευγμένων κατευθύνσεων είναι μια από τις πιο αποτελεσματικές στην επίλυση προβλημάτων ελαχιστοποίησης. Η μέθοδος, σε συνδυασμό με τη μονοδιάστατη αναζήτηση, χρησιμοποιείται συχνά πρακτικά στο CAD. Ωστόσο, πρέπει να σημειωθεί ότι είναι ευαίσθητο σε σφάλματα που προκύπτουν κατά τη διαδικασία μέτρησης.

Μειονεκτήματα των μεθόδων gradient

Σε προβλήματα με μεγάλο αριθμό μεταβλητών, είναι δύσκολο ή αδύνατο να ληφθούν παράγωγοι με τη μορφή αναλυτικών συναρτήσεων.

Κατά τον υπολογισμό των παραγώγων χρησιμοποιώντας σχήματα διαφορών, το σφάλμα που προκύπτει, ειδικά στην περιοχή του άκρου, περιορίζει τις δυνατότητες μιας τέτοιας προσέγγισης.