Ανάλυση δεδομένων με τη μέθοδο των ελαχίστων τετραγώνων. Ελάχιστα τετράγωνα στο Excel

Μέθοδος ελάχιστου τετραγώνου

Στο τελευταίο μάθημα του θέματος, θα εξοικειωθούμε με την πιο διάσημη εφαρμογή FNP, που βρίσκει την ευρύτερη εφαρμογή σε διάφορους τομείς της επιστήμης και της πρακτικής. Μπορεί να είναι η φυσική, η χημεία, η βιολογία, η οικονομία, η κοινωνιολογία, η ψυχολογία και ούτω καθεξής και ούτω καθεξής. Με τη θέληση της μοίρας, συχνά πρέπει να ασχολούμαι με την οικονομία, και επομένως σήμερα θα κανονίσω για εσάς ένα εισιτήριο για μια καταπληκτική χώρα που ονομάζεται Οικονομετρία=) … Πώς δεν το θέλεις;! Είναι πολύ καλά εκεί - απλά πρέπει να αποφασίσετε! …Αλλά αυτό που πιθανώς σίγουρα θέλετε είναι να μάθετε πώς να λύνετε προβλήματα ελάχιστα τετράγωνα. Και ιδιαίτερα οι επιμελείς αναγνώστες θα μάθουν να τα λύνουν όχι μόνο με ακρίβεια, αλλά και ΠΟΛΥ ΓΡΗΓΟΡΑ ;-) Αλλά πρώτα γενική δήλωση του προβλήματος+ σχετικό παράδειγμα:

Αφήστε τους δείκτες να μελετηθούν σε κάποια θεματική περιοχή που έχουν ποσοτική έκφραση. Ταυτόχρονα, υπάρχει κάθε λόγος να πιστεύουμε ότι ο δείκτης εξαρτάται από τον δείκτη. Αυτή η υπόθεση μπορεί να είναι και μια επιστημονική υπόθεση και να βασίζεται σε στοιχειώδη κοινή λογική. Ας αφήσουμε την επιστήμη στην άκρη, ωστόσο, και ας εξερευνήσουμε πιο ορεκτικές περιοχές - συγκεκριμένα, τα παντοπωλεία. Σημειώστε με:

– χώρος λιανικής παντοπωλείου, τ.μ.,
- ετήσιος κύκλος εργασιών ενός παντοπωλείου, εκατομμύρια ρούβλια.

Είναι ξεκάθαρο ότι όσο μεγαλύτερη είναι η έκταση του καταστήματος, τόσο μεγαλύτερος είναι ο τζίρος του στις περισσότερες περιπτώσεις.

Ας υποθέσουμε ότι μετά από παρατηρήσεις / πειράματα / υπολογισμούς / χορό με ντέφι, έχουμε στη διάθεσή μας αριθμητικά δεδομένα:

Με τα παντοπωλεία, νομίζω ότι όλα είναι ξεκάθαρα: - αυτή είναι η περιοχή του 1ου καταστήματος, - ο ετήσιος τζίρος του, - η περιοχή του 2ου καταστήματος, - ο ετήσιος τζίρος του κ.λπ. Παρεμπιπτόντως, δεν είναι καθόλου απαραίτητο να έχετε πρόσβαση σε ταξινομημένα υλικά - μια αρκετά ακριβής εκτίμηση του κύκλου εργασιών μπορεί να ληφθεί χρησιμοποιώντας μαθηματικές στατιστικές. Ωστόσο, μην αποσπάτε την προσοχή, η πορεία της εμπορικής κατασκοπείας είναι ήδη πληρωμένη =)

Τα δεδομένα πίνακα μπορούν επίσης να γραφτούν με τη μορφή σημείων και να απεικονιστούν με τον συνηθισμένο τρόπο για εμάς. Καρτεσιανό σύστημα .

Ας απαντήσουμε σε μια σημαντική ερώτηση: πόσοι βαθμοί χρειάζονται για μια ποιοτική μελέτη;

Οσο μεγαλύτερο τόσο καλύτερα. Το ελάχιστο αποδεκτό σετ αποτελείται από 5-6 πόντους. Επιπλέον, με έναν μικρό όγκο δεδομένων, τα «μη φυσιολογικά» αποτελέσματα δεν πρέπει να περιλαμβάνονται στο δείγμα. Έτσι, για παράδειγμα, ένα μικρό κατάστημα ελίτ μπορεί να βοηθήσει σε τάξεις μεγέθους περισσότερο από «τους συναδέλφους του», παραμορφώνοντας έτσι το γενικό μοτίβο που πρέπει να βρεθεί!

Αν είναι αρκετά απλό, πρέπει να επιλέξουμε μια συνάρτηση, πρόγραμμαπου περνά όσο πιο κοντά στα σημεία . Μια τέτοια συνάρτηση ονομάζεται προσεγγίζοντας (προσέγγιση - προσέγγιση)ή θεωρητική λειτουργία . Σε γενικές γραμμές, εδώ εμφανίζεται αμέσως ένας προφανής «προσποιητής» - ένα πολυώνυμο υψηλού βαθμού, η γραφική παράσταση του οποίου διέρχεται από ΟΛΑ τα σημεία. Αλλά αυτή η επιλογή είναι περίπλοκη και συχνά απλά λανθασμένη. (επειδή το γράφημα θα «ανεμίζει» συνεχώς και θα αντικατοπτρίζει ελάχιστα την κύρια τάση).

Έτσι, η επιθυμητή συνάρτηση πρέπει να είναι αρκετά απλή και ταυτόχρονα να αντικατοπτρίζει επαρκώς την εξάρτηση. Όπως μπορείτε να μαντέψετε, ονομάζεται μία από τις μεθόδους εύρεσης τέτοιων συναρτήσεων ελάχιστα τετράγωνα. Αρχικά, ας αναλύσουμε την ουσία του με γενικό τρόπο. Αφήστε κάποια συνάρτηση να προσεγγίσει τα πειραματικά δεδομένα:


Πώς να αξιολογήσετε την ακρίβεια αυτής της προσέγγισης; Ας υπολογίσουμε επίσης τις διαφορές (αποκλίσεις) μεταξύ των πειραματικών και λειτουργικών τιμών (μελετούμε το σχέδιο). Η πρώτη σκέψη που έρχεται στο μυαλό είναι να εκτιμήσουμε πόσο μεγάλο είναι το άθροισμα, αλλά το πρόβλημα είναι ότι οι διαφορές μπορεί να είναι αρνητικές. (για παράδειγμα, ) και οι αποκλίσεις ως αποτέλεσμα μιας τέτοιας άθροισης θα αλληλοεξουδετερωθούν. Επομένως, ως εκτίμηση της ακρίβειας της προσέγγισης, προτείνει τον εαυτό της να λάβει το άθροισμα ενότητεςαποκλίσεις:

ή σε διπλωμένη μορφή: (για όσους δεν γνωρίζουν: είναι το εικονίδιο αθροίσματος και - βοηθητική μεταβλητή - "μετρητής", που παίρνει τιμές από 1 έως ) .

Προσεγγίζοντας τα πειραματικά σημεία με διαφορετικές συναρτήσεις, θα λάβουμε διαφορετικές τιμές και είναι προφανές πού είναι μικρότερο αυτό το άθροισμα - αυτή η συνάρτηση είναι πιο ακριβής.

Μια τέτοια μέθοδος υπάρχει και ονομάζεται μέθοδος ελάχιστου συντελεστή. Ωστόσο, στην πράξη έχει γίνει πολύ πιο διαδεδομένο. μέθοδος ελάχιστου τετραγώνου, όπου οι πιθανές αρνητικές τιμές εξαλείφονται όχι από το μέτρο, αλλά με τον τετραγωνισμό των αποκλίσεων:

, μετά την οποία οι προσπάθειες κατευθύνονται στην επιλογή μιας τέτοιας συνάρτησης ώστε το άθροισμα των τετραγωνικών αποκλίσεων ήταν όσο το δυνατόν μικρότερο. Στην πραγματικότητα, εξ ου και το όνομα της μεθόδου.

Και τώρα επιστρέφουμε σε ένα άλλο σημαντικό σημείο: όπως σημειώθηκε παραπάνω, η επιλεγμένη συνάρτηση θα πρέπει να είναι αρκετά απλή - αλλά υπάρχουν και πολλές τέτοιες λειτουργίες: γραμμικός , υπερβολικός , εκθετικός , λογαριθμική , τετραγωνικός και τα λοιπά. Και, φυσικά, εδώ θα ήθελα αμέσως να «μειώσω το πεδίο δραστηριότητας». Ποια κατηγορία λειτουργιών να επιλέξετε για έρευνα; Πρωτόγονη αλλά αποτελεσματική τεχνική:

- Ο ευκολότερος τρόπος για να τραβήξετε πόντους στο σχέδιο και αναλύστε τη θέση τους. Εάν τείνουν να είναι σε ευθεία γραμμή, τότε θα πρέπει να αναζητήσετε ευθύγραμμη εξίσωση με βέλτιστες τιμές και . Με άλλα λόγια, το καθήκον είναι να βρεθούν ΤΕΤΟΙΟΙ συντελεστές - έτσι ώστε το άθροισμα των τετραγωνικών αποκλίσεων να είναι το μικρότερο.

Εάν τα σημεία βρίσκονται, για παράδειγμα, κατά μήκος υπερβολή, τότε είναι σαφές ότι η γραμμική συνάρτηση θα δώσει κακή προσέγγιση. Σε αυτή την περίπτωση, αναζητούμε τους πιο «ευνοϊκούς» συντελεστές για την εξίσωση της υπερβολής - αυτούς που δίνουν το ελάχιστο άθροισμα τετραγώνων .

Προσέξτε τώρα ότι και στις δύο περιπτώσεις μιλάμε συναρτήσεις δύο μεταβλητών, των οποίων τα επιχειρήματα είναι αναζητήθηκαν επιλογές εξάρτησης:

Και στην ουσία, πρέπει να λύσουμε ένα τυπικό πρόβλημα - να βρούμε ελάχιστη συνάρτηση δύο μεταβλητών.

Θυμηθείτε το παράδειγμά μας: ας υποθέσουμε ότι τα σημεία «καταστήματος» τείνουν να βρίσκονται σε ευθεία γραμμή και υπάρχει κάθε λόγος να πιστεύουμε την παρουσία γραμμική εξάρτησηκύκλου εργασιών από την περιοχή συναλλαγών. Ας βρούμε ΤΕΤΟΙΟΥΣ συντελεστές "a" και "be" έτσι ώστε το άθροισμα των τετραγωνικών αποκλίσεων ήταν το μικρότερο. Όλα ως συνήθως - πρώτα επιμέρους παράγωγα 1ης τάξης. Σύμφωνα με κανόνας γραμμικότηταςμπορείτε να διαφοροποιήσετε ακριβώς κάτω από το εικονίδιο άθροισης:

Εάν θέλετε να χρησιμοποιήσετε αυτές τις πληροφορίες για ένα δοκίμιο ή μια εργασία όρου, θα είμαι πολύ ευγνώμων για τον σύνδεσμο στη λίστα των πηγών, δεν θα βρείτε πουθενά τόσο λεπτομερείς υπολογισμούς:

Ας φτιάξουμε ένα τυπικό σύστημα:

Μειώνουμε κάθε εξίσωση κατά ένα «δύο» και, επιπλέον, «χωρίζουμε» τα αθροίσματα:

Σημείωση : αναλύστε ανεξάρτητα γιατί το "a" και το "be" μπορούν να αφαιρεθούν από το εικονίδιο αθροίσματος. Παρεμπιπτόντως, τυπικά αυτό μπορεί να γίνει με το άθροισμα

Ας ξαναγράψουμε το σύστημα σε μια "εφαρμοσμένη" μορφή:

μετά την οποία αρχίζει να σχεδιάζεται ο αλγόριθμος για την επίλυση του προβλήματός μας:

Γνωρίζουμε τις συντεταγμένες των σημείων; Ξέρουμε. Ποσά μπορούμε να βρούμε; Εύκολα. Συνθέτουμε τα πιο απλά σύστημα δύο γραμμικών εξισώσεων με δύο αγνώστους("α" και "μπεχ"). Λύνουμε το σύστημα, για παράδειγμα, Η μέθοδος του Cramer, με αποτέλεσμα ένα ακίνητο σημείο . Ελεγχος επαρκής συνθήκη για εξτρέμ, μπορούμε να επαληθεύσουμε ότι σε αυτό το σημείο η συνάρτηση φτάνει ακριβώς ελάχιστο. Η επαλήθευση συνδέεται με πρόσθετους υπολογισμούς και επομένως θα την αφήσουμε στο παρασκήνιο. (εάν είναι απαραίτητο, μπορείτε να δείτε το πλαίσιο που λείπειεδώ ) . Καταλήγουμε στο τελικό συμπέρασμα:

Λειτουργία ο καλύτερος τρόπος (τουλάχιστον σε σύγκριση με οποιαδήποτε άλλη γραμμική συνάρτηση)φέρνει πιο κοντά τα πειραματικά σημεία . Σε γενικές γραμμές, το γράφημά του περνά όσο το δυνατόν πιο κοντά σε αυτά τα σημεία. Στην παράδοση οικονομετρίακαλείται επίσης η συνάρτηση προσέγγισης που προκύπτει ζευγαρωμένη γραμμική εξίσωση παλινδρόμησης .

Το πρόβλημα που εξετάζεται έχει μεγάλη πρακτική σημασία. Στην κατάσταση με το παράδειγμά μας, η εξίσωση σας επιτρέπει να προβλέψετε τι είδους τζίρο ("yig")θα βρίσκεται στο κατάστημα με τη μία ή την άλλη αξία της περιοχής πώλησης (η μία ή η άλλη σημασία του "x"). Ναι, η πρόβλεψη που προκύπτει θα είναι μόνο μια πρόβλεψη, αλλά σε πολλές περιπτώσεις θα αποδειχθεί αρκετά ακριβής.

Θα αναλύσω μόνο ένα πρόβλημα με «πραγματικούς» αριθμούς, αφού δεν υπάρχουν δυσκολίες σε αυτό - όλοι οι υπολογισμοί είναι στο επίπεδο του σχολικού προγράμματος σπουδών στις τάξεις 7-8. Στο 95 τοις εκατό των περιπτώσεων, θα σας ζητηθεί να βρείτε μόνο μια γραμμική συνάρτηση, αλλά στο τέλος του άρθρου θα δείξω ότι δεν είναι πιο δύσκολο να βρείτε τις εξισώσεις για τη βέλτιστη υπερβολή, τον εκθέτη και κάποιες άλλες συναρτήσεις.

Στην πραγματικότητα, μένει να διανείμετε τα καλούδια που υποσχέθηκαν - έτσι ώστε να μάθετε πώς να λύνετε τέτοια παραδείγματα όχι μόνο με ακρίβεια, αλλά και γρήγορα. Μελετάμε προσεκτικά το πρότυπο:

Μια εργασία

Ως αποτέλεσμα της μελέτης της σχέσης μεταξύ δύο δεικτών, προέκυψαν τα ακόλουθα ζεύγη αριθμών:

Χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων, βρείτε τη γραμμική συνάρτηση που προσεγγίζει καλύτερα την εμπειρική (έμπειρος)δεδομένα. Κάντε ένα σχέδιο στο οποίο, σε ένα καρτεσιανό ορθογώνιο σύστημα συντεταγμένων, σχεδιάστε πειραματικά σημεία και μια γραφική παράσταση της συνάρτησης κατά προσέγγιση . Βρείτε το άθροισμα των τετραγωνικών αποκλίσεων μεταξύ εμπειρικών και θεωρητικών τιμών. Μάθετε αν η λειτουργία είναι καλύτερη (όσον αφορά τη μέθοδο των ελαχίστων τετραγώνων)κατά προσέγγιση πειραματικά σημεία.

Σημειώστε ότι οι τιμές "x" είναι φυσικές τιμές και αυτό έχει ένα χαρακτηριστικό νόημα, για το οποίο θα μιλήσω λίγο αργότερα. αλλά φυσικά μπορούν να είναι κλασματικά. Επιπλέον, ανάλογα με το περιεχόμενο μιας συγκεκριμένης εργασίας, και οι δύο τιμές "X" και "G" μπορεί να είναι πλήρως ή μερικώς αρνητικές. Λοιπόν, μας έχει δοθεί μια «απρόσωπη» εργασία και την ξεκινάμε λύση:

Βρίσκουμε τους συντελεστές της βέλτιστης συνάρτησης ως λύση στο σύστημα:

Για τους σκοπούς μιας πιο συμπαγούς σημειογραφίας, η μεταβλητή «counter» μπορεί να παραλειφθεί, καθώς είναι ήδη σαφές ότι η άθροιση πραγματοποιείται από το 1 έως το .

Είναι πιο βολικό να υπολογίσετε τα απαιτούμενα ποσά σε μορφή πίνακα:


Οι υπολογισμοί μπορούν να πραγματοποιηθούν σε μικροϋπολογιστή, αλλά είναι πολύ καλύτερο να χρησιμοποιείτε το Excel - τόσο πιο γρήγορα όσο και χωρίς σφάλματα. δείτε ένα σύντομο βίντεο:

Έτσι, παίρνουμε το εξής Σύστημα:

Εδώ μπορείτε να πολλαπλασιάσετε τη δεύτερη εξίσωση με 3 και αφαιρέστε το 2ο από την 1η εξίσωση όρο προς όρο. Αλλά αυτό είναι τύχη - στην πράξη, τα συστήματα συχνά δεν είναι προικισμένα και σε τέτοιες περιπτώσεις εξοικονομεί Η μέθοδος του Cramer:
, οπότε το σύστημα έχει μια μοναδική λύση.

Ας κάνουμε έναν έλεγχο. Καταλαβαίνω ότι δεν θέλω, αλλά γιατί να παραλείψετε λάθη που δεν μπορείτε να τα χάσετε; Αντικαταστήστε τη λύση που βρέθηκε στην αριστερή πλευρά κάθε εξίσωσης του συστήματος:

Προκύπτουν τα σωστά μέρη των αντίστοιχων εξισώσεων, που σημαίνει ότι το σύστημα έχει λυθεί σωστά.

Έτσι, η επιθυμητή συνάρτηση προσέγγισης: – από όλες τις γραμμικές συναρτήσειςΤα πειραματικά δεδομένα προσεγγίζονται καλύτερα από αυτό.

Διαφορετικός ευθεία εξάρτηση του τζίρου του καταστήματος από την περιοχή του, η διαπιστωθείσα εξάρτηση είναι ΑΝΤΙΣΤΡΟΦΗ (αρχή "όσο περισσότερο - τόσο λιγότερο"), και το γεγονός αυτό αποκαλύπτεται αμέσως από το αρνητικό γωνιακός συντελεστής. Λειτουργία μας πληροφορεί ότι με αύξηση ενός συγκεκριμένου δείκτη κατά 1 μονάδα, η τιμή του εξαρτημένου δείκτη μειώνεται μέση τιμήκατά 0,65 μονάδες. Όπως λένε, όσο υψηλότερη είναι η τιμή του φαγόπυρου, τόσο λιγότερο πωλείται.

Για να σχεδιάσουμε την κατά προσέγγιση συνάρτηση, βρίσκουμε δύο από τις τιμές της:

και εκτελέστε το σχέδιο:

Η κατασκευασμένη γραμμή ονομάζεται γραμμή τάσης (δηλαδή, μια γραμμική γραμμή τάσης, δηλαδή στη γενική περίπτωση, μια τάση δεν είναι απαραίτητα μια ευθεία γραμμή). Όλοι γνωρίζουν την έκφραση «to be in trend», και νομίζω ότι αυτός ο όρος δεν χρειάζεται επιπλέον σχόλια.

Υπολογίστε το άθροισμα των τετραγωνικών αποκλίσεων μεταξύ εμπειρικών και θεωρητικών αξιών. Γεωμετρικά, αυτό είναι το άθροισμα των τετραγώνων των μηκών των «βυσσινί» τμημάτων (δύο από τα οποία είναι τόσο μικρά που δεν μπορείτε καν να τα δείτε).

Ας συνοψίσουμε τους υπολογισμούς σε έναν πίνακα:


Μπορούν και πάλι να πραγματοποιηθούν χειροκίνητα, σε περίπτωση που θα δώσω ένα παράδειγμα για το 1ο σημείο:

αλλά είναι πολύ πιο αποτελεσματικό να κάνουμε τον ήδη γνωστό τρόπο:

Ας επαναλάβουμε: ποιο είναι το νόημα του αποτελέσματος;Από όλες τις γραμμικές συναρτήσειςλειτουργία ο εκθέτης είναι ο μικρότερος, δηλαδή είναι η καλύτερη προσέγγιση στην οικογένειά του. Και εδώ, παρεμπιπτόντως, το τελευταίο ερώτημα του προβλήματος δεν είναι τυχαίο: τι γίνεται αν η προτεινόμενη εκθετική συνάρτηση προσεγγίζει καλύτερα τα πειραματικά σημεία;

Ας βρούμε το αντίστοιχο άθροισμα των τετραγωνικών αποκλίσεων - για να τις ξεχωρίσω, θα τις προσδιορίσω με το γράμμα «έψιλον». Η τεχνική είναι ακριβώς η ίδια:

Και πάλι για κάθε υπολογισμό πυρκαγιάς για τον 1ο βαθμό:

Στο Excel, χρησιμοποιούμε την τυπική συνάρτηση ΛΗΞΗ (Η σύνταξη βρίσκεται στη Βοήθεια του Excel).

συμπέρασμα: , άρα η εκθετική συνάρτηση προσεγγίζει τα πειραματικά σημεία χειρότερα από την ευθεία .

Πρέπει όμως να σημειωθεί εδώ ότι το «χειρότερο» είναι δεν σημαίνει ακόμα, τι συμβαίνει. Τώρα έφτιαξα ένα γράφημα αυτής της εκθετικής συνάρτησης - και περνάει επίσης κοντά στα σημεία - τόσο πολύ που χωρίς αναλυτική μελέτη είναι δύσκολο να πούμε ποια συνάρτηση είναι πιο ακριβής.

Αυτό ολοκληρώνει τη λύση και επιστρέφω στο ζήτημα των φυσικών αξιών του επιχειρήματος. Σε διάφορες μελέτες, κατά κανόνα, οικονομικές ή κοινωνιολογικές, μήνες, χρόνια ή άλλα ίσα χρονικά διαστήματα αριθμούνται με φυσικό «Χ». Σκεφτείτε, για παράδειγμα, το ακόλουθο πρόβλημα:

Έχουμε τα ακόλουθα στοιχεία για τον τζίρο του καταστήματος λιανικής για το πρώτο εξάμηνο του έτους:

Χρησιμοποιώντας ευθεία αναλυτική στοίχιση, βρείτε τον όγκο πωλήσεων για τον Ιούλιο.

Ναι, κανένα πρόβλημα: αριθμούμε τους μήνες 1, 2, 3, 4, 5, 6 και χρησιμοποιούμε τον συνηθισμένο αλγόριθμο, ως αποτέλεσμα του οποίου λαμβάνουμε μια εξίσωση - το μόνο πράγμα όταν πρόκειται για ώρα είναι συνήθως το γράμμα "te " (αν και δεν είναι κρίσιμο). Η εξίσωση που προέκυψε δείχνει ότι το πρώτο εξάμηνο του έτους, ο κύκλος εργασιών αυξήθηκε κατά μέσο όρο 27,74 ΝΜ. κάθε μήνα. Πάρτε μια πρόβλεψη για τον Ιούλιο (μήνας #7): ΕΕ.

Και παρόμοιες εργασίες - το σκοτάδι είναι σκοτεινό. Όσοι επιθυμούν μπορούν να χρησιμοποιήσουν μια επιπλέον υπηρεσία, δηλαδή τη δική μου Αριθμομηχανή Excel (έκδοση επίδειξης), που το λύνει το πρόβλημα σχεδόν αμέσως!Η λειτουργική έκδοση του προγράμματος είναι διαθέσιμη σε αντάλλαγμαή για συμβολική πληρωμή.

Στο τέλος του μαθήματος, μια σύντομη ενημέρωση σχετικά με την εύρεση εξαρτήσεων ορισμένων άλλων τύπων. Στην πραγματικότητα, δεν υπάρχει τίποτα ιδιαίτερο να πούμε, καθώς η θεμελιώδης προσέγγιση και ο αλγόριθμος λύσης παραμένουν οι ίδιοι.

Ας υποθέσουμε ότι η θέση των πειραματικών σημείων μοιάζει με υπερβολή. Στη συνέχεια, για να βρείτε τους συντελεστές της καλύτερης υπερβολής, πρέπει να βρείτε το ελάχιστο της συνάρτησης - όσοι επιθυμούν μπορούν να πραγματοποιήσουν λεπτομερείς υπολογισμούς και να καταλήξουν σε ένα παρόμοιο σύστημα:

Από τυπική τεχνική άποψη, λαμβάνεται από το «γραμμικό» σύστημα (ας το σημειώσουμε με αστερίσκο)αντικαθιστώντας το "x" με . Λοιπόν, τα ποσά υπολογίστε, μετά τους βέλτιστους συντελεστές "a" και "be" στο χέρι.

Αν υπάρχει κάθε λόγος να πιστεύουμε ότι τα σημεία διατάσσονται κατά μήκος μιας λογαριθμικής καμπύλης, στη συνέχεια για αναζήτηση των βέλτιστων τιμών και εύρεση του ελάχιστου της συνάρτησης . Επίσημα, στο σύστημα (*) θα πρέπει να αντικατασταθεί από:

Κατά τον υπολογισμό στο Excel, χρησιμοποιήστε τη συνάρτηση LN. Ομολογώ ότι δεν θα μου είναι δύσκολο να δημιουργήσω αριθμομηχανές για κάθε μία από τις περιπτώσεις που εξετάζουμε, αλλά και πάλι θα είναι καλύτερο να «προγραμματίσεις» μόνος σου τους υπολογισμούς. Οδηγίες βίντεο για βοήθεια.

Με την εκθετική εξάρτηση, η κατάσταση είναι ελαφρώς πιο περίπλοκη. Για να αναγάγουμε την ύλη στη γραμμική περίπτωση, παίρνουμε τον λογάριθμο της συνάρτησης και χρησιμοποιούμε ιδιότητες του λογαρίθμου:

Τώρα, συγκρίνοντας τη συνάρτηση που προκύπτει με τη γραμμική συνάρτηση, καταλήγουμε στο συμπέρασμα ότι στο σύστημα (*) πρέπει να αντικατασταθεί από , και - από . Για ευκολία, αναφέρουμε:

Λάβετε υπόψη ότι το σύστημα επιλύεται σε σχέση με και , και επομένως, αφού βρείτε τις ρίζες, δεν πρέπει να ξεχάσετε να βρείτε τον ίδιο τον συντελεστή.

Για να προσεγγίσετε πειραματικά σημεία βέλτιστη παραβολή , θα πρέπει να βρεθεί τουλάχιστον μια συνάρτηση τριών μεταβλητών. Αφού εκτελέσουμε τυπικές ενέργειες, έχουμε την ακόλουθη "εργασία" Σύστημα:

Ναι, φυσικά, υπάρχουν περισσότερα ποσά εδώ, αλλά δεν υπάρχουν καθόλου δυσκολίες όταν χρησιμοποιείτε την αγαπημένη σας εφαρμογή. Και τέλος, θα σας πω πώς να ελέγξετε γρήγορα χρησιμοποιώντας το Excel και να δημιουργήσετε την επιθυμητή γραμμή τάσης: δημιουργήστε ένα διάγραμμα διασποράς, επιλέξτε οποιοδήποτε από τα σημεία με το ποντίκι και κάντε δεξί κλικ στην επιλογή επιλογής "Προσθήκη γραμμής τάσης". Στη συνέχεια, επιλέξτε τον τύπο του γραφήματος και στην καρτέλα "Επιλογές"ενεργοποιήστε την επιλογή "Εμφάνιση εξίσωσης στο γράφημα". Εντάξει

Όπως πάντα, θέλω να τελειώσω το άρθρο με μια όμορφη φράση και σχεδόν έγραψα "Be in trend!". Όμως με τον καιρό άλλαξε γνώμη. Και όχι επειδή είναι φόρμουλα. Δεν ξέρω πώς κανείς, αλλά δεν θέλω να ακολουθήσω καθόλου την προωθούμενη αμερικανική και ειδικά την ευρωπαϊκή τάση =) Γι' αυτό, εύχομαι ο καθένας από εσάς να μείνει στη δική του γραμμή!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Η μέθοδος των ελαχίστων τετραγώνων είναι μια από τις πιο κοινές και πιο ανεπτυγμένες λόγω της απλότητα και αποτελεσματικότητα των μεθόδων για την εκτίμηση των παραμέτρων των γραμμικών οικονομετρικών μοντέλων. Ταυτόχρονα, θα πρέπει να δίνεται προσοχή κατά τη χρήση του, καθώς τα μοντέλα που κατασκευάζονται με τη χρήση του ενδέχεται να μην πληρούν ορισμένες απαιτήσεις για την ποιότητα των παραμέτρων τους και, ως εκ τούτου, να μην αντικατοπτρίζουν «καλά» τα πρότυπα ανάπτυξης της διαδικασίας.

Ας εξετάσουμε λεπτομερέστερα τη διαδικασία εκτίμησης των παραμέτρων ενός γραμμικού οικονομετρικού μοντέλου χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων. Ένα τέτοιο μοντέλο σε γενική μορφή μπορεί να αναπαρασταθεί από την εξίσωση (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .

Τα αρχικά δεδομένα κατά την εκτίμηση των παραμέτρων a 0 , a 1 ,..., a n είναι το διάνυσμα των τιμών της εξαρτημένης μεταβλητής y= (y 1 , y 2 , ... , y T)" και ο πίνακας τιμών των ανεξάρτητων μεταβλητών

στην οποία η πρώτη στήλη, που αποτελείται από ένα, αντιστοιχεί στον συντελεστή του μοντέλου .

Η μέθοδος των ελαχίστων τετραγώνων πήρε το όνομά της με βάση τη βασική αρχή ότι οι εκτιμήσεις παραμέτρων που λαμβάνονται βάσει αυτής πρέπει να ικανοποιούν: το άθροισμα των τετραγώνων του σφάλματος μοντέλου πρέπει να είναι ελάχιστο.

Παραδείγματα επίλυσης προβλημάτων με τη μέθοδο των ελαχίστων τετραγώνων

Παράδειγμα 2.1.Η εμπορική επιχείρηση διαθέτει ένα δίκτυο που αποτελείται από 12 καταστήματα, πληροφορίες για τις δραστηριότητες των οποίων παρουσιάζονται στον Πίνακα. 2.1.

Η διοίκηση της εταιρείας θα ήθελε να μάθει πώς το μέγεθος του ετήσιου τζίρου εξαρτάται από τον χώρο λιανικής του καταστήματος.

Πίνακας 2.1

Αριθμός καταστήματος	Ετήσιος κύκλος εργασιών, εκατομμύρια ρούβλια	Εμπορική περιοχή, χίλια m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

Λύση ελάχιστων τετραγώνων.Ας ορίσουμε - τον ετήσιο κύκλο εργασιών του -ου καταστήματος, εκατομμύρια ρούβλια. - περιοχή πώλησης του καταστήματος, χίλια m 2.

Εικ.2.1. Scatterplot για Παράδειγμα 2.1

Να προσδιορίσετε τη μορφή της συναρτησιακής σχέσης μεταξύ των μεταβλητών και να κατασκευάσετε ένα διάγραμμα διασποράς (Εικ. 2.1).

Με βάση το διάγραμμα διασποράς, μπορούμε να συμπεράνουμε ότι ο ετήσιος κύκλος εργασιών εξαρτάται θετικά από την περιοχή πώλησης (δηλαδή, το y θα αυξηθεί με την αύξηση του ). Η πιο κατάλληλη μορφή λειτουργικής σύνδεσης είναι γραμμικός.

Πληροφορίες για περαιτέρω υπολογισμούς παρουσιάζονται στον Πίνακα. 2.2. Χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων, υπολογίζουμε τις παραμέτρους του γραμμικού μονοπαραγοντικού οικονομετρικού μοντέλου

Πίνακας 2.2

t	y t	x 1t	y t 2	x1t2	x 1t y t
	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
μικρό	819,52	10,68	65008,554	11,4058	858,3991
Μέση τιμή	68,29	0,89

Με αυτόν τον τρόπο,

Επομένως, με αύξηση της περιοχής συναλλαγών κατά 1.000 m 2, ενώ τα άλλα πράγματα είναι ίσα, ο μέσος ετήσιος κύκλος εργασιών αυξάνεται κατά 67,8871 εκατομμύρια ρούβλια.

Παράδειγμα 2.2.Η διοίκηση της επιχείρησης παρατήρησε ότι ο ετήσιος κύκλος εργασιών εξαρτάται όχι μόνο από την περιοχή πωλήσεων του καταστήματος (βλ. παράδειγμα 2.1), αλλά και από τον μέσο αριθμό επισκεπτών. Οι σχετικές πληροφορίες παρουσιάζονται στον πίνακα. 2.3.

Πίνακας 2.3

Λύση.Δηλώστε - ο μέσος αριθμός επισκεπτών στο κατάστημα ανά ημέρα, χιλιάδες άτομα.

Να προσδιοριστεί η μορφή της συναρτησιακής σχέσης μεταξύ των μεταβλητών και να κατασκευαστεί ένα διάγραμμα διασποράς (Εικ. 2.2).

Με βάση το διάγραμμα διασποράς, μπορούμε να συμπεράνουμε ότι ο ετήσιος τζίρος σχετίζεται θετικά με τον μέσο αριθμό επισκεπτών ανά ημέρα (δηλαδή, το y θα αυξηθεί με την αύξηση του ). Η μορφή της λειτουργικής εξάρτησης είναι γραμμική.

Ρύζι. 2.2. Scatterplot για παράδειγμα 2.2

Πίνακας 2.4

t	x 2t	x 2t 2	yt x 2t	x 1t x 2t
	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
μικρό	127,83	1410,44	9160,9934	118,9728
Μέση τιμή	10,65

Γενικά, είναι απαραίτητος ο προσδιορισμός των παραμέτρων του οικονομετρικού μοντέλου δύο παραγόντων

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Οι πληροφορίες που απαιτούνται για περαιτέρω υπολογισμούς παρουσιάζονται στον Πίνακα. 2.4.

Ας υπολογίσουμε τις παραμέτρους ενός γραμμικού οικονομετρικού μοντέλου δύο παραγόντων χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων.

Με αυτόν τον τρόπο,

Η αξιολόγηση του συντελεστή = 61,6583 δείχνει ότι, αν και άλλα πράγματα είναι ίσα, με αύξηση της περιοχής συναλλαγών κατά 1 χιλιάδες m 2, ο ετήσιος κύκλος εργασιών θα αυξηθεί κατά μέσο όρο 61,6583 εκατομμύρια ρούβλια.

Η εκτίμηση του συντελεστή = 2,2748 δείχνει ότι, ενώ τα άλλα πράγματα είναι ίσα, με αύξηση του μέσου αριθμού επισκεπτών ανά 1 χίλια άτομα. ημερησίως, ο ετήσιος κύκλος εργασιών θα αυξάνεται κατά μέσο όρο κατά 2,2748 εκατομμύρια ρούβλια.

Παράδειγμα 2.3.Χρησιμοποιώντας τις πληροφορίες που παρουσιάζονται στον πίνακα. 2.2 και 2.4, υπολογίστε την παράμετρο ενός μονοπαραγοντικού οικονομετρικού μοντέλου

πού είναι η κεντρική αξία του ετήσιου κύκλου εργασιών του -ου καταστήματος, εκατομμύρια ρούβλια. - κεντρική τιμή του μέσου ημερήσιου αριθμού επισκεπτών στο t-th κατάστημα, χιλιάδες άτομα. (βλ. παραδείγματα 2.1-2.2).

Λύση.Πρόσθετες πληροφορίες που απαιτούνται για τους υπολογισμούς παρουσιάζονται στον Πίνακα. 2.5.

Πίνακας 2.5

	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Αθροισμα			48,4344	431,0566

Χρησιμοποιώντας τον τύπο (2.35), λαμβάνουμε

Με αυτόν τον τρόπο,

http://www.cleverstudents.ru/articles/mnk.html

Παράδειγμα.

Πειραματικά δεδομένα για τις τιμές των μεταβλητών Χκαι στοδίνονται στον πίνακα.

Ως αποτέλεσμα της ευθυγράμμισής τους, η συνάρτηση

Χρησιμοποιώντας μέθοδος ελάχιστου τετραγώνου, προσεγγίστε αυτά τα δεδομένα με μια γραμμική εξάρτηση y=ax+b(βρείτε επιλογές ένακαι σι). Μάθετε ποια από τις δύο γραμμές είναι καλύτερη (με την έννοια της μεθόδου των ελαχίστων τετραγώνων) ευθυγραμμίζει τα πειραματικά δεδομένα. Κάντε ένα σχέδιο.

Λύση.

Στο παράδειγμά μας n=5. Συμπληρώνουμε τον πίνακα για τη διευκόλυνση του υπολογισμού των ποσών που περιλαμβάνονται στους τύπους των απαιτούμενων συντελεστών.

Οι τιμές στην τέταρτη σειρά του πίνακα λαμβάνονται πολλαπλασιάζοντας τις τιμές της 2ης σειράς με τις τιμές της 3ης σειράς για κάθε αριθμό Εγώ.

Οι τιμές στην πέμπτη σειρά του πίνακα λαμβάνονται με τον τετραγωνισμό των τιμών της 2ης σειράς για κάθε αριθμό Εγώ.

Οι τιμές της τελευταίας στήλης του πίνακα είναι τα αθροίσματα των τιμών στις σειρές.

Χρησιμοποιούμε τους τύπους της μεθόδου των ελαχίστων τετραγώνων για να βρούμε τους συντελεστές ένακαι σι. Αντικαθιστούμε σε αυτά τις αντίστοιχες τιμές από την τελευταία στήλη του πίνακα:

Συνεπώς, y=0,165x+2,184είναι η επιθυμητή προσεγγιστική ευθεία.

Μένει να μάθουμε ποια από τις γραμμές y=0,165x+2,184ή προσεγγίζει καλύτερα τα αρχικά δεδομένα, δηλαδή να κάνει μια εκτίμηση χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων.

Απόδειξη.

Έτσι όταν βρεθεί ένακαι σιη συνάρτηση παίρνει τη μικρότερη τιμή, είναι απαραίτητο σε αυτό το σημείο ο πίνακας της τετραγωνικής μορφής του διαφορικού δεύτερης τάξης για τη συνάρτηση ήταν θετική οριστική. Ας το δείξουμε.

Η διαφορά δεύτερης τάξης έχει τη μορφή:

Αυτό είναι

Επομένως, ο πίνακας της τετραγωνικής μορφής έχει τη μορφή

και οι τιμές των στοιχείων δεν εξαρτώνται από ένακαι σι.

Ας δείξουμε ότι ο πίνακας είναι θετικός ορισμένος. Αυτό απαιτεί οι δευτερεύουσες γωνίες να είναι θετικές.

Γωνιακό μινόρε πρώτης τάξης . Η ανισότητα είναι αυστηρή, αφού τα σημεία

• φροντιστήριο

Εισαγωγή

Είμαι προγραμματιστής υπολογιστών. Έκανα το μεγαλύτερο άλμα στην καριέρα μου όταν έμαθα να λέω: "Δεν καταλαβαίνω τίποτα!"Τώρα δεν ντρέπομαι να πω στον φωστήρα της επιστήμης ότι μου κάνει διάλεξη, ότι δεν καταλαβαίνω για τι μου μιλάει αυτός, ο φωστήρας. Και είναι πολύ δύσκολο. Ναι, είναι δύσκολο και ντροπιαστικό να παραδεχτείς ότι δεν ξέρεις. Σε όποιον αρέσει να παραδέχεται ότι δεν ξέρει τα βασικά του κάτι-εκεί. Βάσει του επαγγέλματός μου, πρέπει να παρακολουθήσω μεγάλο αριθμό παρουσιάσεων και διαλέξεων, όπου, ομολογώ, στη συντριπτική πλειονότητα των περιπτώσεων νυστάζω, γιατί δεν καταλαβαίνω τίποτα. Και δεν καταλαβαίνω γιατί το τεράστιο πρόβλημα της τρέχουσας κατάστασης στην επιστήμη βρίσκεται στα μαθηματικά. Υποθέτει ότι όλοι οι μαθητές είναι εξοικειωμένοι με όλους τους τομείς των μαθηματικών (πράγμα παράλογο). Το να παραδεχτείς ότι δεν ξέρεις τι είναι παράγωγο (ότι αυτό είναι λίγο αργότερα) είναι κρίμα.

Αλλά έχω μάθει να λέω ότι δεν ξέρω τι είναι ο πολλαπλασιασμός. Ναι, δεν ξέρω τι είναι η υποάλγεβρα έναντι της άλγεβρας Lie. Ναι, δεν ξέρω γιατί χρειάζονται οι δευτεροβάθμιες εξισώσεις στη ζωή. Παρεμπιπτόντως, αν είστε σίγουροι ότι γνωρίζετε, τότε έχουμε κάτι να συζητήσουμε! Τα μαθηματικά είναι μια σειρά από κόλπα. Οι μαθηματικοί προσπαθούν να μπερδέψουν και να εκφοβίσουν το κοινό. όπου δεν υπάρχει σύγχυση, φήμη, εξουσία. Ναι, έχει κύρος να μιλάς στην πιο αφηρημένη γλώσσα, κάτι που από μόνο του είναι πλήρης ανοησία.

Ξέρετε τι είναι παράγωγο; Το πιθανότερο είναι να μου πείτε για το όριο της σχέσης διαφοράς. Στο πρώτο έτος των μαθηματικών στο Κρατικό Πανεπιστήμιο της Αγίας Πετρούπολης, ο Viktor Petrovich Khavin με ορίζεταιπαράγωγος ως ο συντελεστής του πρώτου όρου της σειράς Taylor της συνάρτησης στο σημείο (ήταν ξεχωριστή γυμναστική για τον προσδιορισμό της σειράς Taylor χωρίς παράγωγα). Γέλασα με αυτόν τον ορισμό για πολλή ώρα, μέχρι που τελικά κατάλαβα περί τίνος επρόκειτο. Η παράγωγος δεν είναι τίποτα περισσότερο από ένα απλό μέτρο του πόσο η συνάρτηση που διαφοροποιούμε είναι παρόμοια με τη συνάρτηση y=x, y=x^2, y=x^3.

Έχω τώρα την τιμή να κάνω διάλεξη σε φοιτητές που φόβοςμαθηματικά. Αν φοβάστε τα μαθηματικά - είμαστε στο δρόμο. Μόλις προσπαθήσετε να διαβάσετε κάποιο κείμενο και σας φαίνεται ότι είναι υπερβολικά περίπλοκο, τότε να ξέρετε ότι είναι κακογραμμένο. Υποστηρίζω ότι δεν υπάρχει ούτε ένας τομέας των μαθηματικών που να μην μπορεί να μιλήσει για "στα δάχτυλα" χωρίς να χαθεί η ακρίβεια.

Η πρόκληση για το εγγύς μέλλον: Έδωσα οδηγίες στους μαθητές μου να καταλάβουν τι είναι ένας γραμμικός-τετραγωνικός ελεγκτής. Μην ντρέπεσαι, σπαταλήστε τρία λεπτά από τη ζωή σας, ακολουθήστε τον σύνδεσμο. Αν δεν καταλαβαίνετε τίποτα, τότε είμαστε στο δρόμο. Κι εγώ (επαγγελματίας μαθηματικός-προγραμματιστής) δεν κατάλαβα τίποτα. Και σας διαβεβαιώνω ότι αυτό μπορεί να λυθεί «στα δάχτυλα». Προς το παρόν δεν ξέρω τι είναι, αλλά σας διαβεβαιώνω ότι θα μπορέσουμε να το καταλάβουμε.

Έτσι, η πρώτη διάλεξη που πρόκειται να δώσω στους μαθητές μου αφού έρθουν τρέχοντας κοντά μου με τρόμο με τα λόγια ότι ο γραμμικός-τετραγωνικός ελεγκτής είναι ένα τρομερό σφάλμα που δεν θα κατακτήσεις ποτέ στη ζωή σου είναι μεθόδους ελαχίστων τετραγώνων. Μπορείτε να λύσετε γραμμικές εξισώσεις; Αν διαβάζετε αυτό το κείμενο, τότε πιθανότατα όχι.

Έτσι, δοθέντων δύο σημείων (x0, y0), (x1, y1), για παράδειγμα, (1,1) και (3,2), η εργασία είναι να βρεθεί η εξίσωση μιας ευθείας που διέρχεται από αυτά τα δύο σημεία:

απεικόνιση

Αυτή η ευθεία πρέπει να έχει μια εξίσωση όπως η ακόλουθη:

Εδώ το άλφα και το βήτα είναι άγνωστα σε εμάς, αλλά δύο σημεία αυτής της γραμμής είναι γνωστά:

Μπορείτε να γράψετε αυτήν την εξίσωση σε μορφή πίνακα:

Εδώ θα πρέπει να κάνουμε μια λυρική παρέκβαση: τι είναι μια μήτρα; Ένας πίνακας δεν είναι τίποτα άλλο παρά ένας δισδιάστατος πίνακας. Αυτός είναι ένας τρόπος αποθήκευσης δεδομένων, δεν θα πρέπει να δίνονται άλλες τιμές σε αυτά. Είναι στο χέρι μας πώς ακριβώς θα ερμηνεύσουμε μια συγκεκριμένη μήτρα. Περιοδικά, θα το ερμηνεύω ως γραμμική χαρτογράφηση, περιοδικά ως τετραγωνική μορφή και μερικές φορές απλώς ως ένα σύνολο διανυσμάτων. Όλα αυτά θα διευκρινιστούν στο πλαίσιο.

Ας αντικαταστήσουμε συγκεκριμένους πίνακες με τη συμβολική τους αναπαράσταση:

Στη συνέχεια (άλφα, βήτα) μπορεί να βρεθεί εύκολα:

Πιο συγκεκριμένα για τα προηγούμενα δεδομένα μας:

Η οποία οδηγεί στην ακόλουθη εξίσωση ευθείας που διέρχεται από τα σημεία (1,1) και (3,2):

Εντάξει, όλα είναι ξεκάθαρα εδώ. Και ας βρούμε την εξίσωση μιας ευθείας που διέρχεται τρίασημεία: (x0,y0), (x1,y1) και (x2,y2):

Ω-ω-ω, αλλά έχουμε τρεις εξισώσεις για δύο άγνωστους! Ο τυπικός μαθηματικός θα πει ότι δεν υπάρχει λύση. Τι θα πει ο προγραμματιστής; Και πρώτα θα ξαναγράψει το προηγούμενο σύστημα εξισώσεων με την ακόλουθη μορφή:

Στην περίπτωσή μας, τα διανύσματα i, j, b είναι τρισδιάστατα, επομένως, (στη γενική περίπτωση) δεν υπάρχει λύση σε αυτό το σύστημα. Οποιοδήποτε διάνυσμα (άλφα\*i + βήτα\*j) βρίσκεται στο επίπεδο που εκτείνεται από τα διανύσματα (i, j). Αν το b δεν ανήκει σε αυτό το επίπεδο, τότε δεν υπάρχει λύση (η ισότητα στην εξίσωση δεν μπορεί να επιτευχθεί). Τι να κάνω? Ας αναζητήσουμε έναν συμβιβασμό. Ας υποδηλώσουμε με e (άλφα, βήτα)πώς ακριβώς δεν πετύχαμε την ισότητα:

Και θα προσπαθήσουμε να ελαχιστοποιήσουμε αυτό το σφάλμα:

Γιατί τετράγωνο;

Δεν αναζητούμε απλώς το ελάχιστο του κανόνα, αλλά το ελάχιστο του τετραγώνου του κανόνα. Γιατί; Το ίδιο το ελάχιστο σημείο συμπίπτει και το τετράγωνο δίνει μια ομαλή συνάρτηση (μια τετραγωνική συνάρτηση των ορισμάτων (άλφα, βήτα)), ενώ μόνο το μήκος δίνει μια συνάρτηση με τη μορφή κώνου, μη διαφοροποιήσιμη στο ελάχιστο σημείο. Brr. Το τετράγωνο είναι πιο βολικό.

Προφανώς, το σφάλμα ελαχιστοποιείται όταν το διάνυσμα μιορθογώνιο στο επίπεδο που εκτείνεται από τα διανύσματα Εγώκαι ι.

Απεικόνιση

Με άλλα λόγια: αναζητούμε μια ευθεία τέτοια ώστε το άθροισμα των τετραγωνικών μηκών των αποστάσεων από όλα τα σημεία σε αυτήν την ευθεία να είναι ελάχιστο:

ΕΝΗΜΕΡΩΣΗ: εδώ έχω ένα τέμπλο, η απόσταση από τη γραμμή πρέπει να μετριέται κάθετα, όχι ορθογραφική προβολή. Αυτός ο σχολιαστής έχει δίκιο.

Απεικόνιση

Με εντελώς διαφορετικά λόγια (προσεκτικά, κακώς επισημοποιημένα, αλλά θα πρέπει να είναι ξεκάθαρο στα δάχτυλα): παίρνουμε όλες τις πιθανές γραμμές μεταξύ όλων των ζευγών σημείων και αναζητούμε τη μέση γραμμή μεταξύ όλων:

Απεικόνιση

Μια άλλη εξήγηση στα δάχτυλα: συνδέουμε ένα ελατήριο μεταξύ όλων των σημείων δεδομένων (εδώ έχουμε τρία) και της γραμμής που αναζητούμε, και η γραμμή της κατάστασης ισορροπίας είναι ακριβώς αυτό που ψάχνουμε.

Ελάχιστο τετραγωνικό έντυπο

Έτσι, με δεδομένο το διάνυσμα σικαι το επίπεδο που εκτείνεται από τις στήλες-διανύσματα του πίνακα ΕΝΑ(σε αυτήν την περίπτωση (x0,x1,x2) και (1,1,1)), αναζητούμε ένα διάνυσμα μιμε ελάχιστο τετράγωνο μήκους. Προφανώς, το ελάχιστο είναι εφικτό μόνο για το διάνυσμα μι, ορθογώνιο στο επίπεδο που εκτείνεται από τις στήλες-διανύσματα του πίνακα ΕΝΑ:

Με άλλα λόγια, αναζητούμε ένα διάνυσμα x=(άλφα, βήτα) τέτοιο ώστε:

Σας υπενθυμίζω ότι αυτό το διάνυσμα x=(άλφα, βήτα) είναι το ελάχιστο της τετραγωνικής συνάρτησης ||e(άλφα, βήτα)||^2:

Εδώ είναι χρήσιμο να θυμόμαστε ότι ο πίνακας μπορεί να ερμηνευτεί καθώς και η τετραγωνική μορφή, για παράδειγμα, ο πίνακας ταυτότητας ((1,0),(0,1)) μπορεί να ερμηνευτεί ως συνάρτηση του x^2 + y ^2:

τετραγωνική μορφή

Όλη αυτή η γυμναστική είναι γνωστή ως γραμμική παλινδρόμηση.

Εξίσωση Laplace με οριακή συνθήκη Dirichlet

Τώρα το πιο απλό πραγματικό πρόβλημα: υπάρχει μια συγκεκριμένη τριγωνική επιφάνεια, είναι απαραίτητο να την εξομαλύνετε. Για παράδειγμα, ας φορτώσουμε το μοντέλο του προσώπου μου:

Η αρχική δέσμευση είναι διαθέσιμη. Για να ελαχιστοποιήσω τις εξωτερικές εξαρτήσεις, πήρα τον κώδικα του προγράμματος απόδοσης λογισμικού μου, ήδη στο Habré. Για να λύσω το γραμμικό σύστημα, χρησιμοποιώ το OpenNL , είναι μια εξαιρετική λύση, αλλά είναι πολύ δύσκολη η εγκατάσταση: πρέπει να αντιγράψετε δύο αρχεία (.h + .c) στο φάκελο του έργου σας. Όλη η εξομάλυνση γίνεται με τον ακόλουθο κώδικα:

Για (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = πρόσωπα[i]; για (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Οι συντεταγμένες X, Y και Z είναι χωριστές, τις εξομαλύνω χωριστά. Δηλαδή, λύνω τρία συστήματα γραμμικών εξισώσεων, το καθένα με τον ίδιο αριθμό μεταβλητών με τον αριθμό των κορυφών στο μοντέλο μου. Οι πρώτες n σειρές του πίνακα A έχουν μόνο ένα 1 ανά σειρά και οι πρώτες n σειρές του διανύσματος b έχουν αρχικές συντεταγμένες μοντέλου. Δηλαδή, δένω ανάμεσα στη νέα θέση κορυφής και την παλιά θέση κορυφής - οι νέες δεν πρέπει να είναι πολύ μακριά από τις παλιές.

Όλες οι επόμενες σειρές του πίνακα A (faces.size()*3 = ο αριθμός των άκρων όλων των τριγώνων στο πλέγμα) έχουν μία εμφάνιση του 1 και μία εμφάνιση του -1, ενώ το διάνυσμα b έχει μηδενικές συνιστώσες απέναντι. Αυτό σημαίνει ότι βάζω ένα ελατήριο σε κάθε άκρη του τριγωνικού μας πλέγματος: όλες οι άκρες προσπαθούν να πάρουν την ίδια κορυφή με τα σημεία έναρξης και λήξης τους.

Για άλλη μια φορά: όλες οι κορυφές είναι μεταβλητές και δεν μπορούν να αποκλίνουν πολύ από την αρχική τους θέση, αλλά ταυτόχρονα προσπαθούν να μοιάζουν μεταξύ τους.

Ιδού το αποτέλεσμα:

Όλα θα ήταν καλά, το μοντέλο είναι πραγματικά λειασμένο, αλλά απομακρύνθηκε από την αρχική του άκρη. Ας αλλάξουμε λίγο τον κωδικό:

Για (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Στον πίνακα μας Α, για τις κορυφές που βρίσκονται στην άκρη, δεν προσθέτω μια σειρά από την κατηγορία v_i = verts[i][d], αλλά 1000*v_i = 1000*verts[i][d]. Τι αλλάζει; Και αυτό αλλάζει την τετραγωνική μας μορφή του σφάλματος. Τώρα μια μόνο απόκλιση από την κορυφή στην άκρη θα κοστίσει όχι μία μονάδα, όπως πριν, αλλά 1000 * 1000 μονάδες. Δηλαδή, κρεμάσαμε ένα πιο δυνατό ελατήριο στις ακραίες κορυφές, η λύση προτιμά να τεντώνει τους άλλους πιο δυνατά. Ιδού το αποτέλεσμα:

Ας διπλασιάσουμε τη δύναμη των ελατηρίων μεταξύ των κορυφών:
nlΣυντελεστής(face[ j ], 2); nlΣυντελεστής(πρόσωπο[(j+1)%3], -2);

Είναι λογικό ότι η επιφάνεια έχει γίνει πιο λεία:

Και τώρα ακόμα εκατό φορές πιο δυνατό:

Τι είναι αυτό? Φανταστείτε ότι έχουμε βουτήξει ένα συρμάτινο δακτύλιο σε σαπουνόνερο. Ως αποτέλεσμα, η προκύπτουσα μεμβράνη σαπουνιού θα προσπαθήσει να έχει τη μικρότερη δυνατή καμπυλότητα, αγγίζοντας το ίδιο περίγραμμα - το συρμάτινο δαχτυλίδι μας. Αυτό ακριβώς πήραμε φτιάχνοντας το περίγραμμα και ζητώντας μια λεία επιφάνεια στο εσωτερικό. Συγχαρητήρια, μόλις λύσαμε την εξίσωση Laplace με οριακές συνθήκες Dirichlet. Ακούγεται καλό? Αλλά στην πραγματικότητα, μόνο ένα σύστημα γραμμικών εξισώσεων για επίλυση.

Εξίσωση Poisson

Ας έχουμε ένα άλλο ωραίο όνομα.

Ας πούμε ότι έχω μια εικόνα σαν αυτή:

Όλοι είναι καλοί, αλλά δεν μου αρέσει η καρέκλα.

Έκοψα την εικόνα στη μέση:

Και θα επιλέξω μια καρέκλα με τα χέρια μου:

Στη συνέχεια, θα σύρω ό,τι είναι λευκό στη μάσκα στην αριστερή πλευρά της εικόνας, και ταυτόχρονα θα πω σε ολόκληρη την εικόνα ότι η διαφορά μεταξύ δύο γειτονικών pixel θα πρέπει να είναι ίση με τη διαφορά μεταξύ δύο γειτονικών pixel της εικόνας. δεξιά εικόνα:

Για (int i=0; i

Ιδού το αποτέλεσμα:

Κωδικός και φωτογραφίες είναι διαθέσιμοι

Μέθοδος ελαχίστων τετραγώνων (OLS, eng. Ordinary Least Squares, OLS)- μια μαθηματική μέθοδος που χρησιμοποιείται για την επίλυση διαφόρων προβλημάτων, που βασίζεται στην ελαχιστοποίηση του αθροίσματος των τετραγωνικών αποκλίσεων ορισμένων συναρτήσεων από τις επιθυμητές μεταβλητές. Μπορεί να χρησιμοποιηθεί για την «λύση» υπερκαθορισμένων συστημάτων εξισώσεων (όταν ο αριθμός των εξισώσεων υπερβαίνει τον αριθμό των αγνώστων), για την εύρεση λύσης στην περίπτωση συνηθισμένων (όχι υπερκαθορισμένων) μη γραμμικών συστημάτων εξισώσεων, για την προσέγγιση των σημειακών τιμών μιας ορισμένης λειτουργίας. Το OLS είναι μία από τις βασικές μεθόδους ανάλυσης παλινδρόμησης για την εκτίμηση άγνωστων παραμέτρων μοντέλων παλινδρόμησης από δεδομένα δείγματος.

Εγκυκλοπαιδικό YouTube

1 / 5

✪ Μέθοδος ελάχιστων τετραγώνων. Θέμα

✪ Mitin I. V. - Επεξεργασία των αποτελεσμάτων της φυσικής. πείραμα - Μέθοδος ελαχίστων τετραγώνων (Διάλεξη 4)

✪ Ελάχιστα τετράγωνα, μάθημα 1/2. Γραμμική συνάρτηση

✪ Οικονομετρία. Διάλεξη 5. Μέθοδος ελαχίστων τετραγώνων

✪ Μέθοδος ελάχιστων τετραγώνων. Απαντήσεις

Υπότιτλοι

Ιστορία

Μέχρι τις αρχές του XIX αιώνα. Οι επιστήμονες δεν είχαν ορισμένους κανόνες για την επίλυση ενός συστήματος εξισώσεων στο οποίο ο αριθμός των αγνώστων είναι μικρότερος από τον αριθμό των εξισώσεων. Μέχρι τότε, χρησιμοποιήθηκαν συγκεκριμένες μέθοδοι, ανάλογα με το είδος των εξισώσεων και την ευρηματικότητα των αριθμομηχανών, και ως εκ τούτου διαφορετικοί αριθμομηχανές, ξεκινώντας από τα ίδια δεδομένα παρατήρησης, κατέληξαν σε διαφορετικά συμπεράσματα. Ο Gauss (1795) πιστώνεται με την πρώτη εφαρμογή της μεθόδου και ο Legendre (1805) την ανακάλυψε ανεξάρτητα και την δημοσίευσε με τη σύγχρονη ονομασία της (fr. Metode des moindres quarres) . Ο Laplace συνέδεσε τη μέθοδο με τη θεωρία των πιθανοτήτων και ο Αμερικανός μαθηματικός Adrain (1808) εξέτασε τις πιθανοτικές εφαρμογές της. Η μέθοδος είναι ευρέως διαδεδομένη και βελτιωμένη από περαιτέρω έρευνα από τους Encke, Bessel, Hansen και άλλους.

Η ουσία της μεθόδου των ελαχίστων τετραγώνων

Αφήνω x (\displaystyle x)- κιτ n (\displaystyle n)άγνωστες μεταβλητές (παράμετροι), f i (x) (\displaystyle f_(i)(x)), , m > n (\displaystyle m>n)- σύνολο συναρτήσεων από αυτό το σύνολο μεταβλητών. Το πρόβλημα είναι να επιλέξουμε τέτοιες τιμές x (\displaystyle x)έτσι ώστε οι τιμές αυτών των συναρτήσεων να είναι όσο το δυνατόν πιο κοντά σε ορισμένες τιμές y i (\displaystyle y_(i)). Στην ουσία μιλάμε για τη «λύση» του υπερκαθορισμένου συστήματος εξισώσεων f i (x) = y i (\displaystyle f_(i)(x)=y_(i)), i = 1 , … , m (\displaystyle i=1,\lddots ,m)με την υποδεικνυόμενη έννοια, τη μέγιστη εγγύτητα του αριστερού και του δεξιού τμήματος του συστήματος. Η ουσία του LSM είναι να επιλέξει ως "μέτρο εγγύτητας" το άθροισμα των τετραγωνικών αποκλίσεων του αριστερού και του δεξιού μέρους | f i (x) − y i | (\displaystyle |f_(i)(x)-y_(i)|). Έτσι, η ουσία του LSM μπορεί να εκφραστεί ως εξής:

∑ i e i 2 = ∑ i (y i − f i (x)) 2 → min x (\displaystyle \sum _(i)e_(i)^(2)=\sum _(i)(y_(i)-f_( i)(x))^(2)\δεξιό βέλος \min _(x)).

Εάν το σύστημα εξισώσεων έχει λύση, τότε το ελάχιστο του αθροίσματος των τετραγώνων θα είναι ίσο με μηδέν και οι ακριβείς λύσεις του συστήματος των εξισώσεων μπορούν να βρεθούν αναλυτικά ή, για παράδειγμα, με διάφορες μεθόδους αριθμητικής βελτιστοποίησης. Εάν το σύστημα είναι υπερκαθορισμένο, δηλαδή, χαλαρά μιλώντας, ο αριθμός των ανεξάρτητων εξισώσεων είναι μεγαλύτερος από τον αριθμό των άγνωστων μεταβλητών, τότε το σύστημα δεν έχει ακριβή λύση και η μέθοδος των ελαχίστων τετραγώνων μας επιτρέπει να βρούμε κάποιο "βέλτιστο" διάνυσμα x (\displaystyle x)με την έννοια της μέγιστης εγγύτητας των διανυσμάτων y (\displaystyle y)και f (x) (\displaystyle f(x))ή τη μέγιστη εγγύτητα του διανύσματος απόκλισης e (\displaystyle e)στο μηδέν (η εγγύτητα νοείται με την έννοια της Ευκλείδειας απόστασης).

Παράδειγμα - σύστημα γραμμικών εξισώσεων

Συγκεκριμένα, η μέθοδος των ελαχίστων τετραγώνων μπορεί να χρησιμοποιηθεί για την «λύση» του συστήματος γραμμικών εξισώσεων

A x = b (\displaystyle Ax=b),

όπου A (\displaystyle A)μήτρα ορθογώνιου μεγέθους m × n , m > n (\displaystyle m\times n,m>n)(δηλαδή ο αριθμός των σειρών του πίνακα Α είναι μεγαλύτερος από τον αριθμό των απαιτούμενων μεταβλητών).

Ένα τέτοιο σύστημα εξισώσεων γενικά δεν έχει λύση. Επομένως, αυτό το σύστημα μπορεί να «λυθεί» μόνο με την έννοια της επιλογής ενός τέτοιου διανύσματος x (\displaystyle x)για να ελαχιστοποιηθεί η «απόσταση» μεταξύ των διανυσμάτων A x (\displaystyle Axe)και b (\displaystyle b). Για να το κάνετε αυτό, μπορείτε να εφαρμόσετε το κριτήριο για την ελαχιστοποίηση του αθροίσματος των τετραγωνικών διαφορών του αριστερού και του δεξιού μέρους των εξισώσεων του συστήματος, δηλαδή (A x − b) T (A x − b) → min (\style display (Ax-b)^(T)(Ax-b)\δεξιό βέλος \min ). Είναι εύκολο να δείξουμε ότι η λύση αυτού του προβλήματος ελαχιστοποίησης οδηγεί στη λύση του παρακάτω συστήματος εξισώσεων

A T A x = A T b ⇒ x = (A T A) − 1 A T b (\displaystyle A^(T)Ax=A^(T)b\Δεξί βέλος x=(A^(T)A)^(-1)A^ (Τ)β).

OLS στην ανάλυση παλινδρόμησης (προσέγγιση δεδομένων)

Ας υπάρχει n (\displaystyle n)τιμές κάποιας μεταβλητής y (\displaystyle y)(αυτό μπορεί να είναι τα αποτελέσματα παρατηρήσεων, πειραμάτων κ.λπ.) και οι αντίστοιχες μεταβλητές x (\displaystyle x). Η πρόκληση είναι να γίνει η σχέση μεταξύ y (\displaystyle y)και x (\displaystyle x)κατά προσέγγιση από κάποια συνάρτηση γνωστή μέχρι κάποιες άγνωστες παραμέτρους b (\displaystyle b), δηλαδή, βρείτε πραγματικά τις καλύτερες τιμές των παραμέτρων b (\displaystyle b), προσεγγίζοντας κατά μέγιστο τις τιμές f (x , b) (\displaystyle f(x,b))σε πραγματικές αξίες y (\displaystyle y). Στην πραγματικότητα, αυτό ανάγεται στην περίπτωση της «λύσης» ενός υπερκαθορισμένου συστήματος εξισώσεων σε σχέση με b (\displaystyle b):

F (x t , b) = y t , t = 1 , … , n (\displaystyle f(x_(t),b)=y_(t),t=1,\ldots ,n).

Στην ανάλυση παλινδρόμησης, και ειδικότερα στην οικονομετρία, χρησιμοποιούνται πιθανοτικά μοντέλα της σχέσης μεταξύ των μεταβλητών.

Y t = f (x t , b) + ε t (\displaystyle y_(t)=f(x_(t),b)+\varepsilon _(t)),

όπου ε t (\displaystyle \varepsilon _(t))- έτσι λέγεται τυχαία σφάλματαμοντέλα.

Αντίστοιχα, οι αποκλίσεις των παρατηρούμενων τιμών y (\displaystyle y)από μοντέλο f (x , b) (\displaystyle f(x,b))ήδη υποτίθεται στο ίδιο το μοντέλο. Η ουσία του LSM (συνηθισμένο, κλασικό) είναι να βρεις τέτοιες παραμέτρους b (\displaystyle b), στο οποίο το άθροισμα των τετραγωνικών αποκλίσεων (λάθη, για τα μοντέλα παλινδρόμησης ονομάζονται συχνά υπολείμματα παλινδρόμησης) e t (\displaystyle e_(t))θα είναι ελάχιστο:

b ^ O L S = arg ⁡ min b R S S (b) (\displaystyle (\hat (b))_(OLS)=\arg \min _(b)RSS(b)),

όπου R S S (\displaystyle RSS)- Αγγλικά. Το υπόλοιπο άθροισμα τετραγώνων ορίζεται ως:

R S S (b) = e T e = ∑ t = 1 n e t 2 = ∑ t = 1 n (y t − f (x t , b)) 2 (\displaystyle RSS(b)=e^(T)e=\sum _ (t=1)^(n)e_(t)^(2)=\άθροισμα _(t=1)^(n)(y_(t)-f(x_(t),b))^(2) ).

Στη γενική περίπτωση, αυτό το πρόβλημα μπορεί να λυθεί με αριθμητικές μεθόδους βελτιστοποίησης (ελαχιστοποίηση). Στην προκειμένη περίπτωση μιλάει κανείς μη γραμμικά ελάχιστα τετράγωνα(NLS ή NLLS - eng. Μη Γραμμικά ελάχιστα τετράγωνα). Σε πολλές περιπτώσεις, μπορεί να ληφθεί μια αναλυτική λύση. Για να λυθεί το πρόβλημα ελαχιστοποίησης, είναι απαραίτητο να βρεθούν τα ακίνητα σημεία της συνάρτησης R S S (b) (\displaystyle RSS(b)), διαφοροποιώντας το σε σχέση με άγνωστες παραμέτρους b (\displaystyle b), εξισώνοντας τις παραγώγους με το μηδέν και λύνοντας το προκύπτον σύστημα εξισώσεων:

∑ t = 1 n (y t − f (x t , b)) ∂ f (x t , b) ∂ b = 0 (\displaystyle \sum _(t=1)^(n)(y_(t)-f(x_ (t),b))(\frac (\μερική f(x_(t),b))(\μερική β))=0).

LSM στην περίπτωση γραμμικής παλινδρόμησης

Ας είναι γραμμική η εξάρτηση της παλινδρόμησης:

y t = ∑ j = 1 k b j x t j + ε = x t T b + ε t (\displaystyle y_(t)=\sum _(j=1)^(k)b_(j)x_(tj)+\varepsilon =x_( t)^(T)b+\varepsilon _(t)).

Αφήνω yείναι το διάνυσμα στήλης των παρατηρήσεων της μεταβλητής που εξηγείται, και X (\displaystyle X)- αυτό είναι (n × k) (\displaystyle ((n\times k)))- πίνακας παρατηρήσεων παραγόντων (γραμμές του πίνακα - διανύσματα τιμών παραγόντων σε μια δεδομένη παρατήρηση, κατά στήλες - διάνυσμα τιμών ενός δεδομένου παράγοντα σε όλες τις παρατηρήσεις). Η αναπαράσταση μήτρας του γραμμικού μοντέλου έχει τη μορφή:

y = Xb + ε (\displaystyle y=Xb+\varepsilon ).

Τότε το διάνυσμα των εκτιμήσεων της επεξηγούμενης μεταβλητής και το διάνυσμα των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

y ^ = X b , e = y − y ^ = y − X b (\displaystyle (\hat (y))=Xb,\quad e=y-(\hat (y))=y-Xb).

αντίστοιχα, το άθροισμα των τετραγώνων των υπολειμμάτων παλινδρόμησης θα είναι ίσο με

R S S = e T e = (y − X β) T (y − X β) (\displaystyle RSS=e^(T)e=(y-Xb)^(T)(y-Xb)).

Διαφοροποίηση αυτής της συνάρτησης σε σχέση με το διάνυσμα παραμέτρων b (\displaystyle b)και εξισώνοντας τις παραγώγους με το μηδέν, παίρνουμε ένα σύστημα εξισώσεων (σε μορφή πίνακα):

(X T X) b = X T y (\style display (X^(T)X)b=X^(T)y).

Στη μορφή αποκρυπτογραφημένου πίνακα, αυτό το σύστημα εξισώσεων μοιάζει με αυτό:

(∑ x t 1 2 ∑ x t 1 x t 2 ∑ x t 1 x t 3 … ∑ x t 1 x t k ∑ x t 2 x t 1 ∑ x t 2 2 ∑ x t 2 x t 3 … ∑ x t 2 x t k ∑ x t 2 x t k ∑ x 2 x t k ∑ ∑ x t 3 x t k ⋮ ⋮ ⋮ ⋱ ⋮ ∑ x t k x t 1 ∑ x t k x t 2 ∑ x t k x t 3 … ∑ x t k 2) (b 1 b 2 b 3 ⋮ b x t 3 ⋮ b x k) = (∑ t x y) = (∑ t k) (\begin(pmatrix)\sum x_(t1)^(2)&\sum x_(t1)x_(t2)&\sum x_(t1)x_(t3)&\ldots &\sum x_(t1)x_( tk)\\\άθροισμα x_(t2)x_(t1)&\sum x_(t2)^(2)&\sum x_(t2)x_(t3)&\ldots &\ sum x_(t2)x_(tk) \\\sum x_(t3)x_(t1)&\sum x_(t3)x_(t2)&\sum x_(t3)^(2)&\ldots &\sum x_ (t3)x_(tk)\\ \vdots &\vdots &\vdots &\ddots &\vdots \\\sum x_(tk)x_(t1)&\sum x_(tk)x_(t2)&\sum x_ (tk)x_(t3)&\ ldots &\sum x_(tk)^(2)\\\end(pmatrix))(\begin(pmatrix)b_(1)\\b_(2)\\b_(3)\\\vdots \\b_( k)\\\end(pmatrix))=(\begin(pmatrix)\sum x_(t1)y_(t)\\\sum x_(t2)y_(t)\\ \sum x_(t3)y_(t )\\\vdots \\\άθροισμα x_(tk)y_(t)\\\end(pmatrix)))όπου όλα τα αθροίσματα λαμβάνονται πάνω από όλες τις αποδεκτές τιμές t (\displaystyle t).

Εάν περιλαμβάνεται μια σταθερά στο μοντέλο (ως συνήθως), τότε x t 1 = 1 (\displaystyle x_(t1)=1)για όλα t (\displaystyle t), επομένως, στην επάνω αριστερή γωνία του πίνακα του συστήματος των εξισώσεων είναι ο αριθμός των παρατηρήσεων n (\displaystyle n), και στα υπόλοιπα στοιχεία της πρώτης σειράς και της πρώτης στήλης - μόνο το άθροισμα των τιμών των μεταβλητών: ∑ x t j (\displaystyle \sum x_(tj))και το πρώτο στοιχείο της δεξιάς πλευράς του συστήματος - ∑ y t (\displaystyle \sum y_(t)).

Η λύση αυτού του συστήματος εξισώσεων δίνει τον γενικό τύπο για τις εκτιμήσεις των ελαχίστων τετραγώνων για το γραμμικό μοντέλο:

b ^ O L S = (X T X) − 1 X T y = (1 n X T X) − 1 1 n X T y = V x − 1 C x y (\στυλ εμφάνισης (\καπέλο (β))_(OLS)=(X^(T )X)^(-1)X^(T)y=\left((\frac (1)(n))X^(T)X\right)^(-1)(\frac (1)(n )) X^(T)y=V_(x)^(-1)C_(xy)).

Για αναλυτικούς σκοπούς, η τελευταία αναπαράσταση αυτού του τύπου αποδεικνύεται χρήσιμη (στο σύστημα εξισώσεων όταν διαιρείται με το n, εμφανίζονται αριθμητικοί μέσοι όροι αντί για αθροίσματα). Αν τα δεδομένα στο μοντέλο παλινδρόμησης κεντραρισμένος, τότε σε αυτήν την αναπαράσταση ο πρώτος πίνακας έχει τη σημασία του δείγματος πίνακα συνδιακύμανσης παραγόντων και ο δεύτερος είναι το διάνυσμα των συνδιακυμάνσεων παραγόντων με εξαρτημένη μεταβλητή. Εάν, επιπλέον, τα δεδομένα είναι επίσης κανονικοποιημένηστο SKO (δηλαδή τελικά τυποποιημένη), τότε ο πρώτος πίνακας έχει την έννοια του πίνακα συσχέτισης του δείγματος των παραγόντων, το δεύτερο διάνυσμα - το διάνυσμα δειγματοληπτικών συσχετίσεων παραγόντων με την εξαρτημένη μεταβλητή.

Μια σημαντική ιδιότητα των εκτιμήσεων LLS για μοντέλα με μια σταθερά- η γραμμή της κατασκευασμένης παλινδρόμησης διέρχεται από το κέντρο βάρους του δείγματος δεδομένων, δηλαδή πληρούται η ισότητα:

y ¯ = b 1 ^ + ∑ j = 2 k b ^ j x ¯ j (\displaystyle (\bar (y))=(\hat (b_(1)))+\sum _(j=2)^(k) (\καπέλο (b))_(j)(\bar (x))_(j)).

Συγκεκριμένα, στην ακραία περίπτωση, όταν ο μόνος παλινδρομητής είναι μια σταθερά, βρίσκουμε ότι η εκτίμηση OLS μιας μεμονωμένης παραμέτρου (η ίδια η σταθερά) είναι ίση με τη μέση τιμή της μεταβλητής που εξηγείται. Δηλαδή, ο αριθμητικός μέσος όρος, γνωστός για τις καλές του ιδιότητες από τους νόμους των μεγάλων αριθμών, είναι επίσης μια εκτίμηση ελαχίστων τετραγώνων - ικανοποιεί το κριτήριο για το ελάχιστο άθροισμα των τετραγωνικών αποκλίσεων από αυτόν.

Οι πιο απλές ειδικές περιπτώσεις

Στην περίπτωση γραμμικής παλινδρόμησης κατά ζεύγη y t = a + b x t + ε t (\displaystyle y_(t)=a+bx_(t)+\varepsilon _(t)), όταν εκτιμάται η γραμμική εξάρτηση μιας μεταβλητής από μια άλλη, οι τύποι υπολογισμού απλοποιούνται (μπορείτε να το κάνετε χωρίς άλγεβρα πινάκων). Το σύστημα των εξισώσεων έχει τη μορφή:

(1 x ¯ x ¯ x 2 ¯) (a b) = (y ¯ x y ¯) (\displaystyle (\begin(pmatrix)1&(\bar (x))\\(\bar (x))&(\bar (x^(2)))\\\end(pmatrix))(\begin(pmatrix)a\\b\\\end(pmatrix))=(\begin(pmatrix)(\bar (y))\\ (\overline(xy))\\\end(pmatrix))).

Από εδώ είναι εύκολο να βρείτε εκτιμήσεις για τους συντελεστές:

( b ^ = Cov ⁡ (x , y) Var ⁡ (x) = x y ¯ − x ¯ y ¯ x 2 ¯ − x ¯ 2 , a ^ = y ¯ − b x . (\displaystyle (\begin(περιπτώσεις) (\hat (b))=(\frac (\mathop (\textrm (Cov)) (x,y))(\mathop (\textrm (Var)) (x)))=(\frac ((\overline (xy))-(\bar (x))(\bar (y)))((\overline (x^(2)))-(\overline (x))^(2)),\\( \καπέλο (a))=(\bar (y))-b(\bar (x)).\end (περιπτώσεις)))

Παρά το γεγονός ότι, γενικά, τα μοντέλα με σταθερά είναι προτιμότερα, σε ορισμένες περιπτώσεις είναι γνωστό από θεωρητικές εκτιμήσεις ότι η σταθερά a (\displaystyle a)πρέπει να είναι ίσο με μηδέν. Για παράδειγμα, στη φυσική, η σχέση μεταξύ τάσης και ρεύματος έχει τη μορφή U = I ⋅ R (\displaystyle U=I\cdot R); μετρώντας την τάση και το ρεύμα, είναι απαραίτητο να εκτιμηθεί η αντίσταση. Σε αυτή την περίπτωση, μιλάμε για μοντέλο y = b x (\displaystyle y=bx). Σε αυτή την περίπτωση, αντί για σύστημα εξισώσεων, έχουμε μια ενιαία εξίσωση

(∑ x t 2) b = ∑ x t y t (\displaystyle \left(\sum x_(t)^(2)\right)b=\sum x_(t)y_(t)).

Επομένως, ο τύπος για την εκτίμηση ενός μόνο συντελεστή έχει τη μορφή

B ^ = ∑ t = 1 n x t y t ∑ t = 1 n x t 2 = x y ¯ x 2 ¯ (\displaystyle (\hat (b))=(\frac (\sum _(t=1)^(n)x_(t )y_(t))(\άθροισμα _(t=1)^(n)x_(t)^(2)))=(\frac (\overline (xy))(\overline (x^(2)) ))).

Η περίπτωση ενός πολυωνυμικού μοντέλου

Εάν τα δεδομένα προσαρμόζονται από μια πολυωνυμική συνάρτηση παλινδρόμησης μιας μεταβλητής f (x) = b 0 + ∑ i = 1 k b i x i (\displaystyle f(x)=b_(0)+\sum \limits _(i=1)^(k)b_(i)x^(i)), τότε, αντίληψη μοιρών x i (\displaystyle x^(i))ως ανεξάρτητους παράγοντες για τον καθένα i (\displaystyle i)είναι δυνατή η εκτίμηση των παραμέτρων του μοντέλου με βάση τον γενικό τύπο για την εκτίμηση των παραμέτρων του γραμμικού μοντέλου. Για να γίνει αυτό, αρκεί να ληφθεί υπόψη στον γενικό τύπο ότι με μια τέτοια ερμηνεία x t i x t j = x t i x t j = x t i + j (\displaystyle x_(ti)x_(tj)=x_(t)^(i)x_(t)^(j)=x_(t)^(i+j))και x t j y t = x t j y t (\displaystyle x_(tj)y_(t)=x_(t)^(j)y_(t)). Επομένως, οι εξισώσεις του πίνακα σε αυτήν την περίπτωση θα έχουν τη μορφή:

(n ∑ n x t ... ∑ n x t k ∑ n x t ∑ n x i 2 ... ∑ m x i k + 1 ⋮ ⋱ ⋮ ∑ ∑ n x t k ∑ n x t k + 1 ... ∑ n x t k + 1 ... ∑ ∑ n x t ) n y t ∑ n x t y t ⋮ n x t k y t ] . (\displaystyle (\begin(pmatrix)n&\sum \limits _(n)x_(t)&\ldots &\sum \limits _(n)x_(t)^(k)\\\sum \limits _( n)x_(t)&\sum \limits _(n)x_(i)^(2)&\ldots &\sum \limits _(m)x_(i)^(k+1)\\\vdots & \vdots &\ddots &\vdots \\\sum \limits _(n)x_(t)^(k)&\sum \limits _(n)x_(t)^(k+1)&\ldots &\ άθροισμα \limits _(n)x_(t)^(2k)\end(pmatrix))(\begin(bmatrix)b_(0)\\b_(1)\\\vdots \\b_(k)\end( bmatrix))=(\begin(bmatrix)\sum \limits _(n)y_(t)\\\sum \limits _(n)x_(t)y_(t)\\\vdots \\\sum \limits _(n)x_(t)^(k)y_(t)\end(bmatrix)).)

Στατιστικά Ιδιότητες Εκτιμήσεων OLS

Πρώτα απ 'όλα, σημειώνουμε ότι για γραμμικά μοντέλα, οι εκτιμήσεις ελαχίστων τετραγώνων είναι γραμμικές εκτιμήσεις, όπως προκύπτει από τον παραπάνω τύπο. Για την αμερόληπτη των εκτιμήσεων των ελαχίστων τετραγώνων, είναι απαραίτητο και επαρκές να εκπληρωθεί η πιο σημαντική προϋπόθεση της ανάλυσης παλινδρόμησης: η μαθηματική προσδοκία ενός τυχαίου λάθους που εξαρτάται από τους παράγοντες πρέπει να είναι ίση με μηδέν. Η προϋπόθεση αυτή πληρούται, ιδίως, εάν

1. η μαθηματική προσδοκία των τυχαίων σφαλμάτων είναι μηδέν, και
2. Οι παράγοντες και τα τυχαία σφάλματα είναι ανεξάρτητες τυχαίες τιμές.

Η δεύτερη προϋπόθεση - η συνθήκη των εξωγενών παραγόντων - είναι θεμελιώδης. Εάν αυτή η ιδιότητα δεν ικανοποιηθεί, τότε μπορούμε να υποθέσουμε ότι σχεδόν οποιεσδήποτε εκτιμήσεις θα είναι εξαιρετικά μη ικανοποιητικές: δεν θα είναι καν συνεπείς (δηλαδή, ακόμη και ένας πολύ μεγάλος όγκος δεδομένων δεν επιτρέπει τη λήψη ποιοτικών εκτιμήσεων σε αυτήν την περίπτωση). Στην κλασική περίπτωση, γίνεται μια ισχυρότερη υπόθεση για τον ντετερμινισμό των παραγόντων, σε αντίθεση με ένα τυχαίο σφάλμα, που σημαίνει αυτόματα ότι η εξωγενής συνθήκη ικανοποιείται. Στη γενική περίπτωση, για τη συνέπεια των εκτιμήσεων, αρκεί να ικανοποιηθεί η συνθήκη εξωγένειας μαζί με τη σύγκλιση του πίνακα V x (\displaystyle V_(x))σε κάποιο μη εκφυλισμένο πίνακα καθώς το μέγεθος του δείγματος αυξάνεται στο άπειρο.

Προκειμένου, εκτός από τη συνέπεια και την αμερόληπτη, οι εκτιμήσεις των (συνήθων) ελαχίστων τετραγώνων να είναι επίσης αποτελεσματικές (οι καλύτερες στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων), είναι απαραίτητο να πληρούνται πρόσθετες ιδιότητες ενός τυχαίου σφάλματος:

Αυτές οι παραδοχές μπορούν να διατυπωθούν για τον πίνακα συνδιακύμανσης του διανύσματος των τυχαίων σφαλμάτων V (ε) = σ 2 I (\displaystyle V(\varepsilon)=\sigma ^(2)I).

Ένα γραμμικό μοντέλο που ικανοποιεί αυτές τις συνθήκες ονομάζεται κλασσικός. Οι εκτιμήσεις OLS για την κλασική γραμμική παλινδρόμηση είναι αμερόληπτες, συνεπείς και πιο αποτελεσματικές εκτιμήσεις στην κατηγορία όλων των γραμμικών αμερόληπτων εκτιμήσεων (στην αγγλική βιβλιογραφία, η συντομογραφία χρησιμοποιείται μερικές φορές μπλε (Καλύτερος γραμμικός αμερόληπτος εκτιμητής) είναι η καλύτερη γραμμική αμερόληπτη εκτίμηση. στην εγχώρια βιβλιογραφία, το θεώρημα Gauss - Markov αναφέρεται συχνότερα). Όπως είναι εύκολο να φανεί, ο πίνακας συνδιακύμανσης του διανύσματος εκτιμήσεων συντελεστών θα είναι ίσος με:

V (b ^ O L S) = σ 2 (X T X) − 1 (\displaystyle V((\hat (b))_(OLS))=\sigma ^(2)(X^(T)X)^(-1 )).

Αποδοτικότητα σημαίνει ότι αυτός ο πίνακας συνδιακύμανσης είναι "ελάχιστος" (οποιοσδήποτε γραμμικός συνδυασμός συντελεστών, και συγκεκριμένα οι ίδιοι οι συντελεστές, έχουν ελάχιστη απόκλιση), δηλαδή, στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων, οι εκτιμήσεις OLS είναι οι καλύτερες. Τα διαγώνια στοιχεία αυτού του πίνακα - οι διακυμάνσεις των εκτιμήσεων των συντελεστών - είναι σημαντικές παράμετροι της ποιότητας των εκτιμήσεων που λαμβάνονται. Ωστόσο, δεν είναι δυνατός ο υπολογισμός του πίνακα συνδιακύμανσης επειδή η διακύμανση τυχαίου σφάλματος είναι άγνωστη. Μπορεί να αποδειχθεί ότι η αμερόληπτη και συνεπής (για το κλασικό γραμμικό μοντέλο) εκτίμηση της διακύμανσης των τυχαίων σφαλμάτων είναι η τιμή:

S 2 = R S S / (n − k) (\displaystyle s^(2)=RSS/(n-k)).

Αντικαθιστώντας αυτήν την τιμή στον τύπο για τον πίνακα συνδιακύμανσης, λαμβάνουμε μια εκτίμηση του πίνακα συνδιακύμανσης. Οι εκτιμήσεις που προκύπτουν είναι επίσης αμερόληπτες και συνεπείς. Είναι επίσης σημαντικό ότι η εκτίμηση της διακύμανσης του σφάλματος (και επομένως οι διακυμάνσεις των συντελεστών) και οι εκτιμήσεις των παραμέτρων του μοντέλου είναι ανεξάρτητες τυχαίες μεταβλητές, γεγονός που καθιστά δυνατή τη λήψη στατιστικών στοιχείων δοκιμής για τον έλεγχο υποθέσεων σχετικά με τους συντελεστές του μοντέλου.

Θα πρέπει να σημειωθεί ότι εάν δεν πληρούνται οι κλασικές παραδοχές, οι εκτιμήσεις των παραμέτρων ελαχίστων τετραγώνων δεν είναι οι πιο αποτελεσματικές και, όπου W (\displaystyle W)είναι κάποιος συμμετρικός θετικός καθορισμένος πίνακας βάρους. Τα συνηθισμένα ελάχιστα τετράγωνα είναι μια ειδική περίπτωση αυτής της προσέγγισης, όταν ο πίνακας βάρους είναι ανάλογος με τον πίνακα ταυτότητας. Όπως είναι γνωστό, για συμμετρικούς πίνακες (ή τελεστές) υπάρχει αποσύνθεση W = P T P (\displaystyle W=P^(T)P). Επομένως, αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως εξής e T P T P e = (P e) T P e = e ∗ T e ∗ (\displaystyle e^(T)P^(T)Pe=(Pe)^(T)Pe=e_(*)^(T)e_( *)), δηλαδή, αυτή η συνάρτηση μπορεί να αναπαρασταθεί ως το άθροισμα των τετραγώνων ορισμένων μετασχηματισμένων «υπολειμμάτων». Έτσι, μπορούμε να διακρίνουμε μια κατηγορία μεθόδων ελαχίστων τετραγώνων - LS-methods (Least Squares).

Αποδεικνύεται (θεώρημα Aitken) ότι για ένα μοντέλο γενικευμένης γραμμικής παλινδρόμησης (στο οποίο δεν επιβάλλονται περιορισμοί στον πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), οι πιο αποτελεσματικές (στην κατηγορία των γραμμικών αμερόληπτων εκτιμήσεων) είναι οι εκτιμήσεις των λεγόμενων. γενικευμένο OLS (OMNK, GLS - Γενικευμένα ελάχιστα τετράγωνα)- Μέθοδος LS με πίνακα βάρους ίσο με τον πίνακα αντίστροφης συνδιακύμανσης των τυχαίων σφαλμάτων: W = V ε − 1 (\displaystyle W=V_(\varepsilon )^(-1)).

Μπορεί να φανεί ότι ο τύπος για τις εκτιμήσεις GLS των παραμέτρων του γραμμικού μοντέλου έχει τη μορφή

B ^ G L S = (X T V − 1 X) − 1 X T V − 1 y (\displaystyle (\hat (b))_(GLS)=(X^(T)V^(-1)X)^(-1) X^(T)V^(-1)y).

Ο πίνακας συνδιακύμανσης αυτών των εκτιμήσεων, αντίστοιχα, θα είναι ίσος με

V (b ^ G L S) = (X T V − 1 X) − 1 (\displaystyle V((\hat (b))_(GLS))=(X^(T)V^(-1)X)^(- ένας)).

Στην πραγματικότητα, η ουσία του OLS έγκειται σε έναν ορισμένο (γραμμικό) μετασχηματισμό (P) των αρχικών δεδομένων και στην εφαρμογή των συνηθισμένων ελαχίστων τετραγώνων στα μετασχηματισμένα δεδομένα. Ο σκοπός αυτού του μετασχηματισμού είναι ότι για τα μετασχηματισμένα δεδομένα, τα τυχαία σφάλματα ικανοποιούν ήδη τις κλασικές υποθέσεις.

Ζυγισμένα ελάχιστα τετράγωνα

Στην περίπτωση ενός πίνακα διαγώνιου βάρους (και επομένως του πίνακα συνδιακύμανσης των τυχαίων σφαλμάτων), έχουμε τα λεγόμενα σταθμισμένα ελάχιστα τετράγωνα (WLS - Weighted Least Squares). Σε αυτή την περίπτωση, το σταθμισμένο άθροισμα των τετραγώνων των υπολειμμάτων του μοντέλου ελαχιστοποιείται, δηλαδή, κάθε παρατήρηση λαμβάνει ένα «βάρος» που είναι αντιστρόφως ανάλογο με τη διακύμανση του τυχαίου σφάλματος σε αυτήν την παρατήρηση: e T W e = ∑ t = 1 n e t 2 σ t 2 (\displaystyle e^(T)We=\sum _(t=1)^(n)(\frac (e_(t)^(2))(\ σίγμα _(t)^(2)))). Στην πραγματικότητα, τα δεδομένα μετασχηματίζονται με στάθμιση των παρατηρήσεων (διαιρώντας με ένα ποσό ανάλογο με την υποτιθέμενη τυπική απόκλιση των τυχαίων σφαλμάτων) και εφαρμόζονται κανονικά ελάχιστα τετράγωνα στα σταθμισμένα δεδομένα.

ISBN 978-5-7749-0473-0.

Οικονομετρία. Σχολικό βιβλίο / Εκδ. Eliseeva I. I. - 2nd ed. - Μ. : Οικονομικά και στατιστική, 2006. - 576 σελ. - ISBN 5-279-02786-3.

Alexandrova N.V.Ιστορία μαθηματικών όρων, εννοιών, ονομασιών: λεξικό-βιβλίο αναφοράς. - 3η έκδ. - Μ. : ΛΚΙ, 2008. - 248 σελ. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Ανάλυση και επεξεργασία πειραματικών δεδομένων - 5η έκδοση - 24σ.

Προσεγγίζουμε τη συνάρτηση με ένα πολυώνυμο 2ου βαθμού. Για να γίνει αυτό, υπολογίζουμε τους συντελεστές του κανονικού συστήματος εξισώσεων:

, ,

Ας συνθέσουμε ένα κανονικό σύστημα ελαχίστων τετραγώνων, το οποίο έχει τη μορφή:

Η λύση του συστήματος είναι εύκολο να βρεθεί:, , .

Έτσι, το πολυώνυμο του 2ου βαθμού βρίσκεται: .

Θεωρητική αναφορά

Επιστροφή στη σελίδα<Введение в вычислительную математику. Примеры>

Παράδειγμα 2. Εύρεση του βέλτιστου βαθμού ενός πολυωνύμου.

Επιστροφή στη σελίδα<Введение в вычислительную математику. Примеры>

Παράδειγμα 3. Παραγωγή κανονικού συστήματος εξισώσεων για την εύρεση των παραμέτρων μιας εμπειρικής εξάρτησης.

Ας εξαγάγουμε ένα σύστημα εξισώσεων για τον προσδιορισμό των συντελεστών και των συναρτήσεων , το οποίο εκτελεί την προσέγγιση ρίζας-μέσος τετραγώνου της δεδομένης συνάρτησης ως προς τα σημεία. Συνθέστε μια συνάρτηση και γράψτε την απαραίτητη ακραία συνθήκη για αυτό:

Τότε το κανονικό σύστημα θα πάρει τη μορφή:

Έχουμε αποκτήσει ένα γραμμικό σύστημα εξισώσεων για άγνωστες παραμέτρους και, το οποίο λύνεται εύκολα.

Θεωρητική αναφορά

Επιστροφή στη σελίδα<Введение в вычислительную математику. Примеры>

Παράδειγμα.

Πειραματικά δεδομένα για τις τιμές των μεταβλητών Χκαι στοδίνονται στον πίνακα.

Ως αποτέλεσμα της ευθυγράμμισής τους, η συνάρτηση

Χρησιμοποιώντας μέθοδος ελάχιστου τετραγώνου, προσεγγίστε αυτά τα δεδομένα με μια γραμμική εξάρτηση y=ax+b(βρείτε επιλογές ένακαι σι). Μάθετε ποια από τις δύο γραμμές είναι καλύτερη (με την έννοια της μεθόδου των ελαχίστων τετραγώνων) ευθυγραμμίζει τα πειραματικά δεδομένα. Κάντε ένα σχέδιο.

Η ουσία της μεθόδου των ελαχίστων τετραγώνων (LSM).

Το πρόβλημα είναι να βρούμε τους γραμμικούς συντελεστές εξάρτησης για τους οποίους η συνάρτηση δύο μεταβλητών ένακαι σιπαίρνει τη μικρότερη τιμή. Με δεδομένα δηλαδή ένακαι σιτο άθροισμα των τετραγωνικών αποκλίσεων των πειραματικών δεδομένων από την ευθεία που βρέθηκε θα είναι το μικρότερο. Αυτό είναι το όλο νόημα της μεθόδου των ελαχίστων τετραγώνων.

Έτσι, η λύση του παραδείγματος ανάγεται στην εύρεση του άκρου μιας συνάρτησης δύο μεταβλητών.

Παραγωγή τύπων εύρεσης συντελεστών.

Καταρτίζεται και λύνεται ένα σύστημα δύο εξισώσεων με δύο αγνώστους. Εύρεση μερικών παραγώγων συναρτήσεων κατά μεταβλητές ένακαι σι, εξισώνουμε αυτές τις παραγώγους με μηδέν.

Λύνουμε το προκύπτον σύστημα εξισώσεων με οποιαδήποτε μέθοδο (π.χ μέθοδος αντικατάστασηςή μέθοδος Cramer) και λάβετε τύπους για την εύρεση συντελεστών χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων (LSM).

Με δεδομένα ένακαι σιλειτουργία παίρνει τη μικρότερη τιμή. Η απόδειξη αυτού του γεγονότος δίνεται παρακάτω στο κείμενο στο τέλος της σελίδας.

Αυτή είναι η όλη μέθοδος των ελαχίστων τετραγώνων. Τύπος για την εύρεση της παραμέτρου έναπεριέχει τα αθροίσματα , , και την παράμετρο nείναι η ποσότητα των πειραματικών δεδομένων. Οι τιμές αυτών των ποσών συνιστάται να υπολογίζονται χωριστά.

Συντελεστής σιβρέθηκε μετά τον υπολογισμό ένα.

Ήρθε η ώρα να θυμηθούμε το αρχικό παράδειγμα.

Λύση.

Στο παράδειγμά μας n=5. Συμπληρώνουμε τον πίνακα για τη διευκόλυνση του υπολογισμού των ποσών που περιλαμβάνονται στους τύπους των απαιτούμενων συντελεστών.

Οι τιμές στην τέταρτη σειρά του πίνακα λαμβάνονται πολλαπλασιάζοντας τις τιμές της 2ης σειράς με τις τιμές της 3ης σειράς για κάθε αριθμό Εγώ.

Οι τιμές στην πέμπτη σειρά του πίνακα λαμβάνονται με τον τετραγωνισμό των τιμών της 2ης σειράς για κάθε αριθμό Εγώ.

Οι τιμές της τελευταίας στήλης του πίνακα είναι τα αθροίσματα των τιμών στις σειρές.

Χρησιμοποιούμε τους τύπους της μεθόδου των ελαχίστων τετραγώνων για να βρούμε τους συντελεστές ένακαι σι. Αντικαθιστούμε σε αυτά τις αντίστοιχες τιμές από την τελευταία στήλη του πίνακα:

Συνεπώς, y=0,165x+2,184είναι η επιθυμητή προσεγγιστική ευθεία.

Μένει να μάθουμε ποια από τις γραμμές y=0,165x+2,184ή προσεγγίζει καλύτερα τα αρχικά δεδομένα, δηλαδή να κάνει μια εκτίμηση χρησιμοποιώντας τη μέθοδο των ελαχίστων τετραγώνων.

Εκτίμηση του σφάλματος της μεθόδου των ελαχίστων τετραγώνων.

Για να γίνει αυτό, πρέπει να υπολογίσετε τα αθροίσματα των τετραγωνικών αποκλίσεων των αρχικών δεδομένων από αυτές τις γραμμές και , μια μικρότερη τιμή αντιστοιχεί σε μια γραμμή που προσεγγίζει καλύτερα τα αρχικά δεδομένα όσον αφορά τη μέθοδο των ελαχίστων τετραγώνων.

Από τότε η γραμμή y=0,165x+2,184προσεγγίζει καλύτερα τα αρχικά δεδομένα.

Γραφική απεικόνιση της μεθόδου των ελαχίστων τετραγώνων (LSM).

Όλα φαίνονται υπέροχα στα charts. Η κόκκινη γραμμή είναι η γραμμή που βρέθηκε y=0,165x+2,184, η μπλε γραμμή είναι , οι ροζ κουκκίδες είναι τα αρχικά δεδομένα.

Σε τι χρησιμεύει, σε τι χρησιμεύουν όλες αυτές οι προσεγγίσεις;

Προσωπικά χρησιμοποιώ για την επίλυση προβλημάτων εξομάλυνσης δεδομένων, προβλημάτων παρεμβολής και παρέκτασης (στο αρχικό παράδειγμα, θα μπορούσε να σας ζητηθεί να βρείτε την τιμή της παρατηρούμενης τιμής yστο x=3ή πότε x=6σύμφωνα με τη μέθοδο MNC). Αλλά θα μιλήσουμε περισσότερα για αυτό αργότερα σε άλλη ενότητα του ιστότοπου.

Αρχή σελίδας

Απόδειξη.

Έτσι όταν βρεθεί ένακαι σιη συνάρτηση παίρνει τη μικρότερη τιμή, είναι απαραίτητο σε αυτό το σημείο ο πίνακας της τετραγωνικής μορφής του διαφορικού δεύτερης τάξης για τη συνάρτηση ήταν θετική οριστική. Ας το δείξουμε.

Η διαφορά δεύτερης τάξης έχει τη μορφή:

Αυτό είναι

Επομένως, ο πίνακας της τετραγωνικής μορφής έχει τη μορφή

και οι τιμές των στοιχείων δεν εξαρτώνται από ένακαι σι.

Ας δείξουμε ότι ο πίνακας είναι θετικός ορισμένος. Αυτό απαιτεί οι δευτερεύουσες γωνίες να είναι θετικές.

Γωνιακό μινόρε πρώτης τάξης . Η ανισότητα είναι αυστηρή, αφού τα σημεία δεν συμπίπτουν. Αυτό θα υπονοηθεί στα ακόλουθα.

Γωνιακό μινόρε δεύτερης τάξης

Ας το αποδείξουμε μέθοδος μαθηματικής επαγωγής.

συμπέρασμα: βρέθηκαν τιμές ένακαι σιαντιστοιχούν στη μικρότερη τιμή της συνάρτησης , επομένως, είναι οι επιθυμητές παράμετροι για τη μέθοδο των ελαχίστων τετραγώνων.

Κατάλαβες ποτέ;
Παραγγείλετε μια λύση

Αρχή σελίδας

Ανάπτυξη πρόβλεψης με τη μέθοδο των ελαχίστων τετραγώνων. Παράδειγμα λύσης προβλήματος

Παρέκταση - αυτή είναι μια μέθοδος επιστημονικής έρευνας, η οποία βασίζεται στη διάδοση προηγούμενων και παρόντων τάσεων, προτύπων, σχέσεων με τη μελλοντική ανάπτυξη του αντικειμένου της πρόβλεψης. Οι μέθοδοι παρέκτασης περιλαμβάνουν Μέθοδος κινούμενου μέσου όρου, μέθοδος εκθετικής εξομάλυνσης, μέθοδος ελαχίστων τετραγώνων.

Ουσία μέθοδος ελαχίστων τετραγώνων συνίσταται στην ελαχιστοποίηση του αθροίσματος των τετραγωνικών αποκλίσεων μεταξύ των παρατηρούμενων και των υπολογισμένων τιμών. Οι υπολογισμένες τιμές βρίσκονται σύμφωνα με την επιλεγμένη εξίσωση - την εξίσωση παλινδρόμησης. Όσο μικρότερη είναι η απόσταση μεταξύ των πραγματικών τιμών και των υπολογισμένων, τόσο πιο ακριβής είναι η πρόβλεψη με βάση την εξίσωση παλινδρόμησης.

Η θεωρητική ανάλυση της ουσίας του υπό μελέτη φαινομένου, η μεταβολή του οποίου εμφανίζεται από μια χρονοσειρά, χρησιμεύει ως βάση για την επιλογή μιας καμπύλης. Μερικές φορές λαμβάνονται υπόψη σκέψεις σχετικά με τη φύση της ανάπτυξης των επιπέδων της σειράς. Έτσι, εάν η αύξηση της παραγωγής αναμένεται με αριθμητική πρόοδο, τότε η εξομάλυνση εκτελείται σε ευθεία γραμμή. Εάν αποδειχθεί ότι η ανάπτυξη είναι εκθετική, τότε η εξομάλυνση πρέπει να γίνει σύμφωνα με την εκθετική συνάρτηση.

Ο τύπος εργασίας της μεθόδου των ελαχίστων τετραγώνων : Y t+1 = a*X + b, όπου t + 1 είναι η περίοδος πρόβλεψης. Уt+1 – προβλεπόμενος δείκτης. Τα α και β είναι συντελεστές. Το Χ είναι σύμβολο του χρόνου.

Οι συντελεστές α και β υπολογίζονται σύμφωνα με τους ακόλουθους τύπους:

όπου, Uf - οι πραγματικές τιμές της σειράς δυναμικών. n είναι ο αριθμός των επιπέδων στη χρονοσειρά.

Η εξομάλυνση των χρονοσειρών με τη μέθοδο των ελαχίστων τετραγώνων χρησιμεύει για να αντικατοπτρίζει τα πρότυπα ανάπτυξης του υπό μελέτη φαινομένου. Στην αναλυτική έκφραση μιας τάσης, ο χρόνος θεωρείται ως ανεξάρτητη μεταβλητή και τα επίπεδα της σειράς ενεργούν ως συνάρτηση αυτής της ανεξάρτητης μεταβλητής.

Η εξέλιξη ενός φαινομένου δεν εξαρτάται από το πόσα χρόνια έχουν περάσει από την αφετηρία, αλλά από το ποιοι παράγοντες επηρέασαν την εξέλιξή του, προς ποια κατεύθυνση και με ποια ένταση. Από αυτό είναι σαφές ότι η ανάπτυξη ενός φαινομένου στο χρόνο εμφανίζεται ως αποτέλεσμα της δράσης αυτών των παραγόντων.

Η σωστή ρύθμιση του τύπου της καμπύλης, του τύπου της αναλυτικής εξάρτησης από το χρόνο είναι ένα από τα πιο δύσκολα καθήκοντα της προ-προγνωστικής ανάλυσης. .

Η επιλογή του τύπου συνάρτησης που περιγράφει την τάση, οι παράμετροι της οποίας καθορίζονται με τη μέθοδο των ελαχίστων τετραγώνων, είναι στις περισσότερες περιπτώσεις εμπειρική, κατασκευάζοντας έναν αριθμό συναρτήσεων και συγκρίνοντάς τες μεταξύ τους με την τιμή του μέσου όρου της ρίζας. -τετράγωνο σφάλμα που υπολογίζεται από τον τύπο:

όπου Uf - οι πραγματικές τιμές της σειράς δυναμικών. Ur – υπολογισμένες (εξομαλυνόμενες) τιμές της χρονοσειράς. n είναι ο αριθμός των επιπέδων στη χρονοσειρά. p είναι ο αριθμός των παραμέτρων που ορίζονται στους τύπους που περιγράφουν την τάση (τάση ανάπτυξης).

Μειονεκτήματα της μεθόδου των ελαχίστων τετραγώνων :

• κατά την προσπάθεια περιγραφής του υπό μελέτη οικονομικού φαινομένου χρησιμοποιώντας μια μαθηματική εξίσωση, η πρόβλεψη θα είναι ακριβής για σύντομο χρονικό διάστημα και η εξίσωση παλινδρόμησης θα πρέπει να υπολογιστεί εκ νέου καθώς γίνονται διαθέσιμες νέες πληροφορίες.
• την πολυπλοκότητα της επιλογής της εξίσωσης παλινδρόμησης, η οποία είναι επιλύσιμη με τη χρήση τυπικών προγραμμάτων υπολογιστή.

Ένα παράδειγμα χρήσης της μεθόδου των ελαχίστων τετραγώνων για την ανάπτυξη μιας πρόβλεψης

Μια εργασία . Υπάρχουν στοιχεία που χαρακτηρίζουν το επίπεδο ανεργίας στην περιοχή, %

• Κατασκευάστε μια πρόβλεψη του ποσοστού ανεργίας στην περιοχή για τους μήνες Νοέμβριο, Δεκέμβριο, Ιανουάριο, χρησιμοποιώντας τις μεθόδους: κινούμενος μέσος όρος, εκθετική εξομάλυνση, ελάχιστα τετράγωνα.
• Υπολογίστε τα σφάλματα στις προκύπτουσες προβλέψεις χρησιμοποιώντας κάθε μέθοδο.
• Συγκρίνετε τα αποτελέσματα που προέκυψαν, βγάλτε συμπεράσματα.

Λύση ελαχίστων τετραγώνων

Για τη λύση, θα συντάξουμε έναν πίνακα στον οποίο θα κάνουμε τους απαραίτητους υπολογισμούς:

ε = 28,63/10 = 2,86% ακρίβεια πρόβλεψηςυψηλός.

συμπέρασμα : Σύγκριση των αποτελεσμάτων που προέκυψαν στους υπολογισμούς μέθοδος κινούμενου μέσου όρου , εκθετική εξομάλυνση και τη μέθοδο των ελαχίστων τετραγώνων, μπορούμε να πούμε ότι το μέσο σχετικό σφάλμα στους υπολογισμούς με τη μέθοδο της εκθετικής εξομάλυνσης εμπίπτει στο 20-50%. Αυτό σημαίνει ότι η ακρίβεια της πρόβλεψης σε αυτή την περίπτωση είναι μόνο ικανοποιητική.

Στην πρώτη και στην τρίτη περίπτωση, η ακρίβεια πρόβλεψης είναι υψηλή, αφού το μέσο σχετικό σφάλμα είναι μικρότερο από 10%. Αλλά η μέθοδος του κινούμενου μέσου όρου κατέστησε δυνατή την απόκτηση πιο αξιόπιστων αποτελεσμάτων (πρόβλεψη Νοεμβρίου - 1,52%, πρόβλεψη Δεκεμβρίου - 1,53%, πρόβλεψη Ιανουαρίου - 1,49%), καθώς το μέσο σχετικό σφάλμα κατά τη χρήση αυτής της μεθόδου είναι το μικρότερο - 1 ,13%.

Μέθοδος ελάχιστου τετραγώνου

Άλλα σχετικά άρθρα:

Κατάλογος πηγών που χρησιμοποιήθηκαν

1. Επιστημονικές και μεθοδολογικές συστάσεις για θέματα διάγνωσης κοινωνικών κινδύνων και πρόβλεψης προκλήσεων, απειλών και κοινωνικών συνεπειών. Ρωσικό Κρατικό Κοινωνικό Πανεπιστήμιο. Μόσχα. 2010;
2. Vladimirova L.P. Πρόβλεψη και προγραμματισμός σε συνθήκες αγοράς: Proc. επίδομα. M .: Εκδοτικός Οίκος "Dashkov and Co", 2001;
3. Novikova N.V., Pozdeeva O.G. Πρόβλεψη της Εθνικής Οικονομίας: Εκπαιδευτικός και Μεθοδολογικός Οδηγός. Αικατερινούπολη: Εκδοτικός Οίκος Ural. κατάσταση οικονομία πανεπιστήμιο, 2007;
4. Slutskin L.N. Μάθημα MBA στην επιχειρηματική πρόβλεψη. Μόσχα: Alpina Business Books, 2006.

Πρόγραμμα MNE

Εισαγάγετε δεδομένα

Δεδομένα και Προσέγγιση y = a + b x

Εγώ- αριθμός του πειραματικού σημείου.
x i- την τιμή της σταθερής παραμέτρου στο σημείο Εγώ;
y i- την τιμή της μετρούμενης παραμέτρου στο σημείο Εγώ;
ω i- μέτρηση βάρους στο σημείο Εγώ;
y i, υπολογ.- τη διαφορά μεταξύ της μετρούμενης τιμής και της τιμής που υπολογίζεται από την παλινδρόμηση yστο σημείο Εγώ;
S x i (x i)- εκτίμηση σφάλματος x iκατά τη μέτρηση yστο σημείο Εγώ.

Δεδομένα και Προσέγγιση y = k x

Εγώ	x i	y i	ω i	y i, υπολογ.	Δy i	S x i (x i)

Κάντε κλικ στο γράφημα

Εγχειρίδιο χρήστη για το διαδικτυακό πρόγραμμα MNC.

Στο πεδίο δεδομένων, εισαγάγετε σε κάθε ξεχωριστή γραμμή τις τιμές των «x» και «y» σε ένα πειραματικό σημείο. Οι τιμές πρέπει να διαχωρίζονται με κενό διάστημα (κενό ή καρτέλα).

Η τρίτη τιμή μπορεί να είναι το σημείο βάρους του «w». Εάν το βάρος του σημείου δεν καθορίζεται, τότε είναι ίσο με ένα. Στη συντριπτική πλειοψηφία των περιπτώσεων, τα βάρη των πειραματικών σημείων είναι άγνωστα ή δεν υπολογίζονται. όλα τα πειραματικά δεδομένα θεωρούνται ισοδύναμα. Μερικές φορές τα βάρη στο μελετημένο εύρος τιμών δεν είναι σίγουρα ισοδύναμα και μπορούν ακόμη και να υπολογιστούν θεωρητικά. Για παράδειγμα, στη φασματοφωτομετρία, τα βάρη μπορούν να υπολογιστούν χρησιμοποιώντας απλούς τύπους, αν και βασικά όλοι το παραμελούν για να μειώσουν το κόστος εργασίας.

Τα δεδομένα μπορούν να επικολληθούν στο πρόχειρο από ένα υπολογιστικό φύλλο της σουίτας γραφείου, όπως το Excel από το Microsoft Office ή το Calc από το Open Office. Για να το κάνετε αυτό, στο υπολογιστικό φύλλο, επιλέξτε το εύρος των δεδομένων προς αντιγραφή, αντιγράψτε στο πρόχειρο και επικολλήστε τα δεδομένα στο πεδίο δεδομένων αυτής της σελίδας.

Για τον υπολογισμό με τη μέθοδο των ελαχίστων τετραγώνων, απαιτούνται τουλάχιστον δύο σημεία για τον προσδιορισμό δύο συντελεστών «b» - την εφαπτομένη της γωνίας κλίσης της ευθείας γραμμής και «a» - την τιμή που αποκόπτεται από την ευθεία γραμμή στο «y». άξονας.

Για να εκτιμηθεί το σφάλμα των υπολογισμένων συντελεστών παλινδρόμησης, είναι απαραίτητο να ορίσετε τον αριθμό των πειραματικών σημείων σε περισσότερα από δύο.

Μέθοδος ελαχίστων τετραγώνων (LSM).

Όσο μεγαλύτερος είναι ο αριθμός των πειραματικών σημείων, τόσο πιο ακριβής είναι η στατιστική εκτίμηση των συντελεστών (λόγω της μείωσης του συντελεστή του Μαθητή) και τόσο πιο κοντά είναι η εκτίμηση στην εκτίμηση του γενικού δείγματος.

Η απόκτηση τιμών σε κάθε πειραματικό σημείο συνδέεται συχνά με σημαντικό κόστος εργασίας, επομένως, συχνά πραγματοποιείται ένας συμβιβαστικός αριθμός πειραμάτων, ο οποίος δίνει μια εύπεπτη εκτίμηση και δεν οδηγεί σε υπερβολικό κόστος εργασίας. Κατά κανόνα, ο αριθμός των πειραματικών σημείων για μια γραμμική εξάρτηση ελαχίστων τετραγώνων με δύο συντελεστές επιλέγεται στην περιοχή 5-7 σημείων.

Μια σύντομη θεωρία των ελαχίστων τετραγώνων για τη γραμμική εξάρτηση

Ας υποθέσουμε ότι έχουμε ένα σύνολο πειραματικών δεδομένων με τη μορφή ζευγών τιμών [`y_i`, `x_i`], όπου το "i" είναι ο αριθμός μιας πειραματικής μέτρησης από το 1 έως το "n". `y_i` - η τιμή της μετρούμενης τιμής στο σημείο `i`. `x_i` - η τιμή της παραμέτρου που ορίσαμε στο σημείο `i`.

Ένα παράδειγμα είναι η λειτουργία του νόμου του Ohm. Αλλάζοντας την τάση (διαφορά δυναμικού) μεταξύ των τμημάτων του ηλεκτρικού κυκλώματος, μετράμε την ποσότητα του ρεύματος που διέρχεται από αυτό το τμήμα. Η Φυσική μας δίνει την εξάρτηση που βρέθηκε πειραματικά:

`I=U/R`,
όπου "I" - τρέχουσα ισχύς. `R` - αντίσταση; `U` - τάση.

Σε αυτήν την περίπτωση, «y_i» είναι η μετρούμενη τιμή ρεύματος και «x_i» είναι η τιμή τάσης.

Ως άλλο παράδειγμα, εξετάστε την απορρόφηση του φωτός από ένα διάλυμα μιας ουσίας σε διάλυμα. Η Χημεία μας δίνει τον τύπο:

«A = εl C»,
όπου «A» είναι η οπτική πυκνότητα του διαλύματος. `ε` - διαπερατότητα διαλυμένης ουσίας; `l` - μήκος διαδρομής όταν το φως διέρχεται από μια κυψελίδα με διάλυμα. «C» είναι η συγκέντρωση της διαλυμένης ουσίας.

Σε αυτήν την περίπτωση, «y_i» είναι η μετρούμενη οπτική πυκνότητα «A» και «x_i» είναι η συγκέντρωση της ουσίας που ορίσαμε.

Θα εξετάσουμε την περίπτωση όταν το σχετικό σφάλμα στη ρύθμιση του `x_i` είναι πολύ μικρότερο από το σχετικό σφάλμα στη μέτρηση του `y_i`. Θα υποθέσουμε επίσης ότι όλες οι μετρούμενες τιμές του `y_i` είναι τυχαίες και κανονικά κατανεμημένες, δηλ. υπακούουν στον νόμο της κανονικής κατανομής.

Στην περίπτωση μιας γραμμικής εξάρτησης του «y» από το «x», μπορούμε να γράψουμε τη θεωρητική εξάρτηση:
`y = a + bx`.

Από γεωμετρική άποψη, ο συντελεστής «b» υποδηλώνει την εφαπτομένη της γωνίας κλίσης της ευθείας στον άξονα «x» και ο συντελεστής «a» - την τιμή του «y» στο σημείο τομής του ευθεία με τον άξονα `y` (για `x = 0`).

Εύρεση των παραμέτρων της γραμμής παλινδρόμησης.

Σε ένα πείραμα, οι μετρούμενες τιμές του «y_i» δεν μπορούν να βρίσκονται ακριβώς στη θεωρητική γραμμή λόγω σφαλμάτων μέτρησης, τα οποία είναι πάντα εγγενή στην πραγματική ζωή. Επομένως, μια γραμμική εξίσωση πρέπει να αντιπροσωπεύεται από ένα σύστημα εξισώσεων:
`y_i = a + b x_i + ε_i` (1),
όπου «ε_i» είναι το άγνωστο σφάλμα μέτρησης του «y» στο «i» πείραμα.

Η εξάρτηση (1) ονομάζεται επίσης οπισθοδρόμηση, δηλ. η εξάρτηση των δύο μεγεθών μεταξύ τους με στατιστική σημασία.

Το καθήκον της αποκατάστασης της εξάρτησης είναι να βρεθούν οι συντελεστές `a` και `b` από τα πειραματικά σημεία [`y_i`, `x_i`].

Για να βρεθούν οι συντελεστές συνήθως χρησιμοποιείται «a» και «b». μέθοδος ελάχιστου τετραγώνου(ΜΝΚ). Είναι μια ειδική περίπτωση της αρχής της μέγιστης πιθανότητας.

Ας ξαναγράψουμε το (1) ως `ε_i = y_i - a - b x_i`.

Τότε το άθροισμα των τετραγωνικών σφαλμάτων θα είναι
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)

Η αρχή της μεθόδου των ελαχίστων τετραγώνων είναι η ελαχιστοποίηση του αθροίσματος (2) σε σχέση με τις παραμέτρους «a» και «b».

Το ελάχιστο επιτυγχάνεται όταν οι μερικές παράγωγοι του αθροίσματος (2) ως προς τους συντελεστές «a» και «b» είναι ίσες με μηδέν:
`frac(μερικό Φ)(μερικό a) = frac(μερικό άθροισμα_(i=1)^(n) (y_i - a - b x_i)^2)(μερικό a) = 0`
`frac(μερικό Φ)(μερικό b) = frac(μερικό άθροισμα_(i=1)^(n) (y_i - a - b x_i)^2)(μερικό b) = 0`

Επεκτείνοντας τις παραγώγους, λαμβάνουμε ένα σύστημα δύο εξισώσεων με δύο αγνώστους:
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`

Ανοίγουμε τις αγκύλες και μεταφέρουμε τα αθροίσματα ανεξάρτητα από τους επιθυμητούς συντελεστές στο άλλο μισό, παίρνουμε ένα σύστημα γραμμικών εξισώσεων:
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`

Λύνοντας το σύστημα που προκύπτει, βρίσκουμε τύπους για τους συντελεστές «a» και «b»:

`a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (άθροισμα_(i=1)^(n) x_i)^2)` (3.1)

`b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (άθροισμα_(i=1)^(n) x_i)^2)` (3.2)

Αυτοί οι τύποι έχουν λύσεις όταν `n > 1` (η γραμμή μπορεί να σχεδιαστεί χρησιμοποιώντας τουλάχιστον 2 σημεία) και όταν η ορίζουσα `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1 )^(n) x_i)^2 != 0`, δηλ. όταν τα σημεία `x_i` στο πείραμα είναι διαφορετικά (δηλαδή όταν η γραμμή δεν είναι κάθετη).

Εκτίμηση σφαλμάτων στους συντελεστές της γραμμής παλινδρόμησης

Για μια πιο ακριβή εκτίμηση του σφάλματος στον υπολογισμό των συντελεστών «a» και «b», είναι επιθυμητός ένας μεγάλος αριθμός πειραματικών σημείων. Όταν `n = 2`, είναι αδύνατο να εκτιμηθεί το σφάλμα των συντελεστών, γιατί η κατά προσέγγιση γραμμή θα περάσει μοναδικά από δύο σημεία.

Προσδιορίζεται το σφάλμα της τυχαίας μεταβλητής `V` νόμος συσσώρευσης σφαλμάτων
`S_V^2 = άθροισμα_(i=1)^p (frac(μερικό f)(μερικό z_i))^2 S_(z_i)^2`,
όπου "p" είναι ο αριθμός των παραμέτρων "z_i" με σφάλμα "S_(z_i)" που επηρεάζουν το σφάλμα "S_V".
Το "f" είναι μια συνάρτηση εξάρτησης του "V" στο "z_i".

Ας γράψουμε τον νόμο της συσσώρευσης σφαλμάτων για το σφάλμα των συντελεστών «a» και «b»
`S_a^2 = sum_(i=1)^(n)(frac(μερικό a)(μερικό y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(μερικό a )(μερικό x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(μερικό α)(μερικό y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(μερικό b)(μερικό y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(μερικό b )(μερικό x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(μερικό β)(μερικό y_i))^2 `,
επειδή `S_(x_i)^2 = 0` (προηγουμένως κάναμε κράτηση ότι το σφάλμα του `x` είναι αμελητέο).

`S_y^2 = S_(y_i)^2` - το σφάλμα (διακύμανση, τετραγωνική τυπική απόκλιση) στη διάσταση `y`, με την προϋπόθεση ότι το σφάλμα είναι ομοιόμορφο για όλες τις τιμές `y`.

Αντικαθιστώντας τους τύπους για τον υπολογισμό των «a» και «b» στις παραστάσεις που προκύπτουν, παίρνουμε

`S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1)

`S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (άθροισμα_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2)

Στα περισσότερα πραγματικά πειράματα, η τιμή του «Sy» δεν μετριέται. Για να γίνει αυτό, είναι απαραίτητο να πραγματοποιηθούν πολλές παράλληλες μετρήσεις (πειράματα) σε ένα ή περισσότερα σημεία του σχεδίου, γεγονός που αυξάνει τον χρόνο (και πιθανώς το κόστος) του πειράματος. Επομένως, συνήθως θεωρείται ότι η απόκλιση του «y» από τη γραμμή παλινδρόμησης μπορεί να θεωρηθεί τυχαία. Η εκτίμηση διακύμανσης `y` σε αυτήν την περίπτωση υπολογίζεται από τον τύπο.

`S_y^2 = S_(y, υπόλοιπο)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)`.

Ο διαιρέτης `n-2` εμφανίζεται επειδή έχουμε μειώσει τον αριθμό των βαθμών ελευθερίας λόγω του υπολογισμού δύο συντελεστών για το ίδιο δείγμα πειραματικών δεδομένων.

Αυτή η εκτίμηση ονομάζεται επίσης υπολειπόμενη διακύμανση σε σχέση με τη γραμμή παλινδρόμησης `S_(y, υπόλοιπο)^2`.

Η αξιολόγηση της σημαντικότητας των συντελεστών γίνεται με κριτήριο του Μαθητή

`t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)`

Εάν τα υπολογιζόμενα κριτήρια «t_a», «t_b» είναι λιγότερα από τα κριτήρια του πίνακα «t(P, n-2)», τότε θεωρείται ότι ο αντίστοιχος συντελεστής δεν διαφέρει σημαντικά από το μηδέν με δεδομένη πιθανότητα «P».

Για να αξιολογήσετε την ποιότητα της περιγραφής μιας γραμμικής σχέσης, μπορείτε να συγκρίνετε τα "S_(y, rest)^2" και "S_(bar y)" σε σχέση με τον μέσο όρο χρησιμοποιώντας το κριτήριο Fisher.

`S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - εκτίμηση δείγματος της διακύμανσης του `y` σε σχέση με τον μέσο όρο.

Για να αξιολογηθεί η αποτελεσματικότητα της εξίσωσης παλινδρόμησης για την περιγραφή της εξάρτησης, υπολογίζεται ο συντελεστής Fisher
`F = S_(γραμμή y) / S_(y, υπόλοιπο)^2`,
που συγκρίνεται με τον πίνακα Fisher συντελεστή «F(p, n-1, n-2)».

Εάν «F > F(P, n-1, n-2)», η διαφορά μεταξύ της περιγραφής της εξάρτησης «y = f(x)» με χρήση της εξίσωσης παλινδρόμησης και της περιγραφής που χρησιμοποιεί τον μέσο όρο θεωρείται στατιστικά σημαντική με πιθανότητα «Π». Εκείνοι. η παλινδρόμηση περιγράφει την εξάρτηση καλύτερα από την εξάπλωση του «y» γύρω από το μέσο όρο.

Κάντε κλικ στο γράφημα
για να προσθέσετε τιμές στον πίνακα

Μέθοδος ελάχιστου τετραγώνου. Η μέθοδος των ελαχίστων τετραγώνων σημαίνει τον προσδιορισμό άγνωστων παραμέτρων a, b, c, την αποδεκτή συναρτησιακή εξάρτηση

Η μέθοδος των ελαχίστων τετραγώνων σημαίνει τον προσδιορισμό άγνωστων παραμέτρων α, β, γ,…αποδεκτή λειτουργική εξάρτηση

y = f(x,a,b,c,…),

που θα παρείχε ένα ελάχιστο του μέσου τετραγώνου (διακύμανση) του σφάλματος

, (24)

όπου x i , y i - σύνολο ζευγών αριθμών που προέκυψαν από το πείραμα.

Εφόσον η συνθήκη για το άκρο μιας συνάρτησης πολλών μεταβλητών είναι η συνθήκη ότι οι μερικές παράγωγοί της είναι ίσες με μηδέν, τότε οι παράμετροι α, β, γ,…καθορίζονται από το σύστημα των εξισώσεων:

; ; ; … (25)

Πρέπει να θυμόμαστε ότι η μέθοδος των ελαχίστων τετραγώνων χρησιμοποιείται για την επιλογή παραμέτρων μετά τη μορφή της συνάρτησης y = f(x)ορίζεται.

Εάν από θεωρητικές εκτιμήσεις είναι αδύνατο να εξαχθούν συμπεράσματα σχετικά με το ποιος θα πρέπει να είναι ο εμπειρικός τύπος, τότε πρέπει να καθοδηγείται από οπτικές αναπαραστάσεις, κυρίως μια γραφική αναπαράσταση των παρατηρούμενων δεδομένων.

Στην πράξη, τις περισσότερες φορές περιορίζεται στους ακόλουθους τύπους λειτουργιών:

1) γραμμικό ;

2) τετραγωνικό α .

Η ουσία της μεθόδου των ελαχίστων τετραγώνων είναι στην εύρεση των παραμέτρων ενός μοντέλου τάσης που περιγράφει καλύτερα την τάση ανάπτυξης κάποιου τυχαίου φαινομένου σε χρόνο ή χώρο (μια τάση είναι μια γραμμή που χαρακτηρίζει την τάση αυτής της εξέλιξης). Ο στόχος της μεθόδου των ελαχίστων τετραγώνων (OLS) είναι να βρει όχι μόνο κάποιο μοντέλο τάσης, αλλά να βρει το καλύτερο ή βέλτιστο μοντέλο. Αυτό το μοντέλο θα είναι βέλτιστο εάν το άθροισμα των τετραγωνικών αποκλίσεων μεταξύ των παρατηρούμενων πραγματικών τιμών και των αντίστοιχων υπολογισμένων τιμών τάσης είναι ελάχιστο (μικρότερο):

όπου είναι η τυπική απόκλιση μεταξύ της παρατηρούμενης πραγματικής τιμής

και την αντίστοιχη υπολογιζόμενη τιμή τάσης,

Η πραγματική (παρατηρηθείσα) αξία του υπό μελέτη φαινομένου,

Εκτιμώμενη αξία του μοντέλου τάσης,

Ο αριθμός των παρατηρήσεων του υπό μελέτη φαινομένου.

Το MNC σπάνια χρησιμοποιείται μόνο του. Κατά κανόνα, τις περισσότερες φορές χρησιμοποιείται μόνο ως απαραίτητη τεχνική σε μελέτες συσχέτισης. Θα πρέπει να θυμόμαστε ότι η βάση πληροφοριών του LSM μπορεί να είναι μόνο μια αξιόπιστη στατιστική σειρά και ο αριθμός των παρατηρήσεων δεν πρέπει να είναι μικρότερος από 4, διαφορετικά, οι διαδικασίες εξομάλυνσης του LSM μπορεί να χάσουν την κοινή τους λογική.

Η εργαλειοθήκη OLS περιορίζεται στις ακόλουθες διαδικασίες:

Πρώτη διαδικασία. Αποδεικνύεται αν υπάρχει κάποια τάση αλλαγής του προκύπτοντος χαρακτηριστικού όταν αλλάζει ο επιλεγμένος παράγοντας-όρισμα, ή με άλλα λόγια, εάν υπάρχει σύνδεση μεταξύ " στο " και " Χ ».

Δεύτερη διαδικασία. Καθορίζεται ποια γραμμή (τροχιά) είναι καλύτερα σε θέση να περιγράψει ή να χαρακτηρίσει αυτήν την τάση.

Τρίτη διαδικασία.

Παράδειγμα. Ας υποθέσουμε ότι έχουμε πληροφορίες για τη μέση απόδοση ηλίανθου για το υπό μελέτη αγρόκτημα (Πίνακας 9.1).

Πίνακας 9.1

Αριθμός παρατήρησης
Παραγωγικότητα, c/ha

Δεδομένου ότι το επίπεδο τεχνολογίας στην παραγωγή ηλίανθου στη χώρα μας δεν έχει αλλάξει πολύ τα τελευταία 10 χρόνια, αυτό σημαίνει ότι, πιθανότατα, οι διακυμάνσεις της απόδοσης την εξεταζόμενη περίοδο εξαρτήθηκαν σε μεγάλο βαθμό από τις διακυμάνσεις των καιρικών και κλιματικών συνθηκών. Είναι αλήθεια?

Πρώτη διαδικασία MNC. Δοκιμάζεται η υπόθεση για την ύπαρξη τάσης στην μεταβολή της απόδοσης του ηλίανθου ανάλογα με τις μεταβολές των καιρικών και κλιματικών συνθηκών κατά την αναλυόμενη 10ετία.

Σε αυτό το παράδειγμα, για " y » συνιστάται να παίρνετε την απόδοση του ηλίανθου και για « Χ » είναι ο αριθμός του παρατηρούμενου έτους στην εξεταζόμενη περίοδο. Έλεγχος της υπόθεσης για την ύπαρξη οποιασδήποτε σχέσης μεταξύ " Χ " και " y » μπορεί να γίνει με δύο τρόπους: χειροκίνητα και με τη βοήθεια προγραμμάτων υπολογιστή. Φυσικά, με τη διαθεσιμότητα της τεχνολογίας υπολογιστών, αυτό το πρόβλημα λύνεται από μόνο του. Όμως, για να κατανοήσουμε καλύτερα την εργαλειοθήκη OLS, είναι σκόπιμο να ελέγξουμε την υπόθεση σχετικά με την ύπαρξη σχέσης μεταξύ " Χ " και " y » χειροκίνητα, όταν έχετε στη διάθεσή σας μόνο ένα στυλό και μια συνηθισμένη αριθμομηχανή. Σε τέτοιες περιπτώσεις, η υπόθεση της ύπαρξης μιας τάσης ελέγχεται καλύτερα οπτικά από τη θέση της γραφικής εικόνας της αναλυόμενης χρονοσειράς - το πεδίο συσχέτισης:

Το πεδίο συσχέτισης στο παράδειγμά μας βρίσκεται γύρω από μια γραμμή που αυξάνεται αργά. Αυτό από μόνο του υποδηλώνει την ύπαρξη μιας ορισμένης τάσης στη μεταβολή της απόδοσης του ηλίανθου. Είναι αδύνατο να μιλήσουμε για την παρουσία οποιασδήποτε τάσης μόνο όταν το πεδίο συσχέτισης μοιάζει με κύκλο, κύκλο, αυστηρά κάθετο ή αυστηρά οριζόντιο σύννεφο ή αποτελείται από τυχαία διάσπαρτα σημεία. Σε όλες τις άλλες περιπτώσεις, είναι απαραίτητο να επιβεβαιωθεί η υπόθεση της ύπαρξης σχέσης μεταξύ " Χ " και " y και να συνεχίσει την έρευνα.

Δεύτερη διαδικασία MNC. Καθορίζεται ποια γραμμή (τροχιά) είναι καλύτερα σε θέση να περιγράψει ή να χαρακτηρίσει την τάση των μεταβολών της απόδοσης του ηλίανθου για την αναλυόμενη περίοδο.

Με τη διαθεσιμότητα της τεχνολογίας υπολογιστών, η επιλογή της βέλτιστης τάσης γίνεται αυτόματα. Με τη "χειροκίνητη" επεξεργασία, η επιλογή της βέλτιστης συνάρτησης πραγματοποιείται, κατά κανόνα, με οπτικό τρόπο - από τη θέση του πεδίου συσχέτισης. Δηλαδή, σύμφωνα με τον τύπο του διαγράμματος, επιλέγεται η εξίσωση της γραμμής, η οποία ταιριάζει καλύτερα στην εμπειρική τάση (στην πραγματική τροχιά).

Όπως γνωρίζετε, στη φύση υπάρχει μια τεράστια ποικιλία λειτουργικών εξαρτήσεων, επομένως είναι εξαιρετικά δύσκολο να αναλυθεί οπτικά έστω και ένα μικρό μέρος τους. Ευτυχώς, στην πραγματική οικονομική πρακτική, οι περισσότερες σχέσεις μπορούν να περιγραφούν με ακρίβεια είτε με παραβολή, είτε υπερβολή, είτε με ευθεία γραμμή. Από αυτή την άποψη, με τη "χειροκίνητη" επιλογή για την επιλογή της καλύτερης λειτουργίας, μπορείτε να περιοριστείτε μόνο σε αυτά τα τρία μοντέλα.

		Υπερβολή:

Παραβολή δεύτερης τάξης: :

Είναι εύκολο να δούμε ότι στο παράδειγμά μας, η τάση στις μεταβολές της απόδοσης του ηλίανθου κατά τα αναλυόμενα 10 χρόνια χαρακτηρίζεται καλύτερα από μια ευθεία γραμμή, επομένως η εξίσωση παλινδρόμησης θα είναι μια εξίσωση ευθείας γραμμής.

Τρίτη διαδικασία. Υπολογίζονται οι παράμετροι της εξίσωσης παλινδρόμησης που χαρακτηρίζει αυτή τη γραμμή, ή με άλλα λόγια, προσδιορίζεται ένας αναλυτικός τύπος που περιγράφει το καλύτερο μοντέλο τάσης.

Η εύρεση των τιμών των παραμέτρων της εξίσωσης παλινδρόμησης, στην περίπτωσή μας, των παραμέτρων και , είναι ο πυρήνας του LSM. Αυτή η διαδικασία περιορίζεται στην επίλυση ενός συστήματος κανονικών εξισώσεων.

(9.2)

Αυτό το σύστημα εξισώσεων λύνεται αρκετά εύκολα με τη μέθοδο Gauss. Θυμηθείτε ότι ως αποτέλεσμα της λύσης, στο παράδειγμά μας, βρίσκονται οι τιμές των παραμέτρων και. Έτσι, η εξίσωση παλινδρόμησης που βρέθηκε θα έχει την ακόλουθη μορφή: