Εκτίμηση παραμέτρων γραμμικής παλινδρόμησης. Παλινδρόμηση στο Excel: εξίσωση, παραδείγματα

Η γραμμική παλινδρόμηση καταλήγει στην εύρεση μιας εξίσωσης της μορφής:

Η πρώτη έκφραση επιτρέπει δεδομένες τιμές παραγόντων Χυπολογίστε τις θεωρητικές τιμές του προκύπτοντος χαρακτηριστικού αντικαθιστώντας τις πραγματικές τιμές των παραγόντων σε αυτό. Στο γράφημα (Εικ. 1.2), οι θεωρητικές τιμές βρίσκονται σε μια ευθεία γραμμή, η οποία αντιπροσωπεύει μια γραμμή παλινδρόμησης.

Η κατασκευή της γραμμικής παλινδρόμησης καταλήγει στην εκτίμηση των παραμέτρων της - a και b. Η κλασική προσέγγιση για την εκτίμηση των παραμέτρων γραμμικής παλινδρόμησης βασίζεται στη μέθοδο των ελαχίστων τετραγώνων (OLS).

Η μέθοδος των ελαχίστων τετραγώνων μας επιτρέπει να λάβουμε τέτοιες εκτιμήσεις παραμέτρων ΕΝΑΚαι σι,στο οποίο το άθροισμα των τετραγωνικών αποκλίσεων των πραγματικών τιμών στοαπό θεωρητικό y xελάχιστο:

Ρύζι. 1.2.

Για να βρείτε το ελάχιστο, είναι απαραίτητο να υπολογίσετε τις μερικές παραγώγους των αθροισμάτων (1.4) για καθεμία από τις παραμέτρους (a και ft) και να τις εξισώσετε με μηδέν:

Μετά τον μετασχηματισμό παίρνουμε ένα σύστημα κανονικών εξισώσεων:

Στο σύστημα Π- μέγεθος δείγματος, τα ποσά υπολογίζονται εύκολα από τα αρχικά δεδομένα. Επίλυση του συστήματος για ΕΝΑΚαι σι,παίρνουμε:

Η έκφραση (1.7) μπορεί να γραφτεί με άλλη μορφή:

όπου cov(x, y) -συνδιακύμανση χαρακτηριστικών; су* - διασπορά παράγοντα Χ.

Η παράμετρος b ονομάζεται συντελεστής παλινδρόμησης. Η τιμή του δείχνει τη μέση μεταβολή του αποτελέσματος με αύξηση του συντελεστή κατά μία μονάδα. Η δυνατότητα μιας ξεκάθαρης οικονομικής ερμηνείας του συντελεστή παλινδρόμησης έχει κάνει τη γραμμική εξίσωση παλινδρόμησης κατά ζεύγη αρκετά κοινή στην οικονομετρική έρευνα.

Τυπικά ΕΝΑ -έννοια στοστο x = 0. Αν Χδεν έχει και δεν μπορεί να έχει μηδενική τιμή, τότε αυτή η ερμηνεία του ελεύθερου όρου ΕΝΑδεν έχει νόημα. Παράμετρος ΕΝΑτις περισσότερες φορές δεν έχει οικονομικό περιεχόμενο. Οι προσπάθειες οικονομικής ερμηνείας του μπορεί να οδηγήσουν σε παραλογισμό, ειδικά όταν a 0. Μόνο το πρόσημο της παραμέτρου μπορεί να ερμηνευτεί ΕΝΑ.Αν α > 0, τότε η σχετική αλλαγή στο αποτέλεσμα συμβαίνει πιο αργά από την αλλαγή στον παράγοντα. Ας συγκρίνουμε αυτές τις σχετικές αλλαγές:

Μερικές φορές μια γραμμική εξίσωση παλινδρόμησης κατά ζεύγη γράφεται για αποκλίσεις από τη μέση τιμή:

Οπου

Στην περίπτωση αυτή, ο ελεύθερος όρος είναι ίσος με μηδέν, ο οποίος αντικατοπτρίζεται στην έκφραση (1.10). Αυτό το γεγονός προκύπτει από γεωμετρικές εκτιμήσεις: η ίδια ευθεία γραμμή (1.3) αντιστοιχεί στην εξίσωση παλινδρόμησης, αλλά κατά την εκτίμηση της παλινδρόμησης σε αποκλίσεις, η αρχή των συντεταγμένων μετακινείται στο σημείο με συντεταγμένες (Zc, y). Στην περίπτωση αυτή, στην έκφραση (1.8) και τα δύο αθροίσματα θα είναι ίσα με μηδέν, πράγμα που συνεπάγεται την ισότητα του ελεύθερου όρου με το μηδέν. Οι εκφράσεις (1.7) και (1.9) είναι επίσης απλοποιημένες.

Για παράδειγμα, ας εξετάσουμε μια ομάδα επιχειρήσεων που παράγουν έναν τύπο προϊόντος, την εξάρτηση της παλινδρόμησης του κόστους από την παραγωγή προϊόντος y = a + bx+ e (Πίνακας 1.1).

Το σύστημα των κανονικών εξισώσεων θα έχει τη μορφή

Λύνοντάς το, παίρνουμε ΕΝΑ - -5,79, σι - 36,84.

Η εξίσωση παλινδρόμησης έχει τη μορφή

Πίνακας 1.1

Εισαγωγή δεδομένων για την εκτίμηση των παραμέτρων του ζευγαρωμένου γραμμικού μοντέλου

Παραγωγή προϊόντος (x), χιλιάδες μονάδες.	Κόστος παραγωγής (y),εκατομμύρια ρούβλια

Αντικαθιστώντας τις τιμές x στην εξίσωση παλινδρόμησης, βρίσκουμε τις θεωρητικές τιμές του y (τελευταία στήλη του Πίνακα 1.1).

Μέγεθος ΕΝΑδεν έχει κανένα οικονομικό νόημα. Αν οι μεταβλητές ΧΚαι στοεκφραζόμενη ως αποκλίσεις από τα μέσα επίπεδα, τότε η γραμμή παλινδρόμησης στο γράφημα θα περάσει από την αρχή. Η εκτίμηση του συντελεστή παλινδρόμησης δεν θα αλλάξει: y" = 36,84x", όπου y" = y-y, x" = x-x.

Ως άλλο παράδειγμα, εξετάστε τη συνάρτηση κατανάλωσης της φόρμας:

όπου C είναι η κατανάλωση. στο- εισόδημα K, L -επιλογές.

Αυτή η γραμμική εξίσωση παλινδρόμησης χρησιμοποιείται συνήθως σε συνδυασμό με την εξίσωση του ισολογισμού

όπου / είναι το ποσό της επένδυσης. σολ- εξοικονόμηση.

Για απλότητα, υποθέστε ότι το εισόδημα δαπανάται για κατανάλωση και επενδύσεις. Έτσι, εξετάζουμε το σύστημα των εξισώσεων

Η παρουσία ισολογισμού ισότητας επιβάλλει περιορισμούς στην τιμή του συντελεστή παλινδρόμησης, ο οποίος δεν μπορεί να είναι μεγαλύτερος από ένα, δηλ. Κ 1.

Ας υποθέσουμε ότι η συνάρτηση κατανάλωσης είναι C = 1,9 + 0,65 ε.

Ο συντελεστής παλινδρόμησης χαρακτηρίζει την τάση για κατανάλωση. Δείχνει ότι από κάθε χίλια ρούβλια εισοδήματος, δαπανώνται κατά μέσο όρο 650 ρούβλια για κατανάλωση και 350 ρούβλια. επένδυσε. Αν υπολογίσουμε την παλινδρόμηση του μεγέθους της επένδυσης στο εισόδημα, δηλ. I = a + από,τότε η εξίσωση παλινδρόμησης θα είναι Εγώ= -1,9 + 0,35 y. Δεν χρειάζεται να προσδιοριστεί, καθώς προέρχεται από τη συνάρτηση κατανάλωσης. Οι συντελεστές παλινδρόμησης αυτών των δύο εξισώσεων σχετίζονται με την ισότητα 0,65 + 0,35 = 1. Εάν ο συντελεστής παλινδρόμησης είναι μεγαλύτερος από ένα, τότε Όχι μόνο το εισόδημα, αλλά και οι αποταμιεύσεις δαπανώνται στην κατανάλωση.

Συντελεστής παλινδρόμησης ΠΡΟΣ ΤΗΝστη συνάρτηση κατανάλωσης χρησιμοποιείται για τον υπολογισμό του πολλαπλασιαστή:

Οπου Τ» 2,86, επομένως η πρόσθετη επένδυση είναι 1 χιλιάδες ρούβλια. για μεγάλο χρονικό διάστημα θα οδηγήσει, αν και άλλα πράγματα είναι ίσα, σε πρόσθετο εισόδημα 2,86 χιλιάδων ρούβλια.

Στη γραμμική παλινδρόμηση, ο συντελεστής γραμμικής συσχέτισης λειτουργεί ως δείκτης της εγγύτητας της σύνδεσης ΣΟΛ.

Οι τιμές του είναι εντός των ορίων: - 1 r 1. Εάν 6>0, τότε 0 g b 0-1 g 0. Σύμφωνα με το παράδειγμα, ο υπολογισμός της έκφρασης (1.11) δίνει g = 0,991, που σημαίνει πολύ στενή εξάρτηση του κόστους παραγωγής από τον όγκο της παραγωγής.

Για να εκτιμηθεί η ποιότητα επιλογής μιας γραμμικής συνάρτησης, ο συντελεστής προσδιορισμού υπολογίζεται ως το τετράγωνο του συντελεστή γραμμικής συσχέτισης Ι 2.Χαρακτηρίζει το μερίδιο της διακύμανσης του προκύπτοντος χαρακτηριστικού y, που εξηγείται με παλινδρόμηση, στη συνολική διακύμανση του προκύπτοντος χαρακτηριστικού:

Τιμή 1 - ζ 2χαρακτηρίζει το μερίδιο διακύμανσης y,προκαλείται από την επίδραση άλλων παραγόντων που δεν λαμβάνονται υπόψη στο μοντέλο.

Στο παράδειγμα g 2 = 0,982. Η εξίσωση παλινδρόμησης εξηγεί το 98,2% της διακύμανσης στο y, και άλλοι παράγοντες αντιπροσωπεύουν το 1,8% - αυτή είναι η υπολειπόμενη διακύμανση.

Η γραμμική παλινδρόμηση χρησιμοποιείται ευρέως στην οικονομετρία με τη μορφή μιας ξεκάθαρης οικονομικής ερμηνείας των παραμέτρων της. Η γραμμική παλινδρόμηση καταλήγει στην εύρεση μιας εξίσωσης της μορφής

Ή . (4.6)

Μια εξίσωση της φόρμας επιτρέπει δεδομένες τιμές του παράγοντα Χέχουν θεωρητικές τιμές του προκύπτοντος χαρακτηριστικού, αντικαθιστώντας τις πραγματικές τιμές του παράγοντα σε αυτό Χ. Στο γράφημα, οι θεωρητικές τιμές αντιπροσωπεύουν τη γραμμή παλινδρόμησης (Εικ. 4.2).

Ρύζι. 4.2. Γραφική εκτίμηση παραμέτρων γραμμικής παλινδρόμησης

Η κατασκευή της γραμμικής παλινδρόμησης καταλήγει στην εκτίμηση των παραμέτρων της και. Οι εκτιμήσεις των παραμέτρων γραμμικής παλινδρόμησης μπορούν να βρεθούν με διαφορετικές μεθόδους. Μπορείτε να στραφείτε στο πεδίο συσχέτισης και, επιλέγοντας δύο σημεία στο γράφημα, να σχεδιάσετε μια ευθεία γραμμή μέσα από αυτά (βλ. Εικ. 4.2). Στη συνέχεια, χρησιμοποιώντας το γράφημα, μπορείτε να προσδιορίσετε τις τιμές των παραμέτρων. Ορίζουμε την παράμετρο ως το σημείο τομής της γραμμής παλινδρόμησης με τον άξονα και αξιολογούμε την παράμετρο με βάση την κλίση της γραμμής παλινδρόμησης ως , όπου είναι η αύξηση του αποτελέσματος y,μια αύξηση παράγοντα Χ,δηλ.

Η κλασική προσέγγιση για την εκτίμηση των παραμέτρων γραμμικής παλινδρόμησης βασίζεται σε μέθοδος ελαχίστων τετραγώνων(MNC).

Η μέθοδος των ελαχίστων τετραγώνων μας επιτρέπει να λάβουμε τέτοιες εκτιμήσεις των παραμέτρων και για τις οποίες το άθροισμα των τετραγωνικών αποκλίσεων των πραγματικών τιμών του προκύπτοντος χαρακτηριστικού (y)από το υπολογιζόμενο (θεωρητικό) ελάχιστο:

Με άλλα λόγια, από ολόκληρο το σύνολο των γραμμών, η γραμμή παλινδρόμησης στο γράφημα επιλέγεται έτσι ώστε το άθροισμα των τετραγώνων των κάθετων αποστάσεων μεταξύ των σημείων και αυτής της γραμμής να είναι ελάχιστο:

επομένως,

Για να βρείτε το ελάχιστο της συνάρτησης (4.7), είναι απαραίτητο να υπολογίσετε τις μερικές παραγώγους για κάθε μία από τις παραμέτρους ΕΝΑΚαι σικαι τα θέσουμε ίσα με το μηδέν.

Ας υποδηλώσουμε με μικρό, Επειτα:

Μετασχηματίζοντας αυτό το σύστημα, λαμβάνουμε το ακόλουθο σύστημα κανονικών εξισώσεων για την εκτίμηση των παραμέτρων και:

. (4.8)

Λύνοντας το σύστημα των κανονικών εξισώσεων (4.8) είτε με τη μέθοδο διαδοχικής εξάλειψης μεταβλητών είτε με τη μέθοδο των οριζόντων, βρίσκουμε τις αριθμητικές τιμές των απαιτούμενων παραμέτρων και . Μπορείτε να χρησιμοποιήσετε τις παρακάτω έτοιμες φόρμουλες:

. (4.9)

Ο τύπος (4.9) προκύπτει από την πρώτη εξίσωση του συστήματος (4.8), εάν όλοι οι όροι του διαιρεθούν με Π.

πού είναι η συνδιακύμανση των χαρακτηριστικών;

Διακύμανση ενός χαρακτηριστικού Χ.

Εξαιτίας του γεγονότος ότι , , λαμβάνουμε τον ακόλουθο τύπο για τον υπολογισμό της εκτίμησης παραμέτρων σι:

. (4.10)

Η παράμετρος ονομάζεται συντελεστής παλινδρόμησης. Η τιμή του δείχνει τη μέση μεταβολή του αποτελέσματος με μεταβολή του συντελεστή κατά μία μονάδα. Έτσι, εάν στη συνάρτηση κόστους (y -κόστος (χιλιάδες ρούβλια), Χ- αριθμός μονάδων παραγωγής). Επομένως, με αύξηση του όγκου παραγωγής (Χ)για 1 μονάδα Το κόστος παραγωγής αυξάνεται κατά μέσο όρο κατά 2 χιλιάδες ρούβλια, δηλαδή μια πρόσθετη αύξηση της παραγωγής κατά 1 μονάδα. θα απαιτήσει αύξηση του κόστους κατά μέσο όρο 2 χιλιάδες ρούβλια.

Η δυνατότητα μιας ξεκάθαρης οικονομικής ερμηνείας του συντελεστή παλινδρόμησης έχει κάνει την εξίσωση γραμμικής παλινδρόμησης αρκετά κοινή στην οικονομετρική έρευνα.

Τυπικά - νόημα στοστο Χ= 0. Εάν το χαρακτηριστικό-παράγοντας δεν έχει και δεν μπορεί να έχει μηδενική τιμή, τότε η παραπάνω ερμηνεία του ελεύθερου όρου δεν έχει νόημα. Η παράμετρος μπορεί να μην έχει οικονομικό περιεχόμενο. Προσπάθειες οικονομικής ερμηνείας της παραμέτρου ΕΝΑμπορεί να οδηγήσει σε παραλογισμό, ειδικά όταν < 0.

100 RURμπόνους για πρώτη παραγγελία

Επιλέξτε τον τύπο εργασίας Εργασία διπλώματος Εργασία μαθήματος Περίληψη Μεταπτυχιακή διατριβή Πρακτική έκθεση Άρθρο Έκθεση Ανασκόπηση Δοκιμαστική εργασία Μονογραφία Επίλυση προβλημάτων Επιχειρηματικό σχέδιο Απαντήσεις σε ερωτήσεις Δημιουργική εργασία Δοκίμιο Σχέδιο Δοκίμια Μετάφραση Παρουσιάσεις Δακτυλογράφηση Άλλο Αύξηση της μοναδικότητας του κειμένου Μεταπτυχιακή διατριβή Εργαστηριακή εργασία Ηλεκτρονική βοήθεια

Μάθετε την τιμή

Κατά την εκτίμηση των παραμέτρων της εξίσωσης παλινδρόμησης, χρησιμοποιείται η μέθοδος των ελαχίστων τετραγώνων (OLS). Σε αυτή την περίπτωση, τίθενται ορισμένες προϋποθέσεις σχετικά με το τυχαίο στοιχείο e. Στο μοντέλο, η τυχαία συνιστώσα e είναι μια μη παρατηρήσιμη ποσότητα. Αφού εκτιμηθούν οι παράμετροι του μοντέλου, υπολογίζονται οι διαφορές μεταξύ των πραγματικών και των θεωρητικών τιμών του προκύπτοντος χαρακτηριστικού y , είναι δυνατό να καθοριστούν εκτιμήσεις της τυχαίας συνιστώσας. Εφόσον δεν είναι πραγματικά τυχαία υπολείμματα, μπορούν να θεωρηθούν κάποια δειγματοληπτική υλοποίηση του άγνωστου υπολοίπου μιας δεδομένης εξίσωσης, δηλ. ei.

Όταν αλλάζετε τις προδιαγραφές του μοντέλου ή προσθέτετε νέες παρατηρήσεις σε αυτό, οι εκτιμήσεις δειγμάτων των υπολειμμάτων ei ενδέχεται να αλλάξουν. Επομένως, το έργο της ανάλυσης παλινδρόμησης περιλαμβάνει όχι μόνο την κατασκευή του ίδιου του μοντέλου, αλλά και τη μελέτη των τυχαίων αποκλίσεων, δηλαδή, των υπολειμματικών τιμών.

Κατά τη χρήση των δοκιμών Fisher και Student, γίνονται υποθέσεις σχετικά με τη συμπεριφορά των υπολειμμάτων ei - τα υπόλοιπα είναι ανεξάρτητες τυχαίες μεταβλητές και η μέση τιμή τους είναι 0. έχουν την ίδια (σταθερή) διακύμανση και ακολουθούν κανονική κατανομή.

Οι στατιστικές δοκιμές των παραμέτρων παλινδρόμησης και των δεικτών συσχέτισης βασίζονται σε μη ελεγχόμενες υποθέσεις της κατανομής της τυχαίας συνιστώσας ei. Είναι μόνο προκαταρκτικά. Μετά την κατασκευή της εξίσωσης παλινδρόμησης, η παρουσία του

εκτιμήσεις ei (τυχαία υπολείμματα) εκείνων των ακινήτων που θεωρήθηκαν. Αυτό οφείλεται στο γεγονός ότι οι εκτιμήσεις των παραμέτρων παλινδρόμησης πρέπει να πληρούν ορισμένα κριτήρια. Πρέπει να είναι αμερόληπτοι, πλούσιοι και αποτελεσματικοί. Αυτές οι ιδιότητες των εκτιμήσεων που λαμβάνονται από το OLS έχουν εξαιρετικά σημαντική πρακτική σημασία στη χρήση των αποτελεσμάτων παλινδρόμησης και συσχέτισης.

Αεκτοπισμένος εκτιμήσεις σημαίνει ότι η μαθηματική προσδοκία των υπολειμμάτων είναι μηδέν. Εάν οι εκτιμήσεις είναι αμερόληπτες, τότε μπορούν να συγκριθούν μεταξύ διαφορετικών μελετών.

Οι βαθμοί μετράνε αποτελεσματικός, εάν χαρακτηρίζονται από τη μικρότερη διασπορά. Στην πρακτική έρευνα, αυτό σημαίνει τη δυνατότητα μετακίνησης από εκτίμηση σημείου σε διάστημα.

Πλούτος Οι εκτιμήσεις χαρακτηρίζονται από αύξηση της ακρίβειάς τους με την αύξηση του μεγέθους του δείγματος. Μεγάλο πρακτικό ενδιαφέρον παρουσιάζουν εκείνα τα αποτελέσματα παλινδρόμησης για τα οποία το διάστημα εμπιστοσύνης της αναμενόμενης τιμής της παραμέτρου παλινδρόμησης bi έχει όριο πιθανότητας ίσο με ένα. Με άλλα λόγια, η πιθανότητα να ληφθεί μια εκτίμηση σε μια δεδομένη απόσταση από την πραγματική τιμή της παραμέτρου είναι κοντά στο ένα.

Τα καθορισμένα κριτήρια αξιολόγησης (αμερόληπτη, συνέπεια και αποτελεσματικότητα) λαμβάνονται απαραίτητα υπόψη σε διαφορετικές μεθόδους αξιολόγησης. Η μέθοδος των ελαχίστων τετραγώνων κατασκευάζει εκτιμήσεις παλινδρόμησης με βάση την ελαχιστοποίηση του αθροίσματος των τετραγώνων των υπολειμμάτων. Επομένως, είναι πολύ σημαντικό να εξεταστεί η συμπεριφορά των υπολειμμάτων παλινδρόμησης ei. Οι προϋποθέσεις που είναι απαραίτητες για την απόκτηση αμερόληπτων, συνεπών και αποτελεσματικών εκτιμήσεων είναι οι προϋποθέσεις OLS που είναι επιθυμητές για την απόκτηση αξιόπιστων αποτελεσμάτων παλινδρόμησης.

Οι μελέτες των υπολειμμάτων ei περιλαμβάνουν τον έλεγχο της παρουσίας των παρακάτω πέντε εγκαταστάσεις των ΜΝΕ:

1. τυχαία φύση των υπολειμμάτων.

2. μηδενική μέση τιμή υπολειμμάτων, ανεξάρτητη του xi.

3. ομοσκεδαστικότητα – η διακύμανση κάθε απόκλισης ei είναι η ίδια για όλες τις τιμές του x ;

4. απουσία αυτοσυσχέτισης υπολειμμάτων - οι τιμές των υπολειμμάτων ei κατανέμονται ανεξάρτητα η μία από την άλλη.

5. τα υπολείμματα ακολουθούν κανονική κατανομή.

Εάν η κατανομή των τυχαίων υπολειμμάτων ei δεν αντιστοιχεί σε ορισμένες υποθέσεις OLS, τότε το μοντέλο θα πρέπει να προσαρμοστεί.

Πρώτα απ 'όλα, ελέγχεται η τυχαία φύση των υπολειμμάτων ei - η πρώτη προϋπόθεση του OLS. Για το σκοπό αυτό, σχεδιάζεται ένα γράφημα της εξάρτησης των υπολειμμάτων ei από τις θεωρητικές τιμές του προκύπτοντος χαρακτηριστικού.

Εάν ληφθεί μια οριζόντια ράβδος στο γράφημα, τότε τα υπολείμματα ei είναι τυχαίες μεταβλητές και η μέθοδος των ελαχίστων τετραγώνων είναι δικαιολογημένη κατά προσέγγιση με τις πραγματικές τιμές του y.

Οι ακόλουθες περιπτώσεις είναι δυνατές εάν το ei εξαρτάται από Οτι:

1) τα υπόλοιπα ei δεν είναι τυχαία

2) τα υπολείμματα ei δεν έχουν σταθερή διακύμανση

3) τα υπόλοιπα ei είναι συστηματικά.

Σε αυτές τις περιπτώσεις, είναι απαραίτητο είτε να εφαρμόσετε μια διαφορετική συνάρτηση είτε να εισαγάγετε πρόσθετες πληροφορίες και να δημιουργήσετε ξανά την εξίσωση παλινδρόμησης έως ότου τα υπολείμματα ei είναι τυχαίες μεταβλητές.

Η δεύτερη υπόθεση OLS σχετικά με τα μηδενικά μέσα υπολείμματα σημαίνει ότι . Αυτό είναι εφικτό για γραμμικά μοντέλα και μοντέλα που είναι μη γραμμικά σε σχέση με τις συμπεριλαμβανόμενες μεταβλητές.

Ταυτόχρονα, η αμερόληπτη εκτίμηση των συντελεστών παλινδρόμησης που λαμβάνονται από το OLS εξαρτάται από την ανεξαρτησία των τυχαίων υπολειμμάτων και των τιμών x, η οποία επίσης μελετάται στο πλαίσιο της συμμόρφωσης με τη δεύτερη προϋπόθεση του OLS. Για το σκοπό αυτό, μαζί με το παρουσιαζόμενο γράφημα της εξάρτησης των υπολειμμάτων ei από τις θεωρητικές τιμές του προκύπτοντος χαρακτηριστικού, κατασκευάζεται ένα γράφημα της εξάρτησης των τυχαίων υπολειμμάτων ei από τους παράγοντες που περιλαμβάνονται στην παλινδρόμηση xj.

Εάν τα υπολείμματα στο γράφημα βρίσκονται με τη μορφή οριζόντιας λωρίδας, τότε είναι ανεξάρτητα από τις τιμές του xj. Εάν το γράφημα δείχνει την παρουσία μιας σχέσης μεταξύ ei και xj, τότε το μοντέλο είναι ανεπαρκές. Οι λόγοι για την ανεπάρκεια μπορεί να είναι διαφορετικοί. Είναι πιθανό να παραβιάζεται η τρίτη προϋπόθεση του OLS και η διασπορά των υπολειμμάτων να μην είναι σταθερή για κάθε τιμή του συντελεστή xj. Οι προδιαγραφές του μοντέλου μπορεί να είναι λανθασμένες και πρέπει να εισαχθούν

πρόσθετοι όροι από το xj, για παράδειγμα . Η συσσώρευση σημείων σε ορισμένες περιοχές των τιμών του παράγοντα xj υποδηλώνει την παρουσία συστηματικού σφάλματος στο μοντέλο.

Η υπόθεση της κανονικής κατανομής των υπολειμμάτων επιτρέπει τον έλεγχο των παραμέτρων παλινδρόμησης και συσχέτισης χρησιμοποιώντας δοκιμές F- και t. Ταυτόχρονα, οι εκτιμήσεις παλινδρόμησης που βρέθηκαν με χρήση OLS έχουν καλές ιδιότητες ακόμη και απουσία κανονικής κατανομής υπολειμμάτων, δηλ. αν παραβιαστεί η πέμπτη προϋπόθεση του ΜΝΚ.

Είναι απολύτως απαραίτητο να ληφθούν συνεπείς εκτιμήσεις των παραμέτρων παλινδρόμησης χρησιμοποιώντας μεθόδους OLS, τηρώντας την τρίτη και την τέταρτη προϋπόθεση.

Η τρίτη υπόθεση του OLS απαιτεί η διακύμανση των υπολειμμάτων να είναι ομοσκεδαστικός. Αυτό σημαίνει ότι για κάθε τιμή του παράγοντα xj τα υπολείμματα ei έχουν την ίδια διακύμανση. Εάν αυτή η προϋπόθεση για την εφαρμογή της μεθόδου των ελαχίστων τετραγώνων δεν πληρούται, τότε ετεροσκεδαστικότητα. Η παρουσία της ετεροσκεδαστικότητας μπορεί να φανεί καθαρά από το πεδίο συσχέτισης:

1. Η διακύμανση των υπολειμμάτων αυξάνεται όσο αυξάνεται το x.

Τότε έχουμε τον ακόλουθο τύπο ετεροσκεδαστικότητας: μεγάλη διακύμανση του ei για μεγάλες τιμές

2. Η διακύμανση των υπολειμμάτων φτάνει τη μέγιστη τιμή της στις μέσες τιμές x και μειώνεται στις ελάχιστες και μέγιστες τιμές.

Τότε έχουμε τον ακόλουθο τύπο ετεροσκεδαστικότητας: μεγάλη διασπορά ei για μέσες τιμές και μικρή διασπορά ei για μικρές και μεγάλες τιμές

3. Η διακύμανση των υπολειμμάτων είναι μέγιστη σε μικρές τιμές x και η διακύμανση των υπολειμμάτων είναι ομοιόμορφη όσο αυξάνεται το x.

Τότε έχουμε τον ακόλουθο τύπο ετεροσκεδαστικότητας: μεγάλη διασπορά ei για μικρές τιμές, φθίνουσα διασπορά υπολειμμάτων ei ως

Κατά την κατασκευή μοντέλων παλινδρόμησης, είναι εξαιρετικά σημαντικό να συμμορφώνεστε με την τέταρτη προϋπόθεση του OLS - την απουσία αυτοσυσχέτισης των υπολειμμάτων, δηλαδή, οι τιμές των υπολειμμάτων ei κατανέμονται ανεξάρτητα η μία από την άλλη.

Αυτοσυσχέτιση υπολειμμάτων σημαίνει την παρουσία συσχέτισης μεταξύ των υπολειμμάτων των τρεχουσών και των προηγούμενων (μεταγενέστερων) παρατηρήσεων. Ο συντελεστής συσχέτισης μεταξύ ei και ej, όπου ei είναι τα υπολείμματα των τρεχουσών παρατηρήσεων, ej είναι τα υπολείμματα προηγούμενων παρατηρήσεων (για παράδειγμα, j=i-1), μπορεί να οριστεί ως:

δηλ. σύμφωνα με τον συνήθη τύπο για τον συντελεστή γραμμικής συσχέτισης. Εάν αυτός ο συντελεστής αποδειχθεί ότι είναι σημαντικά διαφορετικός από το μηδέν, τότε τα υπολείμματα συσχετίζονται αυτόματα και η συνάρτηση πυκνότητας πιθανότητας F(e) εξαρτάται από το j -ο σημείο παρατήρησης και από την κατανομή των υπολειμματικών τιμών σε άλλα σημεία παρατήρησης.

Η απουσία αυτοσυσχέτισης των υπολειμματικών τιμών διασφαλίζει τη συνέπεια και την αποτελεσματικότητα των εκτιμήσεων των συντελεστών παλινδρόμησης. Είναι ιδιαίτερα σημαντικό να συμμορφώνεστε με αυτή την προϋπόθεση του OLS κατά την κατασκευή μοντέλων παλινδρόμησης που βασίζονται σε χρονοσειρές, όπου, λόγω της παρουσίας μιας τάσης, τα επόμενα επίπεδα των χρονοσειρών, κατά κανόνα, εξαρτώνται από τα προηγούμενα επίπεδά τους.

Εάν δεν πληρούνται οι βασικές παραδοχές του OLS, είναι απαραίτητο να προσαρμόσετε το μοντέλο, αλλάζοντας τις προδιαγραφές του, προσθέτοντας (εξαιρουμένων) ορισμένων παραγόντων, μετασχηματίζοντας τα αρχικά δεδομένα ώστε να ληφθούν εκτιμήσεις των συντελεστών παλινδρόμησης που έχουν την ιδιότητα να είναι αμερόληπτοι, χαμηλότερη τιμή της διασποράς των υπολειμμάτων και επομένως παρέχουν πιο αποτελεσματικό στατιστικό έλεγχο της σημασίας των παραμέτρων παλινδρόμησης.

Για την εκτίμηση των παραμέτρων μιας εξίσωσης παλινδρόμησης, χρησιμοποιείται συχνότερα η μέθοδος των ελαχίστων τετραγώνων. (MNC).

Μέθοδος ελάχιστου τετραγώνου παράγει εκτιμήσεις που έχουν τη μικρότερη απόκλιση στην κατηγορία όλων των γραμμικών εκτιμήσεων, εάν πληρούνται οι υποθέσεις ενός κανονικού μοντέλου γραμμικής παλινδρόμησης.

Το LSM ελαχιστοποιεί το άθροισμα των τετραγωνικών αποκλίσεων των παρατηρούμενων τιμών από τις τιμές του μοντέλου .

Σύμφωνα με την αρχή των ελαχίστων τετραγώνων, οι εκτιμήσεις βρίσκονται ελαχιστοποιώντας το άθροισμα των τετραγώνων

για όλες τις πιθανές τιμές Και σε δεδομένες (παρατηρούμενες) τιμές
.

Ως αποτέλεσμα της εφαρμογής της μεθόδου των ελαχίστων τετραγώνων, λαμβάνουμε τύπους για τον υπολογισμό των παραμέτρων του μοντέλου ζευγαρωμένης παλινδρόμησης.

(3)

Μια τέτοια λύση μπορεί να υπάρξει μόνο εάν πληρούται η προϋπόθεση

που ισοδυναμεί με τη διαφορά από το μηδέν της ορίζουσας του συστήματος των κανονικών εξισώσεων. Πράγματι, αυτή η ορίζουσα είναι ίση με

Η τελευταία συνθήκη ονομάζεται προϋπόθεση ταυτοποίησηςμοντέλο παρατήρησης και σημαίνει ότι όχι όλες οι τιμές
συμπίπτουν μεταξύ τους. Εάν παραβιαστεί αυτή η προϋπόθεση Ολασημεία
, ξαπλώστε στην ίδια κάθετη γραμμή

Οι εκτιμήσεις καλούνται εκτιμήσεις ελαχίστων τετραγώνων . Ας δώσουμε προσοχή στην έκφραση που προκύπτει για την παράμετρο. Αυτή η έκφραση περιλαμβάνει τα αθροίσματα των τετραγώνων που συμμετείχαν προηγουμένως στον προσδιορισμό της διακύμανσης του δείγματος

και συνδιακύμανση δείγματος
άρα, με αυτούς τους όρους η παράμετρος μπορεί να ληφθεί ως εξής:

=
=
=

=

Εκτίμηση της ποιότητας της εξίσωσης παλινδρόμησης

Η ποιότητα ενός μοντέλου παλινδρόμησης συνδέεται με την επάρκεια του μοντέλου στα παρατηρούμενα (εμπειρικά) δεδομένα. Η επάρκεια (ή η αντιστοιχία) του μοντέλου παλινδρόμησης με τα παρατηρούμενα δεδομένα ελέγχεται με βάση την ανάλυση των υπολειμμάτων.

Μετά την κατασκευή της εξίσωσης παλινδρόμησης, μπορούμε να χωρίσουμε την τιμή Y σε κάθε παρατήρηση σε δύο συνιστώσες - Και .

Υπόλοιπο αντιπροσωπεύει την απόκλιση της πραγματικής τιμής της εξαρτημένης μεταβλητής από την τιμή αυτής της μεταβλητής, που προκύπτει από τον υπολογισμό:
(
).

Στην πράξη, κατά κανόνα, υπάρχει κάποια διασπορά των σημείων του πεδίου συσχέτισης σε σχέση με τη θεωρητική γραμμή παλινδρόμησης, δηλ. αποκλίσεις των εμπειρικών δεδομένων από τα θεωρητικά (
). Το μέγεθος αυτών των αποκλίσεων είναι η βάση για τον υπολογισμό των δεικτών ποιότητας (επάρκειας) της εξίσωσης.

Κατά την ανάλυση της ποιότητας ενός μοντέλου παλινδρόμησης, χρησιμοποιείται η βασική θέση ανάλυσης διακύμανσης, σύμφωνα με την οποία το συνολικό άθροισμα των τετραγώνων αποκλίσεων της εξαρτημένης μεταβλητής από τη μέση τιμή μπορεί να αποσυντεθεί σε δύο συστατικά - εξηγείται και δεν εξηγείται από την εξίσωση παλινδρόμησης διασποράς:

(4)

Οπου - αξίες y, υπολογίζεται από το μοντέλο
.

Χωρίζοντας το δεξί και το αριστερό μέρος (4) σε

,

.

Συντελεστής προσδιορισμού ορίζεται ως εξής:

Συντελεστής προσδιορισμού δείχνει την αναλογία διακύμανσης στο προκύπτον χαρακτηριστικό που επηρεάζεται από τους παράγοντες που μελετώνται, δηλ. καθορίζει το ποσοστό της διακύμανσης στο χαρακτηριστικό Y που λαμβάνεται υπόψη στο μοντέλο και οφείλεται στην επίδραση παραγόντων σε αυτό.

Όσο πιο κοντά
έως 1, τόσο υψηλότερη είναι η ποιότητα του μοντέλου.

Για την αξιολόγηση της ποιότητας των μοντέλων παλινδρόμησης, συνιστάται επίσης η χρήση πολλαπλός συντελεστής συσχέτισης (δείκτης συσχέτισης) R

Αυτός ο συντελεστής είναι καθολικός, καθώς αντικατοπτρίζει την εγγύτητα της σύνδεσης και την ακρίβεια του μοντέλου και μπορεί επίσης να χρησιμοποιηθεί για οποιαδήποτε μορφή σύνδεσης μεταξύ μεταβλητών.

Κατά την κατασκευή ενός μοντέλου ενός παράγοντα, είναι ίσο με τον συντελεστή γραμμικής συσχέτισης
.

Προφανώς, όσο μικρότερη είναι η επίδραση των μη λογιστικών παραγόντων, τόσο καλύτερα το μοντέλο ταιριάζει με τα πραγματικά δεδομένα.

Επίσης, για την αξιολόγηση της ποιότητας των μοντέλων παλινδρόμησης, είναι σκόπιμο να χρησιμοποιηθεί το μέσο σφάλμα προσέγγισης:

Όσο μικρότερη είναι η διασπορά των εμπειρικών σημείων γύρω από τη θεωρητική γραμμή παλινδρόμησης, τόσο μικρότερο είναι το μέσο σφάλμα προσέγγισης. Ένα σφάλμα προσέγγισης μικρότερο από 7% υποδηλώνει καλή ποιότητα του μοντέλου.

Αφού κατασκευαστεί η εξίσωση παλινδρόμησης, ελέγχεται η σημασία της κατασκευασμένης εξίσωσης στο σύνολό της και των επιμέρους παραμέτρων.

Η αξιολόγηση της σημασίας μιας εξίσωσης παλινδρόμησης σημαίνει να προσδιορίσετε εάν το μαθηματικό μοντέλο που εκφράζει τη σχέση μεταξύ Y και X αντιστοιχεί στα πραγματικά δεδομένα και εάν οι επεξηγηματικές μεταβλητές X που περιλαμβάνονται στην εξίσωση επαρκούν για να περιγράψουν την εξαρτημένη μεταβλητή Y

Η αξιολόγηση της σημασίας μιας εξίσωσης παλινδρόμησης γίνεται για να διαπιστωθεί εάν η εξίσωση παλινδρόμησης είναι κατάλληλη για πρακτική χρήση (για παράδειγμα, για πρόβλεψη) ή όχι. Στην περίπτωση αυτή, διατυπώνεται η κύρια υπόθεση σχετικά με την ασημαντότητα της εξίσωσης στο σύνολό της, η οποία τυπικά ανάγεται στην υπόθεση ότι οι παράμετροι παλινδρόμησης είναι ίσες με μηδέν ή, το ίδιο, ότι ο συντελεστής προσδιορισμού είναι ίσος με μηδέν:
. Μια εναλλακτική υπόθεση για τη σημασία της εξίσωσης είναι η υπόθεση για την ανισότητα των παραμέτρων παλινδρόμησης στο μηδέν.

Για δοκιμή σημασίας μοντέλου χρησιμοποιείται παλινδρόμηση Τεστ F Fisher , που υπολογίζεται ως ο λόγος της διακύμανσης της αρχικής σειράς και της αμερόληπτης διακύμανσης της υπολειπόμενης συνιστώσας. Εάν η υπολογιζόμενη τιμή με  1 = k και  2 = (n - k - 1) βαθμούς ελευθερίας, όπου k είναι ο αριθμός των παραγόντων που περιλαμβάνονται στο μοντέλο, είναι μεγαλύτερη από την τιμή του πίνακα σε ένα δεδομένο επίπεδο σημασίας, τότε η μοντέλο θεωρείται σημαντικό.

Για ένα μοντέλο ζευγαρωμένης παλινδρόμησης:

Οπως και μέτρα ακρίβειας χρησιμοποιείται μια αμερόληπτη εκτίμηση της διασποράς της υπολειπόμενης συνιστώσας, η οποία είναι ο λόγος του αθροίσματος των τετραγώνων των επιπέδων της υπολειπόμενης συνιστώσας προς την τιμή (n-k-1), όπου k είναι ο αριθμός των παραγόντων που περιλαμβάνονται στο μοντέλο. Η τετραγωνική ρίζα αυτής της ποσότητας ( ) λέγεται τυπικό σφάλμα :

ρε Για μοντέλο ζευγαρωμένης παλινδρόμησης