Πολυωνυμική προσέγγιση ελαχίστων τετραγώνων

Θεωρία

Εάν είναι γνωστό ότι η μετρούμενη ποσότητα y (εξαρτημένη μεταβλητή) είναι γραμμική συνάρτηση του x (ανεξάρτητη μεταβλητή), είναι δηλαδή

οι πιο πιθανές τιμές του a₀ (τομή στην αρχή των αξόνων) και του a1 (κλίσης) μπορούν να εκτιμηθούν από μια ομάδα n ζευγών πειραματικών δεδομένων (x₁, y₁), (x₂, y₂)..., (x_n, y_n), στα οποία οι τιμές y είναι "μολυσμένες" με τυχαίο σφάλμα κανονικής κατανομής και με μηδενική μέση τιμή (π.χ. θερμικός θόρυβος, πειραματική αβεβαιότητα). Ο υπολογισμός αυτός είναι γνωστός ως "γραμμική παλινδρόμηση ελαχίστων τετραγώνων" (least-squares linear regression).

Η γραμμική παλινδρόμηση ελαχίστων τετραγώνων αποτελεί μερική περίπτωση της πολυωνυμικής παλινδρόμησης ελαχίστων τετραγώνων (least-squares polynomial regression analysis). Με τη μέθοδο αυτή μπορούμε εύκολα να προσαρμόσουμε όποιοδήποτε πολυώνυμο m βαθμού

στα πειραματικά δεδομένα (x₁, y₁), (x₂, y₂)..., (x_n, y_n), (θα πρέπει να είναι n ≥ m+1 ) έτσι, ώστε να ελαχιστοποιηθεί το "άθροισμα των τετραγώνων των υπολοίπων" (sum of squared residuals) S:

Λαμβάνοντας τις μερικές παραγώγους του S ως προς τα a₀, a₁, .., a_m και εξισώνοντας αυτές με το μηδέν, προκύπτει το ακόλουθο σύστημα m-εξισώσεων και m-αγνώστων (a₀, a₁, ..., a_m):

όπου:

(προφανώς είναι: s₀ = n)

Το σύστημα αυτό είναι γνωστό ως σύστημα κανονικών εξισώσεων (system of normal equations). Οι ζητούμενοι συντελεστές: a₀, a₁, ..., a_m αποτελούν τη μοναδική λύση αυτού του συστήματος. Για m=1 προκύπτουν οι γνωστές εξισώσεις που χρησιμοποιούνται στη γραμμική προσαρμογή ελάχιστων τετραγώνων:

Ανάλογες (αν και πολύ πιο σύνθετες) εξισώσεις λαμβάνονται και για τους συντελεστές πολυωνύμων υψηλότερου βαθμού. Η χρήση των εξισώσεων αυτών (για m>1) δεν είναι πρακτική και οι εξισώσεις αυτές δεν χρησιμοποιούνται σχεδόν ποτέ. Απλούστερη είναι η κατάστρωση του συστήματος των κανονικών εξισώσεων και η λύση του. Η λύση του συστήματος, δηλ. ο υπολογισμός του διανύσματος των συντελεστών a₀, a₁, ..., a_n,  γίνεται συνήθως με τη βοήθεια υπολογιστή.

Η ποιότητα της προσαρμογής εκτιμάται από τον "συντελεστή προσδιορισμού", r² (coefficient of determination) που παρέχεται από την εξίσωση:

όπου   είναι η υπολογιζόμενη (μέσω του πολυωνύμου) τιμή του y η οποία αντιστοιχεί στην τιμή x_i και  είναι η μέση τιμή των πειραματικών τιμών y. Είναι πάντοτε 0≤r²≤1. Αν είναι επακριβώς r² =1 τότε υπάρχει τέλεια προσαρμογή και η καμπύλη διέρχεται από όλα τα πειραματικά σημεία. Όσο μικρότερος είναι ο r² από το 1, τόσο η διασπορά των σημείων γύρω από την άριστη καμπύλη προσαρμογής αυξάνει. 'Αλλο μέτρο της ποιότητας προσαρμογής είναι το ίδιο το άθροισμα των τετραγώνων των υπολοίπων S, το οποίο προφανώς μηδενίζεται όταν υπάρχει απόλυτη προσαρμογή.

Applet

Με αυτό το applet επιδεικνύεται η γενική πολυωνυμική παλινδρόμηση ελάχιστων τετραγώνων (με βαθμό πολυωνύμου m≤12). Ο χρήστης πρέπει να εισάγει κάνοντας "αριστερό κλικ" με το ποντίκι n σημεία (n≤200) στην περιοχή του διαγράμματος για να δημιουργήσει το σκορποδιάγραμμα εργασίας. Κατά την εισαγωγή σημείων εμφανίζεται μια γραμμή που αποτελεί το αποτέλεσμα γραμμικής προσαρμογής. Μετά την εισαγωγή αρκετών σημείων μπορεί ο χρήστης να αυξήσει (ή να μειώσει) τον βαθμό m του πολυωνύμου κάνοντας κλικ στα αντίστοιχα πλήκτρα (incr, decr). Nα θυμόμαστε ότι θα πρέπει πάντοτε να είναι: n≥m+1

Ένα πολυώνυμο m-βαθμού προσαρμόζεται επακριβώς σε m+1 πειραματικά σημεία, π.χ. 2 σημεία ορίζουν πάντοτε μια ευθεία, 3 σημεία ορίζουν πάντοτε μια παραβολή κ.ο.κ. Εάν n>m+1, η παραγόμενη καμπύλη αποτελεί τη γραφική παράσταση του πολυωνύμου m βαθμού που περιγράφει "καλύτερα" τα n πειραματικά σημεία και περνά ανάμεσά τους. Στην περίπτωση αυτή έχουμε μία "προσεγγιστική καμπύλη" (approximating curve).

Σημειώνεται ότι αύξηση του βαθμού του πολυωνύμου, γενικά, οδηγεί σε καλύτερη προσαρμογή. Ωστόσο, στις περιπτώσεις που τα σημεία περιγράφουν κάποιο φυσικό φαινόμενο, σπάνια χρησιμοποιείται πολυωνυμική παλινδρόμηση με βαθμό μεγαλύτερο από 1 ή 2. Αξίζει επίσης να σημειωθεί ότι σε πολυώνυμα μεγάλου βαθμού, μερικά επιπλέον πειραματικά σημεία μπορούν να αλλάξουν δραματικά πολλούς από τους συντελεστές του πολυωνύμου, όπως επίσης και το σχήμα της προσεγγιστικής καμπύλης.