1.aaii Newton Enothta Handout Ver 5

Υποενότητα Α
Υποενότητα Β
Αριθμητική Ανάλυση ΙΙ
Μιχαήλ Ν. Βραχάτης
Εργαστήριο Υπολογιστικής Νοημοσύνης

Τμήμα Μαθηματικών
Ινστιτούτο Τεχνητής Νοημοσύνης
Πανεπιστημιακό Ερευνητικό Κέντρο
Πανεπιστήμιο Πατρών
Ενότητα: Η μέθοδος του Newton
c Μιχαήλ Ν. Βραχάτης
Αριθμητική Ανάλυση ΙΙ – Ενότητα: Η μέθοδος του Newton 2021 1 / 88
Ανακοίνωση της Πλατφόρμας Τηλεκπαίδευσης eclass.upatras.gr του Πανεπιστημίου Πατρών
Ανακοίνωση της Πλατφόρμας Τηλεκπαίδευσης eclass.upatras.gr του Πανεπιστη-

μίου Πατρών
Το σύνολο του περιεχομένου μαθημάτων της πλατφόρμας eclass.upatras.gr του Πανεπιστη-
μίου Πατρών, καθώς και το υλικό των διαλέξεων που μεταδίδονται μέσω του διαδικτύου
στο πλαίσιο της εξ αποστάσεως διδασκαλίας, συμπεριλαμβανομένων, ενδεικτικά, αλλά όχι
περιοριστικά, κειμένων, διαφανειών, γραφικών, φωτογραφιών, σχεδιαγραμμάτων, απει-
κονίσεων, βίντεο και γενικά κάθε είδους ψηφιακού περιεχομένου, αποτελεί αντικείμενο
πνευματικής ιδιοκτησίας (copyright) και διέπεται από τις εθνικές και διεθνείς διατάξεις
περί πνευματικής ιδιοκτησίας, με εξαίρεση τα ρητώς αναγνωρισμένα και αναφερόμενα
πνευματικά δικαιώματα τρίτων, συνεργατών και φορέων.
Συνεπώς, απαγορεύεται ρητά η αναπαραγωγή, αναδημοσίευση, πώληση, μετάδοση,

έκδοση, εκτέλεση, αντιγραφή και εμφάνιση σε κοινωνικά δίκτυα, μέρους ή όλου του
περιεχομένου αυτού χωρίς τη ρητή προηγούμενη έγγραφη συναίνεση του Διδάσκοντα.
Η μέθοδος του Newton
Isaac Newton
(4 Ιανουαρίου 1643 – 31 Μαρτίου 1727)
Υποενότητα Α Εισαγωγή
Υποενότητα Β Η μέθοδος του Newton για συναρτήσεις μίας μεταβλητής
Η ονομασία της μεθόδου του Newton

Η ονομασία «μέθοδος του Newton» προέρχεται από την περιγραφή του Isaac
Newton (Ισαάκ Νεύτωνα) για μια ειδική περίπτωση της μεθόδου που δόθηκε στην
εργασία:
“De analysi per aequationes numero terminorum infinitas”, η οποία γρά-
φτηκε το 1669 και δημοσιεύθηκε το 1711 από τον William Jones καθώς και στη
εργασία:
“De metodis fluxionum et serierum infinitarum”,
η οποία γράφτηκε το 1671 και μεταφράστηκε και δημοσιεύτηκε ως:
“Method of fluxions”,
το 1736 από τον John Colson.
Sir Isaac Newton (Ιανουάριος 4, 1643 – Μάρτιος 31, 1727)
Η μέθοδος του Newton

Υπολογίζει μια λύση της εξίσωσης
Fn (x) = Θn = (0, 0, . . . , 0)> όπου:
Fn = (f1 , f2 , . . . , fn ) : Dn ⊂ Rn → Rn .
Επέλεξε κάποιο αρχικό σημείο x0 .

Οι επαναλήψεις για k = 0, 1, . . . δίνονται ως εξής:
Λύσε το σύστημα των γραμμικών εξισώσεων:
JFn (xk ) sk = −Fn (xk ) , ως προς sk .
Θέσε xk+1 = xk + sk ,
όπου JFn (xk ) είναι το n × n Ιακωβιανό μητρώο (Jacobian matrix).
Brook Taylor (Αύγουστος 18, 1685 – Δεκέμβριος 29, 1731)
Σημαντικός ιστορικός σταθμός για τη μέθοδο του Newton

Το 1712, ο Taylor έδωσε ένα σημαντικό θεώρημα το οποίο
δημοσιεύτηκε το 1715.
Το θεώρημα του Taylor για συναρτήσεις μίας ή πολλών με-
ταβλητών με απλά λόγια μας λέει ότι: «όταν γνωρίζουμε
την τιμή μιας συνάρτησης σε ένα σημείο, καθώς και τις τι-
μές των παραγώγων τής συνάρτησης στο ίδιο σημείο, τότε
μπορούμε να προσεγγίσουμε όσο καλά θέλουμε την τιμή
τής συνάρτησης σε ένα γειτονικό σημείο».
Το θεώρημα του Taylor συσχετίζεται και αναφέρεται στη
βιβλιογραφία ως ανάπτυγμα του Taylor, τύπος του Taylor
ή και ως σειρά του Taylor.
Taylor B., “Methodus Incrementorum Directa et Inversa”, London, 1715
Arthur Cayley (Αύγουστος 16, 1821 – Ιανουάριος 26, 1895)
Σημαντικός ιστορικός σταθμός για τη μέθοδο του Newton

Το 1879, ο Cayley έθεσε την ακόλουθη ερώτηση: «Με
δεδομένη μια αρχική τιμή z0 , σε ποια ρίζα θα συγκλίνει
η μέθοδος του Newton;»
Ο Cayley ήταν ο πρώτος που παρατήρησε τις δυσκολίες
στη γενίκευση της μεθόδου του Newton για την εύρεση
μιγαδικών ριζών πολυωνύμων βαθμού μεγαλύτερου του
δευτέρου με μιγαδικές αρχικές τιμές.
Η απάντηση έγινε κατανοητή σχετικά πρόσφατα και ο-
δηγεί σε ένα περίπλοκο «θραυσματικό» (fractal) σύνολο
που ονομάζεται θραυσματικό σύνολο του Newton για το
οποίο, γενικά, θεωρείται ότι απαιτείται άπειρη πληροφο-
ρία για την περιγραφή του.
Cayley A., The Newton-Fourier imaginary problem, American Journal of Mathematics

2 (1879) 97.
Σκοπός και στόχοι της ενότητας
Σκοπός της ενότητας

Σκοπός της ενότητας αυτής είναι να παρουσιαστεί:
1 μια σύντομη αναδρομή στη μέθοδο του Newton για την επίλυση εξισώσεων
μίας μεταβλητής,
2 τη γενίκευση της μεθόδου αυτής για συναρτήσεις πολλών μεταβλητών,
3 τροποποιήσεις της γενικευμένης μεθόδου του Newton για συναρτήσεις πολ-
λών μεταβλητών,
4 το θραυσματικό σύνολο του Newton,
5 οπτικοποιήσεις του θραυσματικού συνόλου του Newton.
Προσδοκώμενα αποτελέσματα
'Οταν θα έχετε μελετήσει την ενότητα αυτή θα μπορείτε να:
διακρίνετε τα βασικά χαρακτηριστικά της μεθόδου του Newton για μία
και πολλές μεταβλητές,
είσαστε σε θέση να δώσετε την ανάπτυξη και τη σύγκλιση των μεθόδων
αυτών,
είσαστε σε θέση να δώσετε τους αντίστοιχους αλγόριθμους για την υλο-
ποίηση των μεθόδων αυτών,
είσαστε σε θέση να δώσετε τις τροποποιημένες μεθόδους του Newton και
τη σύγκλιση των μεθόδων αυτών,
διακρίνετε τα βασικά χαρακτηριστικά και να οπτικοποιείτε το θραυσμα-
τικό σύνολο του Newton.
'Εννοιες – κλειδιά
Μέθοδος των Newton-Raphson Τροποποιημένες μέθοδοι του

Newton
Ανάπτυξη της μεθόδου των
Newton-Raphson Ανάπτυξη των μεθόδων του
Newton
Σύγκλιση της μεθόδου των
Newton-Raphson Σύγκλιση των μεθόδων του
Newton
Αλγόριθμος της μεθόδου των
Newton-Raphson Αλγόριθμοι των μεθόδων του
Newton
Μέθοδος του Newton
Θραυσματικό σύνολο του
Newton
Η μέθοδος του Newton για την επίλυση της f (x) = 0
Αριθμητική επίλυση εξίσωσης μίας μεταβλητής

Το πρόβλημα της αριθμητικής επίλυσης μιας εξίσωσης μίας μεταβλητής τίθεται
ως εξής:
Δεδομένης της f : [a, b] ⊂ R → R,

να βρεθεί κάποιο σημείο x∗ ∈ (a, b) τέτοιο ώστε f (x∗ ) = 0.
Σημείωση
Η μέθοδος του Newton υπολογίζει μια λύση της εξίσωσης
f (x) = 0,
όπου f : [a, b] ⊂ R → R.
Η μέθοδος των Newton-Raphson

Το επαναληπτικό σχήμα Newton μπορεί να γραφεί στη παρακάτω μορφή:
f (xk )
x k+1
=x − 0 k ,
k
k = 0, 1, 2, . . . .
f (x )
Παρατήρηση
Η μέθοδος αυτή είναι γνωστή και ως μέθοδος Newton-Raphson.
Σημείωση
Το επαναληπτικό σχήμα Newton-Raphson μπορεί να γραφεί ισοδύναμα και στη
παρακάτω μορφή:
Λύσε την εξίσωση: f 0 (xk ) sk = −f (xk ) , ως προς sk .
Θέσε xk+1 = xk + sk .
Σημείωση
Μπορεί να παραχθεί από το ανάπτυγμα σε σειρά Taylor της f (x). 'Ετσι, αν η
συνάρτηση f (x) είναι δύο φορές συνεχώς παραγωγίσιμη σε μια περιοχή D της
ρίζας r, τότε για κάθε xk ∈ D θα έχουμε:
1
0 = f (r) = f (xk ) + (r − xk ) f 0 (xk ) + (r − xk )2 f 00 (ξ ),
2
όπου ξ είναι ένα σημείο μεταξύ των σημείων xk και r.
Σχήμα: Σκιαγράφηση της μεθόδου Newton-Raphson
(α) (β)
(α) Δεν συγκλίνει διότι f 0 (x1 ) = 0.
(β) Δεν συγκλίνει επειδή η f 00 (x) δεν διατηρεί σταθερό πρόσημο.
Θεώρημα σύγκλισης της μεθόδου των Newton–Raphson

Υποθέτουμε ότι η συνάρτηση f : (c, d) ⊂ R → R είναι δύο φορές συνεχώς πα-
ραγωγίσιμη στο διάστημα (c, d) και ότι στο διάστημα [a, b] ⊂ (c, d) πληροί τις
παρακάτω συνθήκες:
(1) Πληροί το κριτήριο του Bolzano: f (a) f (b) < 0.
(2) Η f 0 (x) , 0 για κάθε x ∈ [a, b].
(3) Η f 00 (x) διατηρεί σταθερό πρόσημο στο [a, b].
(4) Αν το z είναι το σημείο όπου η |f 0 (x)| παίρνει την ελάχιστη τιμή στο [a, b],
τότε ισχύει |f (z)/f 0 (z)| 6 b − a.
Τότε, το επαναληπτικό σχήμα της μεθόδου Newton-Raphson θα συγκλίνει στη
λύση που υπάρχει στο διάστημα [a, b].
Αλγόριθμος της μεθόδου των Newton-Raphson
Αλγόριθμος
Υπενθυμίζουμε ότι, γενικά, αλγόριθμος (algorithm) θεωρούμε ότι είναι ένα πεπε-
ρασμένο πλήθος εντολών (καλώς ορισμένων αριθμητικών πράξεων και εκφρά-
σεων της λογικής):
(α) τις οποίες εκτελούμε για οποιοδήποτε στοιχείο ενός καθορισμένου συ-
νόλου εισόδου I,
(β) οι οποίες πάντα δίνουν αποτέλεσμα στο σύνολο εξόδου O για κάθε στοι-
χείο του συνόλου εισόδου I,
(γ) και οι οποίες είναι καθοριστικές, δηλαδή κάθε εντολή έχει μία μοναδική
επόμενη εντολή.
Σημείωση
Θα δώσουμε έναν αλγόριθμο της μεθόδου των Newton-Raphson για την εύρεση
μιας προσεγγιστικής τιμής της λύσης της εξίσωσης f (x) = 0 με βάση κάποια
κριτήρια τερματισμού.
Κριτήρια τερματισμού
Γενικά, αν xk και xk−1 είναι δύο διαδοχικές προσεγγίσεις της προσεγγιστικής
λύσης x∗ της λύσης r μίας εξίσωσης f (x) = 0, ο έλεγχος του κατά πόσον η xk
αποτελεί μια ικανοποιητική προσέγγιση της λύσης μπορεί να καθοριστεί και με
ένα από τα παρακάτω κριτήρια τερματισμού (stopping criteria):

(α) f (xk ) < ε ,
1

(β) xk − xk−1 < ε2 ,
.
(γ) xk − xk−1 xk < ε3 , xk , 0.
Σύνολο εισόδου
Για τον αλγόριθμο υλοποίησης της μεθόδου, τα στοιχεία του συνόλου εισόδου
I = I1 , I2 , I3 , I4 , I5 είναι:

I1 : η συνάρτηση f (x),
I2 : η παράγωγος f 0 (x) της συνάρτησης f (x),
I3 : η αρχική προσέγγιση της λύσης x0 ,
I4 : το μέγιστο πλήθος επαναλήψεων MIT που επιθυμούμε, και
I5 : οι επιθυμητές ακρίβειες ε1 και ε2 του αποτελέσματος, οι οποίες θα
καθορίσουν τις συνθήκες επιτυχούς τερματισμού του αλγορίθμου με βάση
κάποια κριτήρια τερματισμού.
Σύνολο εξόδου
Αυτό που ενδεχομένως να επιθυμούσαμε ως έξοδο (αποτέλεσμα) στο σύνολο
εξόδου O = O1 , O2 , O3 θα μπορούσε να είναι:

O1 : η τρέχουσα επανάληψη k,
O2 : η προσεγγιστική τιμή της λύσης xk και
O3 : η συναρτησιακή τιμή f (xk ) στην επανάληψη k.

'Ενας αλγόριθμος υλοποίησης της μεθόδου των Newton-Raphson μπορεί να
είναι ο παρακάτω αλγόριθμος:

Βήμα 1: Είσοδος I = f , f 0 , x0 , MIT , ε1 , ε2 .

Βήμα 2: Θέσε k = −1.

Βήμα 3: Αν ισχύει k 6 MIT, αντικατάστησε το k με k + 1 και πήγαινε στο
επόμενο βήμα, διαφορετικά πήγαινε στο Βήμα 8.
Βήμα 4: Αν ισχύει |f (xk )| 6 ε1 , πήγαινε στο Βήμα 8.
Βήμα 5: Επίλυσε την εξίσωση f 0 (xk ) sk = −f (xk ) ως προς sk .
Βήμα 6: Αν ισχύει |sk | 6 ε2 , πήγαινε στο Βήμα 8.
Βήμα 7: Θέσε xk+1 = xk + sk και πήγαινε στο Βήμα 3.
n o
Βήμα 8: 'Εξοδος O = k, xk , f (xk ) .
Υποενότητα Α Η μέθοδος του Newton και οι τροποποιήσεις της
Υποενότητα Β Θραυσματικό σύνολο του Newton
Sir Isaac Newton (Ιανουάριος 4, 1643 – Μάρτιος 31, 1727)
Η μέθοδος του Newton για την επίλυση της

Fn (x) = Θn
Υπολογίζει μια λύση της εξίσωσης
Fn (x) = Θn = (0, 0, . . . , 0)> όπου:
Fn = (f1 , f2 , . . . , fn ) : Dn ⊂ Rn → Rn .

Λύσε το σύστημα των γραμμικών εξισώσεων:
JFn (xk ) sk = −Fn (xk ) , ως προς sk .
Θέσε xk+1 = xk + sk ,
όπου JFn (xk ) είναι το n × n Ιακωβιανό μητρώο (Jacobian matrix).
Η μέθοδος του Newton για την επίλυση της Fn (x) = Θn
Αριθμητική επίλυση ενός συστήματος μη-γραμμικών εξισώσεων

Το πρόβλημα της αριθμητικής επίλυσης ενός συστήματος μη-γραμμικών εξισώ-
σεων τίθεται ως εξής:
Δεδομένης της Fn = (f1 , f2 , . . . , fn ) : Dn ⊂ Rn → Rn ,

να βρεθεί κάποιο σημείο x∗ ∈ Dn τέτοιο ώστε Fn (x∗ ) = Θn ,
όπου Θn = (0, 0, . . . , 0)> και όπου η fi (x) για x = (x1 , x2 , . . . , xn )> ∈ Rn δηλώνει
την i-στή συνιστώσα της Fn .
Λύση εξίσωσης και λύση συστήματος εξισώσεων

Το σημείο x∗ = (x1∗ , x2∗ , . . . , xn∗ )> ∈ Rn το οποίο πληροί την εξίσωση:
Fn (x) = Θn = (0, 0, . . . , 0)> ,
ονομάζεται ρίζα (root) ή μηδενικό (zero) της συνάρτησης Fn ή λύση (solution)

της εξίσωσης ή λύση του συστήματος των εξισώσεων:
f1 (x1 , x2 , . . . , xn ) = 0,
f2 (x1 , x2 , . . . , xn ) = 0,
..
.
fn (x1 , x2 , . . . , xn ) = 0.
Σημείωση
Η εξίσωση
Fn (x) = Θn = (0, 0, . . . , 0)> ,
μπορεί να γραφεί ως σύστημα εξισώσεων με την ισοδύναμη μορφή:
f1 (x1 , x2 , . . . , xn ) = 0,
f2 (x1 , x2 , . . . , xn ) = 0,
..
.
fn (x1 , x2 , . . . , xn ) = 0.
Ιακωβιανό μητρώο
Το n × n Ιακωβιανό μητρώο (Jacobian matrix) μιας συνεχώς παραγωγίσιμης συ-
νάρτησης Fn = (f1 , f2 , . . . , fn ) : Rn → Rn στο σημείο x δίνεται ως εξής:
 ∂f1 (x) ∂f1 (x) ∂f1 (x)

 
 ∂x1 ∂x2
··· ∂xn


 
 
( )  ∂f2 (x) ∂f2 (x) ∂f2 (x) 
∂fi (x)  ···
JFn (x) ≡ ≡  ∂x1 ∂x2 ∂xn  .
∂xj ij  .. .. .. .. 
.


 . . . 
 
 ∂fn (x) ∂fn (x)
···
∂fn (x) 
∂x1 ∂x2 ∂xn
Ανάπτυγμα δύναμης ενός αθροίσματος αριθμών

Αν m είναι θετικός ακέραιος αριθμός και ` είναι μη-αρνητικός ακέραιος αριθμός,
τότε το ανάπτυγμα της `-οστής δύναμης ενός αθροίσματος αριθμών m
P
j=1 yj μπορεί
να δοθεί από τη σχέση:
! Y
X `
ykt t ,
`
y1 + y2 + · · · + ym =
k1 , k2 , . . . , km
k1 +k2 +···+km =` 16t6m
όπου: !
` `!
= .
k1 , k2 , . . . , km k1 ! k2 ! · · · km !
Παράδειγμα: Ανάπτυγμα για (m = 2, ` = 2) και (m = 2, ` = 3)
m = 2, ` = 2 : y1 + y2 2 = y21 + 2y1 y2 + y22 ,

m = 2, ` = 3 : y1 + y2 3 = y31 + 3y21 y2 + 3y1 y22 + y32 .

Παράδειγμα: Ανάπτυγμα για (m = 2, ` = 4) και (m = 3, ` = 2)
m = 2, ` = 4 : y1 + y2 4 = y41 + 4y31 y2 + 6y21 y22 + 4y1 y32 + y42 ,

m = 3, ` = 2 : y1 + y2 + y3 2 = y21 + y22 + y23 + 2y1 y2 + 2y1 y3 + 2y2 y3 .

Α
' σκηση αυτοαξιολόγησης
Να βρεθεί το ανάπτυγμα για (m = 3, ` = 3)
Απάντηση:
3
y1 + y2 + y3 = y31 + y32 + y33 + 3y21 y2 + 3y21 y3 + 3y22 y1 +
+3y22 y3 + 3y23 y1 + 3y23 y2 + 6y1 y2 y3 .
Δραστηριότητα
Να δοθεί αλγόριθμος για το ανάπτυγμα για δοθέντα m και `.
Τύπος του Taylor για συναρτήσεις πολλών μεταβλητών
Ανάπτυγμα του Taylor για συναρτήσεις πολλών μεταβλητών

Το ανάπτυγμα του Taylor με απλά λόγια μας λέει ότι:
«όταν γνωρίζουμε την τιμή μίας συνάρτησης n μεταβλητών σε ένα σημείο,
καθώς και τις τιμές των μερικών παραγώγων της συνάρτησης στο ίδιο
σημείο, τότε μπορούμε να προσεγγίσουμε όσο καλά θέλουμε την τιμή της
συνάρτησης σε ένα γειτονικό σημείο»
Σημείωση
Το ανάπτυγμα του Taylor αναφέρεται στη βιβλιογραφία και ως τύπος του Taylor
ή ως σειρά του Taylor.
Ανάπτυγμα του Taylor για συναρτήσεις πολλών μεταβλητών

Το ανάπτυγμα του Taylor μπορεί να δοθεί με την παρακάτω μορφή:
  j 
∞ n
 1 X
 
X  ∂  
f x1 + s1 , . . . , xn + sn = 0 0


 sk 0  f x1 , . . . xn  .
j!  ∂xk

 
j=0

k=1
 0

x1 =x1 , ..., xn =xn
 0
Παράδειγμα: Ανάπτυγμα του Taylor για n = 2

Για n = 2, το ανάπτυγμα του Taylor δίνεται ως εξής:
∞ 
 !j 
X 1 ∂ ∂ 

f x1 + s1 , x2 + s2 = + 0 0 

s s f x , x
 j! 1 ∂x0

 2
∂ x 0 1 2 

j=0 1 2 x10 =x1 ,x20 =x2
!
∂f ∂f
= f (s1 , s2 ) + s1 + s2 +

∂x1 ∂x2 (s ,s )

1 2
 
2
1  2 ∂ f 2
∂ f 2
2 ∂ f

+ 2s1 s2 + s2 2  +···

s
2!  1 ∂x2 ∂x1 ∂x2 ∂x2 (s
1 1 ,s2 )
Το παραπάνω ανάπτυγμα μπορεί να συνεχιστεί με κατάλληλη χρήση των εκφρά-

σεων των αναπτυγμάτων δύναμης ενός αθροίσματος αριθμών.
Α
Να δοθεί το ανάπτυγμα του Taylor για n = 3.
Απάντηση:
Για n = 3, το ανάπτυγμα του Taylor δίνεται ως εξής:
f x1 + s1 , x2 + s2 , x3 + s3 =

∞  
 j 
 1  ∂ ∂ ∂ 
X 
=  j! s1 ∂x0 + s2 ∂x0 + s3 ∂x0  f x1 , x2 , x3 
0 0 0
 


 

j=0 1 2 3
x10 =x1 , x20 =x2 , x30 =x3
!
∂f ∂f ∂f
= f (s1 , s2 , s3 ) + s1 + s2 + s3 +···

∂x1 ∂x2 ∂x3 (s ,s ,s )

1 2 3
Το παραπάνω ανάπτυγμα μπορεί να συνεχιστεί με κατάλληλη χρήση των εκφρά-

σεων των αναπτυγμάτων δύναμης ενός αθροίσματος αριθμών.
Ανάπτυξη της μεθόδου του Newton (1/5)

Με τη βοήθεια του τύπου του Taylor θα παρουσιάσουμε την ανάπτυξη της μεθό-
δου του Newton.
'Εστω xk = (x1k , x2k , . . . , xnk )> η k-στή προσέγγιση της λύσης του συστήματος:
f1 (x1 , x2 , . . . , xn ) = 0,
f2 (x1 , x2 , . . . , xn ) = 0,
..
.
fn (x1 , x2 , . . . , xn ) = 0.
Ανάπτυξη της μεθόδου του Newton

Για την εύρεση της επόμενης προσέγγισης xk+1 = (x1k+1 , x2k+1 , . . . , xnk+1 )> , θέτουμε:
 k+1
x1k   sk1 
    
 x1  
     
 xk+1   k
x2   k
s2 
 2
 =  ..  + 
 
 . ..  ,
  
 .
 . .   . 
 
    
 k+1
xnk skn
 
xn
όπου sk = (sk1 , sk2 , . . . , skn )> είναι η διόρθωση της προσεγγιστικής λύσης.
Χρησιμοποιώντας την παραπάνω σχέση έχουμε:
f1 (xk+1 ) = f1 (xk + sk ) = 0,
f2 (xk+1 ) = f2 (xk + sk ) = 0,
..
.
fn (xk+1 ) = fn (xk + sk ) = 0.

Με τη βοήθεια του τύπου του Taylor αναπτύσσοντας κάθε μία συνιστώσα fi , i =
1, 2, . . . , n της συνάρτησης Fn παίρνουμε:
∂f1 (xk ) ∂f1 (xk )

f1 (x1k+1 , . . . , xnk+1 ) = f1 (xk ) + sk1 + · · · + skn +···
∂x1 ∂xn
k k
k ∂f2 (x ) k ∂f2 (x )
f2 (x1 , . . . , xn ) = f2 (x ) + s1
k+1 k+1 k
+ · · · + sn +···
∂x1 ∂xn
..
.
k k
k ∂fn (x ) k ∂fn (x )
fn (x1 , . . . , xn ) = fn (x ) + s1
k+1 k+1 k
+ · · · + sn +···
∂x1 ∂xn

Απαιτούμε να ισχύουν τα εξής:
∂f (xk ) ∂f (xk )
f1 (x1k+1 , . . . , xnk+1 ) ' f1 (xk ) + sk1 ∂1x + · · · + skn ∂1x = 0,
1 n
∂f (xk ) ∂f (xk )
f2 (x1k+1 , . . . , xnk+1 ) ' f2 (xk ) + sk1 ∂2x + · · · + skn ∂2x = 0,
1 n
..
.
∂f (xk ) ∂f (xk )
fn (x1k+1 , . . . , xnk+1 ) ' fn (xk ) + sk1 ∂nx + · · · + skn ∂nx = 0,
1 n

Κατά συνέπεια έχουμε:
∂f1 (xk ) ∂f1 (xk ) ∂f1 (xk )

k
s1 ∂ x + s2 ∂x
k + · · · + sn ∂ x
k = −f1 (xk ),
1 2 n
∂f (xk ) ∂f (xk ) ∂f (xk )

sk1 ∂2x + sk2 ∂2x + · · · + skn ∂2x = −f2 (xk ),
1 2 n
..
.
∂f (xk ) ∂f (xk ) ∂f (xk )

sk1 ∂nx + sk2 ∂nx + · · · + skn ∂nx = −fn (xk ).
1 2 n
Σημείωση
Η επίλυση του παραπάνω συστήματος γραμμικών εξισώσεων μας δίνει τη διόρ-
θωση sk = (sk1 , sk2 , . . . , skn )> η οποία αν προστεθεί στην προσεγγιστική τιμή της
λύσης xk μας δίνει τη νέα προσέγγιση της λύσης xk+1 .

Το προηγούμενο σύστημα γραμμικών εξισώσεων μπορεί να γραφεί ισοδύναμα με
την ακόλουθη συνοπτική μορφή, η οποία αποτελεί τη μέθοδο του Newton (Newton
method):
JFn (xk ) sk = −Fn (xk ), k = 0, 1, 2, . . . ,
όπου x0 = (x10 , x20 , . . . , xn0 )> είναι μια αρχική προσέγγιση της λύσης, JFn είναι το
Ιακωβιανό μητρώο (Jacobian matrix) των μερικών παραγώγων και όπου οι εκ-
φράσεις sk και Fn (xk ) συμβολίζουν τα διανύσματα:
sk1   f1 (xk )

   
  
 k
 
 s2   f2 (xk ) 
sk =  ..  ,
 Fn (x ) = 
k
..
 .

.
 
 .   
skn fn (xk )
 
Γεωμετρική ερμηνεία της μεθόδου του Newton
Γεωμετρική ερμηνεία της μεθόδου του Newton (1/3)

Από τις προηγούμενες σχέσεις μπορούμε να πάρουμε:
∂f1 (xk ) ∂f1 (xk )

k
s1 ∂ x + · · · + sn ∂x
k + f1 (xk ) = 0,
1 n
∂f2 (xk ) ∂f2 (xk )

k
s1 ∂ x + · · · + sn ∂x
k + f2 (xk ) = 0,
1 n
..
.
∂fn (xk ) ∂fn (xk )
k
s1 ∂ x + · · · + sn ∂ x
k + fn (xk ) = 0.
1 n

Αντικαθιστώντας τα ski με τα αντίστοιχα (xik+1 − xik ) έχουμε:
∂f (xk ) ∂f (xk )
(x1k+1 − x1k ) ∂1x + · · · + (xnk+1 − xnk ) ∂1x + f1 (xk ) = 0,
1 n
∂f (xk ) ∂f (xk )
(x1k+1 − x1k ) ∂2x + · · · + (xnk+1 − xnk ) ∂2x + f2 (xk ) = 0,
1 n
..
.
∂f (xk ) ∂f (xk )
(x1k+1 − x1k ) ∂nx + · · · + (xnk+1 − xnk ) ∂nx + fn (xk ) = 0.
1 n

Από τις παραπάνω σχέσεις μπορούμε να σχηματίσουμε τις εξισώσεις:
∂f (xk ) ∂f (xk )
xn+1 = (x1 − x1k ) ∂1x + · · · + (xn − xnk ) ∂1x + f1 (xk ),
1 n
∂f (xk ) ∂f (xk )
xn+1 = (x1 − x1k ) ∂2x + · · · + (xn − xnk ) ∂2x + f2 (xk ),
1 n
..
.
∂f (xk ) ∂f (xk )
xn+1 = (x1 − x1k ) ∂nx + · · · + (xn − xnk ) ∂nx + fn (xk ).
1 n
Σημείωση
Οι εξισώσεις αυτές παριστούν επίπεδα στον χώρο Rn+1 n , τα οποία εφάπτονται o
στις επιφάνειες: xn+1 = fi (x), i = 1, 2, . . . , n, στα σημεία (x1 , x2 , . . . , xn , fi (x ) , i =
k k k k
1, 2, . . . , n. 'Ετσι, η μέθοδος του Newton με δεδομένο το σημείο xk =

(x1k , x2k , . . . xnk )> βρίσκει το σημείο της τομής των παραπάνω επιπέδων, που εφά-
πτονται στις επιφάνειες στα παραπάνω σημεία, με το επίπεδο xn+1 = 0. Το σημείο
αυτό εκφράζει τη νέα προσέγγιση xk+1 της λύσης του εν λόγω συστήματος.

Η λύση του συστήματος μεθόδου του Newton:
JFn (xk ) sk = −Fn (xk ), k = 0, 1, 2, . . . ,
με την προϋπόθεση ότι η ορίζουσα του μητρώου JFn (xk ) είναι διάφορη του μηδενός,
μας δίνει τη διόρθωση sk και, επομένως, μας επιτρέπει να πάρουμε την προσέγγιση
της επόμενης επανάληψης xk+1 ως εξής:
xk+1 = xk + sk .
Σημείωση
Ο τύπος της μέθοδος του Newton μπορεί να εκφραστεί και στη μορφή:
xk+1 = xk − JFn (xk )−1 Fn (xk ), k = 0, 1, 2, . . . ,
όπου το μητρώο JFn (xk )−1 εκφράζει το αντίστροφο μητρώο του Ιακωβιανού μη-
τρώου JFn (xk ) στο xk και x0 είναι μια αρχική προσέγγιση της λύσης.
Στο σημείο αυτό αξίζει να παρατηρήσουμε πως σημαντικό χαρακτηριστικό της
μεθόδου Newton είναι ότι:
«επιλύει ένα σύστημα μη γραμμικών εξισώσεων μέσω της επίλυσης συ-
στημάτων γραμμικών εξισώσεων»>
Αλγόριθμος της μεθόδου του Newton
Σύνολο εισόδου
Για τον αλγόριθμο υλοποίησης της μεθόδου, τα στοιχεία του συνόλου εισόδου
I = I1 , I2 , I3 , I4 , I5 , I6 είναι:

I1 : ο αριθμός των εξισώσεων και των αγνώστων n,

I2 : η συνάρτηση Fn (x),
I3 : το Ιακωβιανό μητρώο JFn της συνάρτησης Fn (x),
I4 : η αρχική προσέγγιση της λύσης x0 ,
I5 : το μέγιστο πλήθος επαναλήψεων MIT που επιθυμούμε, και
I6 : οι επιθυμητές ακρίβειες ε1 και ε2 του αποτελέσματος, οι οποίες θα
καθορίσουν τις συνθήκες επιτυχούς τερματισμού του αλγορίθμου με
βάση κάποια κριτήρια τερματισμού.
Σύνολο εξόδου
Αυτό που ενδεχομένως να επιθυμούσαμε ως έξοδο (αποτέλεσμα) στο σύνολο
εξόδου O = O1 , O2 , O3 θα μπορούσε να είναι:

O1 : η τρέχουσα επανάληψη k,
O2 : η προσεγγιστική τιμή της λύσης xk και
O3 : η συναρτησιακή τιμή Fn (xk ) στην επανάληψη k.

'Ενας αλγόριθμος υλοποίησης της μεθόδου του Newton μπορεί να είναι ο πα-
ρακάτω αλγόριθμος:

Βήμα 1: Είσοδος I = n, Fn , JFn , x0 , MIT , ε1 , ε2 .

Βήμα 2: Θέσε k = −1.

Βήμα 3: Αν ισχύει k 6 MIT, αντικατάστησε το k με k +1 και πήγαινε στο επόμενο
βήμα, διαφορετικά πήγαινε στο Βήμα 8.
Βήμα 4: Αν ισχύει kFn (xk )k 6 ε1 , πήγαινε στο Βήμα 8.
Βήμα 5: Επίλυσε το γραμμικό σύστημα JFn (xk ) sk = −Fn (xk ) ως προς sk .
Βήμα 6: Αν ισχύει ksk k 6 ε2 , πήγαινε στο Βήμα 8.
Βήμα 7: Θέσε xk+1 = xk + sk και πήγαινε στο Βήμα 3.
n o
Βήμα 8: 'Εξοδος O = k, xk , Fn (xk ) .
Εφαρμογή της μεθόδου του Newton
Εφαρμογή
Θα εφαρμόσουμε τον αλγόριθμο της μεθόδου του Newton για να προσεγγίσουμε
μια λύση του συστήματος εξισώσεων:
f1 (x1 , x2 ) = x1 + x2 − 3 = 0,
f2 (x1 , x2 ) = x12 + x22 − 9 = 0,
χρησιμοποιώντας ως αρχική εκτίμηση της λύσης την x0 = (1, 5)> . Το σύστημα

αυτό έχει ως λύσεις τις x∗ = (3, 0)> και x∗ = (0, 3)> .
Λύση: Για να εφαρμόσουμε τον αλγόριθμο της μεθόδου του Newton, πρέπει να
βρούμε το αντίστοιχο Ιακωβιανό μητρώο και να επιλύσουμε το γραμμικό σύστημα
της μεθόδου του Newton.
Το Ιακωβιανό μητρώο για τη συνάρτηση F2 = (f1 , f2 ) : R2 → R2 είναι:
 ∂f1 (x1 , x2 ) ∂f1 (x1 , x2 ) 

 ∂x1 ∂x2 

JF2 (x) =  ,
 
 ∂f2 (x1 , x2 ) ∂f2 (x1 , x2 ) 
∂x1 ∂x2
 
το οποίο για τη δοθείσα συνάρτηση γράφεται στη μορφή:

 
 1 1 
JF2 (x) =   .

2x1 2x2
Χρησιμοποιώντας την αρχική εκτίμηση της λύσης:
 0   
 x1   1 
x0 =   =   ,
x20 5
  
έχουμε
 ∂f1 (x0 , x0 ) ∂f1 (x10 , x20 ) 
 1 2 
∂x1 ∂x2     
  1 1   1 1 


JF2 (x ) = 
0  =   =  
 ∂f2 (x0 , x0 ) 0 0 
∂f2 (x1 , x2 )   2x0
 
2x20
 
2 10

 1 2  1
∂x1 ∂x2
και
 f1 (x10 , x20 )
   
  3 
F2 (x ) = 
0  =   .
f2 (x10 , x20 )
  
17
Σύμφωνα με τον αλγόριθμο της μεθόδου του Newton, επιλύουμε το γραμμικό

σύστημα:
JF2 (x0 ) s0 = −F2 (x0 )
ως προς το s0 . Δηλαδή, επιλύουμε το σύστημα
 1 1   s01 

    
 3
  0  = − 

  .
2 10 s2 17
Η λύση του παραπάνω συστήματος είναι:

 0   
 s1  1  13 
 0  = −   .
s2 8 11
Επομένως, η επόμενη εκτίμηση της λύσης θα είναι:

    
 x1   x1   s1   −0.625   −0.625   −5/8
 1   0   0   
  =   +   =   =   =   ,
1
x2 x 0 s 0 3.625    
2 2 3.625 29/8

Συνεχίζοντας αυτήν τη διαδικασία, μπορούμε να πάρουμε καλύτερες προσεγγί-
σεις της λύσης, οι οποίες φαίνονται στον παρακάτω πίνακα
xk = (x1k , x2k )> Μέθοδος του Newton

x10 1.0000000000000
x20 5.0000000000000
x11 −0.6250000000000
x21 3.6250000000000
x12 −0.0919117647059
x22 3.0919117647059
x13 −0.0026533419372
x23 3.0026533419372
x14 −0.0000023425973
x24 3.0000023425973
x15 −0.0000000000018
x25 3.0000000000018
x16 0.0000000000000
x26 3.0000000000000
Α
Εφαρμόστε τον αλγόριθμο της μεθόδου του Newton στο σύστημα των εξισώσεων
της προηγούμενης εφαρμογής για να βρείτε την επόμενη προσσέγιση της λύσης
x2 = (x12 , x22 )> . Εξετάστε σε πόσα σημαντικά ψηφία συμφωνεί με την ακριβή λύση.
Απάντηση: Χρησιμοποιώντας την προσέγγιση της λύσης
  − 5
 
 1  
 x1   −0.625

  8 
x = 
1   = 
 
 = 
   29  ,
x21

3.625 
8 
έχουμε
 ∂f (x1 , x1 ) ∂f1 (x11 , x21 ) 
 1 1 2 
∂ x1 ∂x2   1 
  1 
  1 1

   
JF2 (x1 ) =   =   = 
  5 29 
 ∂f2 (x1 , x1 ) 1 1 
∂f2 (x1 , x2 )   2x1
 
2x11  −
 1 2  1 4 4

∂ x1 ∂x2
και
  0 
 f1 (x11 , x21 )

  
F2 (x1 ) =   = 
  145  .

f2 (x11 , x21 ) 
32

Συνεχίζοντας, σύμφωνα με τον αλγόριθμο της μεθόδου του Newton επιλύουμε το

γραμμικό σύστημα
JF2 (x1 ) s1 = −F2 (x1 )
ως προς s1 . Δηλαδή επιλύουμε το σύστημα
 
 0 
 
 1 1   1 
  s1 
=
  
 5 29   s1 
   − 
 145 
 − 2
 
4 4 32
και βρίσκουμε
 1   145 
 
 s1   272 
 = 
 145  .
 
s12 −
272
Επομένως, η επόμενη εκτίμηση της λύσης θα είναι
 2   1   1   
 x1   x1   s1   −0.0919117647059
 =   + 


2 1 1
   ,
x2 x2 s2 3.0919117647059
η οποία συμφωνεί με την ακριβή λύση x∗ = (0, 3)> σε δύο σημαντικά ψηφία (ένα
δεκαδικό).
Σύγκλιση της μεθόδου του Newton
Θεώρημα σύγκλισης της μεθόδου του Newton

'Εστω Fn : D ⊂ Rn → Rn συνεχώς παραγωγίσιμη συνάρτηση σε ένα ανοικτό και
κυρτό σύνολο D. Υποθέτουμε ότι υπάρχει σημείο x∗ ∈ Rn και σταθερές r, > 0
έτσι ώστε:
(1) Fn (x∗ ) = Θn ,
(2) B(x∗ , r) ⊂ D, όπου B(x∗ , r) = x ∈ Rn | kx − x∗ k < r είναι η ανοικτή σφαίρα με

κέντρο x∗ και ακτίνα r,
(3) JFn ∈ Lipγ B(x∗ , r) , και

(4) το αντίστροφο μητρώο JFn (x∗ )−1 υπάρχει και ισχύει ότι kJFn (x∗ )−1 k 6 .
Τότε, υπάρχει ε > 0 τέτοιο ώστε, για όλα τα x0 ∈ B(x∗ , ε), η ακολουθία x1 , x2 , . . .
που παράγεται από τη μέθοδο του Newton είναι καλά ορισμένη, συγκλίνει στο x∗
και πληροί τη σχέση:
k+1 ∗ 2
x − x 6 γ xk − x∗ , k = 0, 1, . . . .
Ortega J.M., Rheinboldt W.C., “Iterative solution of nonlinear equations in several varia-
bles”, Classics in Applied Mathematics 30, Society for Industrial and Applied Mathema-
tics, Philadelphia, PA, U.S.A., 2000.
Μέθοδος του Newton με πεπερασμένες διαφορές
Σημείωση
Σε πολλές εφαρμογές, οι εκφράσεις των μερικών παραγώγων δεν μπορούν να
δοθούν αναλυτικά και γι' αυτό χρειάζεται να προσεγγίζουμε τις διάφορες τιμές
τους με πεπερασμένες διαφορές.
Προσέγγιση με πεπερασμένες διαφορές

Για την περίπτωση μιας συνάρτησης f : R → R μίας μεταβλητής, η προσέγγιση
με πεπερασμένες διαφορές (finite-difference approximation) της παραγώγου f 0 (x)
δίνεται από τη σχέση:
f (x + h) − f (x)
f 0 (x) ' a = ,
h
όπου το h είναι μια μικρή ποσότητα. Το αντίστοιχο φράγμα σφάλματος σε αυτή
την περίπτωση είναι:
|a − f 0 (x)| = O(h),
για «επαρκώς μικρό» h.
Προσέγγιση με πεπερασμένες διαφορές

Για την περίπτωση της συνάρτησης Fn : Rn → Rn , χρησιμοποιούμε την ίδια με-
θοδολογία για να προσεγγίσουμε την (i, j)-οστή συντεταγμένη του Ιακωβιανού
μητρώου JFn (x), η οποία θα είναι:
∂fi (x) fi (x + hej ) − fi (x)

' aij = ,
∂xj h
όπου το ej εκφράζει την j-οστή στήλη του μοναδιαίου μητρώου. Αυτό ισοδυναμεί
με προσέγγιση της j-οστής JFn (x)j στήλης του Ιακωβιανού μητρώου JFn (x) με τη
σχέση:
Fn (x + hej ) − Fn (x)
JFn (x)j ' Aj = .
h
Το αντίστοιχο φράγμα σφάλματος σε αυτή την περίπτωση είναι
kAj − JFn (x)j k = O(h),
για «επαρκώς μικρό» h, όπως αυτό καταδεικνύεται στο επόμενο Θεώρημα.
Θεώρημα
'Εστω Fn : D ⊂ Rn → Rn συνεχώς παραγωγίσιμη συνάρτηση στο ανοιχτό και κυρτό
σύνολο D. Υποθέτουμε ότι η συνάρτηση JFn (x) είναι συνεχής κατά Lipschitz στο
x του D με σταθερά γ . Χρησιμοποιούμε μια στάθμη k · k τέτοια ώστε kej k = 1, για
j = 1, 2, . . . , n, και έστω το μητρώο A ∈ Rn×n όπου η j-οστή του στήλη δίνεται από
τη σχέση:
Fn (x + hej ) − Fn (x)
Aj = , j = 1, 2, . . . , n.
h
Τότε ισχύει ότι:
γ
Aj − JFn (x)j 6 |h|.
2
Αν η χρησιμοποιούμενη στάθμη είναι η στάθμη l1 , τότε ισχύει ότι:
γ
A − JFn (x) 1 6 |h|.
2
Δραστηριότητα
Εξηγήστε γιατί αν στο παραπάνω θεώρημα η χρησιμοποιούμενη στάθμη είναι η
στάθμη l1 , τότε ισχύει ότι:
γ
A − JFn (x) 1 6 |h|.
2
Μέθοδος του Newton με διαταραχή του Ιακωβιανού μητρώου
Σημείωση
Μία από τις πιο πλατιά χρησιμοποιούμενες τροποποιήσεις της μεθόδου του New-
ton προκύπτει αν διαταράξουμε κατάλληλα τα διαγώνια στοιχεία του Ιακωβιανού
μητρώου και συγχρόνως χαλαρώσουμε το αντίστροφο του διαταραγμένου μητρώ-
ου.
Μέθοδος της διαταραχής

'Ετσι προκύπτει η μέθοδος της διαταραχής που δίνεται από τη σχέση:
−1
xk+1 = xk − ω JFn (xk ) + λIn Fn (xk ), k = 0, 1, . . . ,
όπου οι ω και λ είναι δεδομένες σταθερές ενώ In είναι το μοναδιαίο μητρώο.
Προφανώς, αν ω = 1 και λ = 0, τότε η μέθοδος της διαταραχής εκφράζει τη
μέθοδο του Newton.
Μέθοδος του Newton με διαταραχή του Ιακωβιανού μητρώου
Θεώρημα σύγκλισης
'Εστω ότι η Fn : E ⊂ Rn → Rn είναι συνεχώς παραγωγίσιμη σε μία ανοικτή περιοχή
D ⊂ E ενός σημείου x∗ ∈ D, για το οποίο ισχύουν τα εξής:
(1) Fn (x∗ ) = Θn ,
(2) η JFn (x) είναι συνεχής στο x∗ και
(3) το αντίστροφο μητρώο JFn (x∗ )−1 υπάρχει.
Υποθέτουμε ότι µ1 , µ2 , . . . , µn είναι οι ιδιοτιμές του JFn (x∗ ) και ότι:
 2 
 |µi |
= min 
 
<( ) 0

 2<(µ ) µi > ,

i
 2 
 |µi |

η = min 
 
<(µi ) < 0
 −2<(µ ) ,

i
όπου = +∞ ή η = +∞ αν δεν υπάρχουν ιδιοτιμές με πραγματικό μέρος <(µi ) > 0

ή <(µi ) < 0 αντίστοιχα. Τότε, η μέθοδος τηςn διαταραχής
συγκλίνει στο x∗ για
o
οποιοδήποτε ζεύγος (λ, ω) από το σύνολο Λ = (λ, ω)  < ω < , − < −λω < η .
Μέθοδος της σύνθεσης
Σημείωση
Μία από τις πιο πλατιά χρησιμοποιούμενες τροποποιήσεις της μεθόδου του New-
ton προκύπτει με τη σύνθεση δύο βημάτων της μεθόδου του Newton. Η μέθοδος
αυτή χρησιμοποιεί το ίδιο Ιακωβιανό μητρώο για δύο διαδοχικές επαναλήψεις.

'Ετσι προκύπτει η μέθοδος της σύνθεσης που δίνεται από τη σχέση:
h i
xk+1 = xk − JFn (xk )−1 Fn (xk ) + Fn xk − JFn (xk )−1 Fn (xk ) , k = 0, 1, . . . ,
Διαδικασία σχηματισμού της μεθόδου της σύνθεσης

Επειδή η μέθοδος αυτή χρησιμοποιεί το ίδιο Ιακωβιανό μητρώο JFn (xk ) για δύο
διαδοχικές επαναλήψεις, τότε στο πρώτο βήμα θα έχουμε:
x̂k = xk − JFn (xk )−1 Fn (xk ),
ενώ στο δεύτερο βήμα θα έχουμε:
xk+1 = x̂k − JFn (xk )−1 Fn (x̂k ).
Αντικαθιστώντας το x̂k στη παραπάνω σχέση, έχουμε:

x k+1
= x − JFn (x ) Fn (x ) − JFn (x ) Fn x − JFn (x ) Fn (x ) .
k k −1 k k −1 k k −1 k
Η παραπάνω μπορεί να γραφεί στην ακόλουθη μορφή:

h i
xk+1 = xk − JFn (xk )−1 Fn (xk ) + Fn xk − JFn (xk )−1 Fn (xk ) ,
η οποία αποτελεί τη μέθοδο της σύνθεσης.
Θεώρημα σύγκλισης
Υποθέτουμε ότι η συνάρτηση Fn : D ⊂ Rn → Rn είναι συνεχώς παραγωγίσιμη στην
ανοικτή σφαίρα με κέντρο x∗ και ακτίνα δ , B(x∗ , δ ) ⊂ D, και ότι ισχύουν τα εξής:
(1) Fn (x∗ ) = Θn ,
(2) το αντίστροφο μητρώο JFn (x∗ )−1 υπάρχει και
(3) kJFn (x) − JFn (x∗ )k 6 γ kx − x∗ k, ∀ x ∈ B(x∗ , δ ).
Τότε η μέθοδος της σύνθεσης συγκλίνει στο x∗ .
Θραυσματικό σύνολο του Newton
Οπτικοποίηση περιοχών σύγκλισης

Θα παρουσιάσουμε μια διαδικασία για την οπτικοποίηση των περιοχών σύγκλι-
σης που παρατηρούνται στις μεθόδους επίλυσης συστημάτων μη-γραμμικών
εξισώσεων και στις αριθμητικές μεθόδους βελτιστοποίησης.
Πρόβλημα αναφοράς
Ορισμένα ερωτήματα, ακόμα και για τις πιο γνωστές και ευρέως χρησιμοποιού-
μενες μεθόδους, είναι πολύ δύσκολο αν όχι αδύνατο να απαντηθούν. Για πα-
ράδειγμα, αναφορικά με την παρακάτω γενίκευση της γνωστής μεθόδου των
Newton-Raphson για την επίλυση της μιγαδικής εξίσωσης f (z) = 0:
f (zk )
z k+1
=z − 0 k ,
k
k = 0, 1, 2, . . .
f (z )
ο Arthur Cayley το 1879 έθεσε την ακόλουθη ερώτηση:

«Δοθείσης μιας αρχικής προσέγγισης της λύσης z0 σε ποια λύση συγκλί-
νει η μέθοδος των Newton-Raphson;»
Arthur Cayley (Αύγουστος 16, 1821 – Ιανουάριος 26, 1895)
Το 1879, ο Cayley έθεσε την ακόλουθη ερώτηση:

«Με δεδομένη μια αρχική τιμή z0 , σε ποια ρίζα
θα συγκλίνει η μέθοδος του Newton;»
Ο Cayley ήταν ο πρώτος που παρατήρησε τις
δυσκολίες στη γενίκευση της μεθόδου του
Newton για την εύρεση μιγαδικών ριζών πο-
λυωνύμων βαθμού μεγαλύτερου του δευτέρου
με μιγαδικές αρχικές τιμές.
Η απάντηση έγινε κατανοητή σχετικά πρόσφα-
τα και οδηγεί σε ένα περίπλοκο «θραυσματικό»
(fractal) σύνολο που ονομάζεται θραυσματικό
σύνολο του Newton για το οποίο, γενικά, θε-
ωρείται ότι απαιτείται άπειρη πληροφορία για
την περιγραφή του.
Cayley A., The Newton-Fourier imaginary problem, American Journal of Mathematics

2 (1879) 97.
'Ετσι, ο Arthur Cayley το 1879 ήταν ο πρώτος που παρατήρησε τις δυσκολίες της
γενίκευσης της μεθόδου των Newton-Raphson για την εύρεση μιγαδικών ριζών
πολυωνύμων βαθμού μεγαλύτερου του δευτέρου.
Σημείωση
Η απάντηση έγινε κατά κάποιον βαθμό κατανοητή μετά από περίπου έναν αιώνα,
με τη μελέτη της θραυσματικής ή μορφοκλασματικής δομής (fractal structure)
της περιοχής σύγκλισης της μεθόδου των Newton-Raphson, η οποία δημιουργεί
ένα εξαιρετικά περίπλοκο σύνολο που ονομάζεται θραυσματικό ή μορφοκλα-
σματικό σύνολο του Newton (Newton’s fractal).
Ορισμός
Το θραυσματικό σύνολο του Newton (Newton’s fractal) είναι ένα σύνολο στο
μιγαδικό επίπεδο, το οποίο εκφράζεται από το σύνορο της περιοχής σύγκλισης
της μεθόδου των Newton-Raphson όταν εφαρμόζεται σε ένα πολυώνυμο p(z) ∈ C[z].
Ορισμός
Θραυσματική δομή (fractal structure) λέγεται μια δομή η οποία παρουσιάζει
αυτοομοιότητα (self-similarity) που επαναλαμβάνεται σε όλες τις κλίμακες μεγέ-
θυνσης.
Σημείωση
Λόγω της δομής του, ένα θραυσματικό σύνολο είναι εξαιρετικά περίπλοκο για
να περιγραφεί. 'Ετσι, συχνά αναφέρεται ως «απείρως περίπλοκο» και, γενικά,
θεωρούμε ότι απαιτείται άπειρη πληροφορία για την περιγραφή του.
Οπτικοποίηση
'Ενας τρόπος για να «τιθασεύσουμε» τις τεράστιες ποσότητες πληροφορίας εί-
ναι η οπτικοποίηση (visualization). Η οπτικοποίηση οδηγεί πολλές φορές στην
κατανόηση και την πληρέστερη επεξεργασία τής πληροφορίας καθώς και στην
ανακάλυψη διαφόρων συσχετίσεων μεταξύ των δεδομένων που απαρτίζουν την
πληροφορία. Δεν έχουμε, λοιπόν, παρά να συμφωνήσουμε με την αρχαία κινεζική
ρήση: «μια εικόνα αξίζει όσο χίλιες λέξεις».
Παραδείγματα οπτικοποίησης
Στη συνέχεια δίνουμε παραδείγματα της οπτικοποίησης του θραυσματικού συ-
νόλου του Newton εξετάζοντας την περιοχή σύγκλισης της μεθόδου των Newton-
Raphson. Στο παράδειγμά μας θα οπτικοποιήσουμε την περιοχή σύγκλισης ανα-
φορικά με τη λύση (1 + i 0) της κυκλοτομικής εξίσωσης:
z3 − 1 = 0, z ∈ C,
στο επίπεδο των μιγαδικών αριθμών με πραγματικές και φανταστικές συντεταγ-

μένες στο διάστημα [−2, 2].
Σημείωση
Οι ρίζες της συνάρτησης f (z) = z3 − 1, z ∈ C, πληρούν τις σχέσεις:
< z3 − 1 = 0 = z3 − 1 = 0,

και

όπου τα < z και = z εκφράζουν αντίστοιχα το πραγματικό και το φανταστικό
μέρος του μιγαδικού αριθμού z.
Σημείωση
√
Αν θέσουμε z = x1 + ix2 (όπου i = −1) στη συνάρτηση z3 − 1, τότε ότι οι λύσεις
της εξίσωσης z3 − 1 = 0 πληρούν και τις δύο εξισώσεις τού συστήματος:
f1 (x1 , x2 ) = < (x1 + ix2 )3 − 1 = x13 − 3x1 x22 − 1 = 0,

f2 (x1 , x2 ) = = (x1 + ix2 )3 − 1 = 3x12 x2 − x23 = 0.

Σημείωση
Για τις λύσεις του συστήματος εξισώσεων:
f1 (x1 , x2 ) = < (x1 + ix2 )3 − 1 = x13 − 3x1 x22 − 1 = 0,

f2 (x1 , x2 ) = = (x1 + ix2 )3 − 1 = 3x12 x2 − x23 = 0.

ισχύει ότι:
f1 (x1 , x2 ) 2 + f2 (x1 , x2 ) 2 = 0.

'Ετσι, το πρόβλημα της επίλυσης της εξίσωσης z3 − 1 = 0 ανάγεται στο πρόβλημα

της ελαχιστοποίησης της αντικειμενικής συνάρτησης f (x1 , x2 ):
2 2
f (x1 , x2 ) = f1 (x1 , x2 ) 2 + f2 (x1 , x2 ) 2 ≡ x13 − 3x1 x22 − 1 + 3x12 x2 − x23 .

ώστε να υπολογιστούν οι τρεις καθολικοί√ ελαχιστοποιητές: √

r1 = 1, 0 , r2 = −1/2, 3/2 και r3 = −1/2, − 3/2 > ,
> >
για τους οποίους ισχύει ότι f (ri ) = 0 για i = 1, 2, 3.
Χαρακτηριστικά σύγκλισης μεθόδων
Χαρακτηριστικά μεθόδων
'Οπως είδαμε, γενικά, οι μέθοδοι διατυπώνονται ως επαναληπτικές διαδικασίες
για την επίλυση ενός συγκεκριμένου προβλήματος, και για να επιλέξουμε την
όποια μέθοδο καλούμαστε να απαντήσουμε σε τρία κύρια χαρακτηριστικά ερω-
τήματα:
(α) Είναι η μέθοδος σαφώς καθορισμένη, δηλαδή, μπορεί να συνεχιστεί προς
έναν ικανοποιητικό τερματισμό;
(β) Συγκλίνουν οι επαναλήψεις σε κάποια λύση;
(γ) Πόσο οικονομικό είναι το σύνολο των υπολογισμών;
Στις περισσότερες περιπτώσεις, μόνο επί μέρους απαντήσεις μπορούν να δοθούν
στα παραπάνω ερωτήματα.
Χαρακτηριστικά σύγκλισης μεθόδων

Η ερώτηση «συγκλίνουν οι επαναλήψεις σε κάποια λύση;» αποτελείται από
τρία μέρη::
(β1) Συγκλίνουν οι επαναλήψεις σε κάποιο όριο (σύγκλιση ή απόκλιση);
(β2) Το όριο αυτό αποτελεί στην πραγματικότητα μια λύση;
(β3) Για μια συγκεκριμένη αρχική προσέγγιση της λύσης, η μέθοδος συγκλίνει
προς την πλησιέστερη λύση;
Υπολογιστική πολυπλοκότητα μεθόδων

Η ερώτηση «πόσο οικονομικό είναι το σύνολο των υπολογισμών;» αφορά
στην υπολογιστική πολυπλοκότητα της μεθόδου και περιλαμβάνει τα ακόλουθα
υποερωτήματα:
(γ1) Ποιο είναι το κόστος κάθε βήματος της επαναληπτικής διαδικασίας;
(γ2) Πόσο γρήγορα συγκλίνει η ακολουθία των προσεγγίσεων της λύσης;
(γ3) Πόσο σθεναρή (σταθερή) είναι η μέθοδος σε αλλαγές της συνάρτησης ή των
αρχικών δεδομένων;
(γ4) Τι επιπτώσεις έχει στην απόδοση της μεθόδου η παρουσία θορύβου (επιπτώ-
σεις της ανακριβούς πληροφορίας αναφορικά με τις συναρτησιακές τιμές);
Σημείωση
Θα προσπαθήσουμε να απαντήσουμε στα ερωτήματα που αφορούν στα χαρακτη-
ριστικά σύγκλισης των μεθόδων παρέχοντας πειραματικά αποτελέσματα για τα
ερωτήματα:
(1) Για μια συγκεκριμένη αρχική προσέγγιση της λύσης, η μέθοδος συγκλίνει
προς την πλησιέστερη λύση;
(2) Πόσο γρήγορα συγκλίνει η ακολουθία των προσεγγίσεων της λύσης;
(3) Πόσο σθεναρή (σταθερή) είναι η μέθοδος σε αλλαγές της συνάρτησης ή των
αρχικών δεδομένων;
(4) Τι επιπτώσεις έχει στην απόδοση της μεθόδου η παρουσία θορύβου (επιπτώ-
σεις της ανακριβούς πληροφορίας αναφορικά με τις συναρτησιακές τιμές);
Τα άλλα ερωτήματα μπορούν να αντιμετωπιστούν πληρέστερα από τη θεωρία.
Ανακριβείς πληροφορίες με παρουσία θορύβου
Σημείωση
Οι ανακρίβειες μπορούν να προσομοιωθούν ως εξής: «οι πληροφορίες για την
f (x) λαμβάνονται υπό τη μορφή f η (x), όπου f η (x) είναι μια προσέγγιση της
f (x), «αλλοιωμένη» με ένα μικρό ποσό θορύβου η». 'Ετσι, για την περίπτωση
του προσθετικού θορύβου οι τιμές της συνάρτησης λαμβάνονται ως:
f η (x) = f (x) + η,
ενώ για τον πολλαπλασιαστικό θόρυβο οι τιμές λαμβάνονται ως:
f η (x) = f (x) (1 + η), 1 + η > 0,
όπου η είναι ένας θόρυβος Gauss με μηδενική μέση τιμή και τυπική απόκλιση σ :
η ∼ N 0, σ 2 .

Parsopoulos K.E., Vrahatis M.N., “Particle swarm optimization and intelligence: Adva-
nces and applications”, Information Science Reference (IGI Global), Hershey, Pennsylva-
nia, U.S.A., 2010.
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
0.25
0.2
0.15
0.1
−0.65 −0.6 −0.55 −0.5 −0.45
0.242
0.241
0.24
0.239
0.238
0.237
0.236
0.235
0.234
0.233
0.232
−0.494 −0.492 −0.49 −0.488 −0.486 −0.484
0.24
0.2398
0.2396
0.2394
0.2392
0.239
0.2388
0.2386
−0.493 −0.4928 −0.4926 −0.4924 −0.4922 −0.492 −0.4918 −0.4916
Θραυσματικό σύνολο του Newton χωρίς παρουσία θορύβου
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
Θραυσματικό σύνολο του Newton με σθένος θορύβου σ = 0.04
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
1.5
0.5
−0.5
−1
−1.5
−2
−2 −1.5 −1 −0.5 0 0.5 1 1.5 2
Ανακεφαλαίωση
Οι έννοιες και τα θέματα που αναπτύχθηκαν σ' αυτή την ενότητα, είναι:
1 Μέθοδος των Newton-Raphson για συναρτήσεις μίας μεταβλητής.
2 Σύγκλιση της μεθόδου των Newton-Raphson.
3 Αλγόριθμος της μεθόδου των Newton-Raphson.
4 Μέθοδος του Newton για συναρτήσεις πολλών μεταβλητών.
5 Τύπος του Taylor για συναρτήσεις πολλών μεταβλητών.
6 Ανάπτυξη της μεθόδου του Newton.
7 Σύγκλιση της μεθόδου του Newton.
8 Αλγόριθμος της μεθόδου του Newton.
9 Τροποποιημένες μέθοδοι του Newton και η σύγλιση τους.
10 Θραυσματικό σύνολο του Newton και η οπτικοποίηση του.
Σας ευχαριστώ πολύ για

την προσέλευση και
την προσοχή σας.

1.aaii Newton Enothta Handout Ver 5

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

1.aaii Newton Enothta Handout Ver 5

Uploaded by

Copyright:

Available Formats

Υποενότητα Α

Εργαστήριο Υπολογιστικής Νοημοσύνης

Ενότητα: Η μέθοδος του Newton

Ανακοίνωση της Πλατφόρμας Τηλεκπαίδευσης eclass.upatras.gr του Πανεπιστημίου Πατρών

Ανακοίνωση της Πλατφόρμας Τηλεκπαίδευσης eclass.upatras.gr του Πανεπιστη-

Συνεπώς, απαγορεύεται ρητά η αναπαραγωγή, αναδημοσίευση, πώληση, μετάδοση,

Η μέθοδος του Newton

Η ονομασία της μεθόδου του Newton

Sir Isaac Newton (Ιανουάριος 4, 1643 – Μάρτιος 31, 1727)

Η μέθοδος του Newton

Επέλεξε κάποιο αρχικό σημείο x0 .

όπου JFn (xk ) είναι το n × n Ιακωβιανό μητρώο (Jacobian matrix).

Brook Taylor (Αύγουστος 18, 1685 – Δεκέμβριος 29, 1731)

Σημαντικός ιστορικός σταθμός για τη μέθοδο του Newton

Taylor B., “Methodus Incrementorum Directa et Inversa”, London, 1715

Arthur Cayley (Αύγουστος 16, 1821 – Ιανουάριος 26, 1895)

Σημαντικός ιστορικός σταθμός για τη μέθοδο του Newton

Cayley A., The Newton-Fourier imaginary problem, American Journal of Mathematics

Σκοπός και στόχοι της ενότητας

Σκοπός της ενότητας

Σκοπός και στόχοι της ενότητας

Σκοπός και στόχοι της ενότητας

Μέθοδος των Newton-Raphson Τροποποιημένες μέθοδοι του

Η μέθοδος του Newton για την επίλυση της f (x) = 0

Αριθμητική επίλυση εξίσωσης μίας μεταβλητής

Δεδομένης της f : [a, b] ⊂ R → R,

Η μέθοδος του Newton για την επίλυση της f (x) = 0

Η μέθοδος των Newton-Raphson

Η μέθοδος του Newton για την επίλυση της f (x) = 0

Η μέθοδος του Newton για την επίλυση της f (x) = 0

Σχήμα: Σκιαγράφηση της μεθόδου Newton-Raphson

Η μέθοδος του Newton για την επίλυση της f (x) = 0

Η μέθοδος του Newton για την επίλυση της f (x) = 0

Θεώρημα σύγκλισης της μεθόδου των Newton–Raphson

Αλγόριθμος της μεθόδου των Newton-Raphson

Αλγόριθμος της μεθόδου των Newton-Raphson

Αλγόριθμος της μεθόδου των Newton-Raphson

Αλγόριθμος της μεθόδου των Newton-Raphson

Αλγόριθμος της μεθόδου των Newton-Raphson

Αλγόριθμος της μεθόδου των Newton-Raphson

Βήμα 2: Θέσε k = −1.

Sir Isaac Newton (Ιανουάριος 4, 1643 – Μάρτιος 31, 1727)

Η μέθοδος του Newton για την επίλυση της

Επέλεξε κάποιο αρχικό σημείο x0 .

Η μέθοδος του Newton για την επίλυση της Fn (x) = Θn

Αριθμητική επίλυση ενός συστήματος μη-γραμμικών εξισώσεων

Δεδομένης της Fn = (f1 , f2 , . . . , fn ) : Dn ⊂ Rn → Rn ,

Η μέθοδος του Newton για την επίλυση της Fn (x) = Θn

Λύση εξίσωσης και λύση συστήματος εξισώσεων

Fn (x) = Θn = (0, 0, . . . , 0)> ,

ονομάζεται ρίζα (root) ή μηδενικό (zero) της συνάρτησης Fn ή λύση (solution)

Η μέθοδος του Newton για την επίλυση της Fn (x) = Θn

 ∂f1 (x) ∂f1 (x) ∂f1 (x)

Ανάπτυγμα δύναμης ενός αθροίσματος αριθμών

Ανάπτυγμα δύναμης ενός αθροίσματος αριθμών

Παράδειγμα: Ανάπτυγμα για (m = 2, ` = 2) και (m = 2, ` = 3)

m = 2, ` = 2 : y1 + y2 2 = y21 + 2y1 y2 + y22 ,

m = 2, ` = 3 : y1 + y2 3 = y31 + 3y21 y2 + 3y1 y22 + y32 .

Ανάπτυγμα δύναμης ενός αθροίσματος αριθμών

Παράδειγμα: Ανάπτυγμα για (m = 2, ` = 4) και (m = 3, ` = 2)

m = 2, ` = 4 : y1 + y2 4 = y41 + 4y31 y2 + 6y21 y22 + 4y1 y32 + y42 ,

m = 3, ` = 2 : y1 + y2 + y3 2 = y21 + y22 + y23 + 2y1 y2 + 2y1 y3 + 2y2 y3 .

+3y22 y3 + 3y23 y1 + 3y23 y2 + 6y1 y2 y3 .