43 CHATZIPANTELIDIS Numerical Analysis

Μ.
Πλεξουσάκης
Π. Χατζηπαντελίδης
ΑΡΙΘΜΗΤΙΚΗ
ΑΝΑΛΥΣΗ
ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ
Αριθμητική Ανάλυση
Μιχάλης Πλεξουσάκης
Επίκουρος Καθηγητής
Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών
Πανεπιστήμιο Κρήτης
Ηράκλειο
Παναγιώτης Χατζηπαντελίδης
Αναπληρωτής Καθηγητής
Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών
Ηράκλειο
ΚΑΛΛΙΠΟΣ
ΑΝΟΙΚΤΕΣ ΑΚΑΔΗΜΑΪΚΕΣ ΕΚΔΟΣΕΙΣ
www.kallipos.gr
Copyright © 2023, ΣΕΑΒ/ ΕΛΚΕ ΕΜΠ - ΚΑΛΛΙΠΟΣ,
ΑΝΟΙΚΤΕΣ ΑΚΑΔΗΜΑΪΚΕΣ ΕΚΔΟΣΕΙΣ
Το παρόν έργο διατίθεται με τους όρους της άδειας Creative Commons Αναφορά Δημιουργού – Μη Εμπο-
ρική Χρήση – Παρόμοια Διανομή 4.0. Για να δείτε τους όρους της άδειας αυτής επισκεφτείτε τον ιστότοπο
https://creativecommons.org/licenses/by‐nc‐sa/4.0/legalcode.el
Αν τυχόν κάποιο τμήμα του έργου διατίθεται με διαφορετικό καθεστώς αδειοδότησης, αυτό αναφέρεται ρητά
και ειδικώς στην οικεία θέση.
Συντελεστές έκδοσης
Γλωσσική επιμέλεια: Κυριακή Ευαγγελία Ασλάνη
Γραφιστική επιμέλεια: Μιχάλης Πλεξουσάκης, Παναγιώτης Χατζηπαντελίδης
Τεχνική επεξεργασία: Μιχάλης Πλεξουσάκης, Παναγιώτης Χατζηπαντελίδης
Κεντρική Ομάδα Υποστήριξης
Γλωσσικός Έλεγχος: Γεωργία Τριανταφυλλίδου
Γραφιστικός Έλεγχος: Χρήστος Κεντρωτής
Βιβλιοθηκονομική Επεξεργασία: Αλέξανδρος Ηλιάκης
ΚΑΛΛΙΠΟΣ
Εθνικό Μετσόβιο Πολυτεχνείο
Ηρώων Πολυτεχνείου 9
15780 Ζωγράφου
www.kallipos.gr
Βιβλιογραφική αναφορά: Πλεξουσάκης Μ. & Χατζηπαντελίδης Π., (2023).

Αριθμητική Ανάλυση [Μεταπτυχιακό εγχειρίδιο].
Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις.
Διαθέσιμο στο: http://dx.doi.org/10.57713/kallipos-395
ISBN: 978-618-228-157-4
Αφιερώνεται
στον Γιάννη, στη Βασιλική και στον
Γιάννη.
ΠΕΡΙΕΧΟΜΕΝΑ
Πίνακας συντομεύσεων - ακρωνυμίων ix
I Αριθμητική Λύση Γραμμικών και μη Γραμμικών Συστημάτων 1

1 Βασικές Έννοιες Γραμμικής Άλγεβρας 3
Μιχάλης Πλεξουσάκης, Παναγιώτης Χατζηπαντελίδης
1.1 Διανυσματικοί χώροι . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2 Διανυσματικοί χώροι με εσωτερικό γινόμενο και νόρμα . . . . . . . . . . . . . . . . . . 5
1.3 Γραμμικοί τελεστές και πίνακες . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Ιδιοτιμές-Ιδιοδιανύσματα . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 Νόρμες πινάκων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.6 Η ανάλυση SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.7 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Επίλυση Γραμμικών Συστημάτων 25

2.1 Γενικά . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2 Ανάλυση LU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Δείκτης κατάστασης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 Ανάλυση Cholesky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 Ανάλυση QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3 Επαναληπτικές Μέθοδοι για Γραμμικά Συστήματα 41

3.1 Γενική μέθοδος . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.2 Μέθοδοι Jacobi και Gauss Seidel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3 Μέθοδοι διαδοχικής υπερχαλάρωσης (SOR) . . . . . . . . . . . . . . . . . . . . . . . 47
i
ii ΠΕΡΙΕΧΟΜΕΝΑ
3.4 Μέθοδοι κλίσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

3.4.1 Γεωμετρική ερμηνεία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.4.2 Μέθοδος απότομης καθόδου . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.4.3 Μέθοδος συζυγών κλίσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.5 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4 Ελάχιστα τετράγωνα 63
4.1 Το πρόβλημα ελαχίστων τετραγώνων . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

4.2 Η ανάλυση QR για μη τετραγωνικούς πίνακες . . . . . . . . . . . . . . . . . . . . . . . 66
4.3 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
5 Προβλήματα ιδιοτιμών 71
5.1 Εντοπισμός ιδιοτιμών. Η ανισότητα του Gershgorin . . . . . . . . . . . . . . . . . . . 73

5.2 Η ευστάθεια του προβλήματος των ιδιοτιμών . . . . . . . . . . . . . . . . . . . . . . . 73
5.3 Πηλίκα Rayleigh για ερμιτιανούς πίνακες . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.4 Η μέθοδος των δυνάμεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.5 Μετασχηματισμός σε μορφή Hessenberg . . . . . . . . . . . . . . . . . . . . . . . . . 81
5.6 Ο αλγόριθμος QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
5.7 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
6 Αριθμητική λύση μη γραμμικών εξισώσεων 89

6.1 Αριθμητική λύση μη γραμμικών εξισώσεων . . . . . . . . . . . . . . . . . . . . . . . . 89

6.2 Η μέθοδος Newton-Raphson για μη γραμμικές εξισώσεις . . . . . . . . . . . . . . . . . 91
6.3 Σύγκλιση της μεθόδου Newton-Raphson για μη γραμμικές εξισώσεις . . . . . . . . . . . 94
6.4 Ολική σύγκλιση της μεθόδου Newton-Raphson . . . . . . . . . . . . . . . . . . . . . 96
6.5 Η μέθοδος της τέμνουσας . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7 Αριθμητική λύση μη γραμμικών συστημάτων 101

7.1 Αριθμητική λύση μη γραμμικών συστημάτων . . . . . . . . . . . . . . . . . . . . . . . 101

7.1.1 Επαναληπτικές μέθοδοι για μη γραμμικά συστήματα . . . . . . . . . . . . . . . 107
7.1.2 Η μέθοδος Newton-Raphson για συστήματα . . . . . . . . . . . . . . . . . . 108
7.2 Το θεώρημα του Kantorovich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
7.3 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
II Αριθμητική Λύση Συνήθων Διαφορικών Εξισώσεων 119

8 Προβλήματα Αρχικών Τιμών 121
ΠΕΡΙΕΧΟΜΕΝΑ iii
8.1 Το Πρόβλημα Αρχικών Τιμών . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

8.2 Ευστάθεια . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8.3 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
9 Μονοβηματικές Μέθοδοι Ι. Μέθοδος Euler 129

9.1 Η μέθοδος Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

9.2 Εκτίμηση σφάλματος μεθόδου Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
9.3 Tοπικό σφάλμα διακριτοποίησης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
9.4 Ευστάθεια της μεθόδου Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
9.5 Γενικεύσεις της μεθόδου Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
9.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
10 Μονοβηματικές Μέθοδοι ΙΙ. Μέθοδοι Runge-Kutta 147

10.1 Μέθοδοι Runge-Kutta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

10.2 Επιλυσιμότητα μεθόδων Runge-Kutta και ευστάθεια . . . . . . . . . . . . . . . . . . . 151
10.3 Τοπικό σφάλμα διακριτοποίησης. Τάξη ακρίβειας . . . . . . . . . . . . . . . . . . . . . 154
10.4 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
11 Πολυβηματικές Μέθοδοι 161

11.1 Γραμμικές πολυβηματικές μέθοδοι . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

11.2 Παραδείγματα πολυβηματικών μεθόδων . . . . . . . . . . . . . . . . . . . . . . . . . . 163
11.2.1 Μέθοδοι Adams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
11.2.2 Μέθοδοι BDF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
11.3 Γραμμικές εξισώσεις διαφορών . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
11.4 Ευστάθεια και συνέπεια πολυβηματικών μεθόδων . . . . . . . . . . . . . . . . . . . . . 166
11.5 Σύγκλιση . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
11.6 Μέθοδοι Πρόβλεψης-Διόρθωσης . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
11.7 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
12 Ευστάθεια Άκαμπτων Διαφορικών Εξισώσεων 183

12.1 Άκαμπτα προβλήματα και απόλυτη ευστάθεια . . . . . . . . . . . . . . . . . . . . . . . 184

12.2 Απόλυτη ευστάθεια μεθόδων Runge-Kutta . . . . . . . . . . . . . . . . . . . . . . . . 190
12.3 Απόλυτη ευστάθεια πολυβηματικών μεθόδων . . . . . . . . . . . . . . . . . . . . . . . 193
12.4 B-ευστάθεια . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
12.5 G-ευστάθεια . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
12.6 Ασκήσεις . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Βιβλιογραφία . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
iv ΠΕΡΙΕΧΟΜΕΝΑ
III Παράρτημα 201

13 Λύσεις επιλεγμένων ασκήσεων 203
ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
5.1 Οι δίσκοι του Gershgorin για τον Πίνακα 5.2 . . . . . . . . . . . . . . . . . . . . . . . 74
6.1 Ένα βήμα της μεθόδου Newton-Raphson για την f (x) = x2 − 3. . . . . . . . . . . . . 92

6.2 Η μέθοδος Newton-Raphson για τη λύση της f (x) = arctan x = 0 με αρχική εκτίμηση
x0 = 10. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7.1 Βήματα της μεθόδου Newton-Raphson με αρχική τιμή x0 = (1, 5)T , x0 = (−4, 3)T και
x0 = (2, −4)T , αντίστοιχα, πάνω από τις ισοϋψείς καμπύλες της kF k2 του Παραδείγμα-
τος 7.3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
8.1 Εφαρμογή του θεωρήματος Picard-Lindelöf στο πρόβλημα αρχικών τιμών του Παραδείγ-
ματος 8.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
9.1 Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.1 για διάφορες αρχικές τιμές c, καθώς
και η προσεγγιστική λύση για αρχική τιμή c = 5/2, με τη μέθοδο Euler, με βήμα h = 1/5.
Με τις τελείες είναι οι προσεγγίσεις που δίνει η μέθοδος. . . . . . . . . . . . . . . . . . 131
9.2 Τοπικό σφάλμα διακριτοποίησης. Το σημείο P1 προκύπτει κάνοντας ένα βήμα μεγέθους h
με τη μέθοδο Euler, αν ξεκινήσουμε από το σημείο (t, y(t)). Το σημείο P2 είναι το σημείο
του γραφήματος για την ακριβή τιμή y(t + h). Η διαφορά των δύο σημείων δίνει το τοπικό
σφάλμα διακριτοποίησης. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
9.3 Παράδειγμα 9.2. Πάνω αριστερά: Η καμπύλη x(t)2 + y(t)2 της ακριβούς λύσης. Υπόλοι-
πες: Οι αντίστοιχες καμπύλες που δημιουργούν οι προσεγγίσεις με την άμεση μέθοδο Euler
για N = 50, 100, 200, 400. Καθώς αυξάνεται το πλήθος των σημείων N δηλαδή μειώνε-
ται η παράμετρος διαμέρισης h, η καμπύλη των προσεγγίσεων πλησιάζει την καμπύλη της
ακριβούς λύσης. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
9.4 Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.3 καθώς και οι προσεγγιστικές λύσεις
με τη μέθοδο Euler, την πεπλεγμένη μεθόδο Εuler, τη μέθοδο του τραπεζίου και τη μέθοδο
του μέσου, με βήμα h = 1/25. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
9.5 Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.4 καθώς και οι προσεγγιστικές λύσεις
με τη μέθοδο Euler, την πεπλεγμένη μεθόδο Εuler, τη μέθοδο του τραπεζίου και τη μέθοδο
του μέσου, με βήμα h = 1/10. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
v
vi ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ
12.1 Η μέθοδος Euler με h = 1/50 για την αριθμητική λύση του Παραδείγματος 12.1. . . . . 184
12.2 Η μέθοδος Euler με h = 1/50, 1/80, 1/100, 1/120, για την αριθμητική λύση του Πα-
ραδείγματος 12.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
12.3 Η πεπλεγμένη μέθοδος Euler με h = 1/50 για την αριθμητική λύση του Παραδείγματος
(12.2). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
12.4 Η μέθοδος Euler με h = 1/16 για την αριθμητική λύση του προβλήματος (12.12). . . . . 189
12.5 Το χωρίο Sθ στο μιγαδικό επίπεδο. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
12.6 Περιοχές απόλυτης ευστάθειας των άμεσων μεθόδων Runge-Kutta με τάξεις ακρίβειας p =
1, 2, 3, 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
12.7 Αριστερά: Περιοχές απόλυτης ευστάθειας των k βηματικών μεθόδων Adams-Bashforth με
k = 2, 3, 4. Δεξιά: Περιοχές απόλυτης ευστάθειας των k βηματικών μεθόδων Adams-
Moulton με k = 2, 3, 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
12.8 Περιοχές απόλυτης ευστάθειας των k βηματικών μεθόδων BDF με k = 2, 3, 4, 5, 6. Η
BDF με k = 2 είναι A-ευσταθής. Οι μέθοδοι BDF με k = 3, 4, 5, 6 είναι A(θ)-ευσταθείς,
επειδή περιέχουν τον κώνο Sθ με θ ≈ 86◦ , θ ≈ 73◦ , θ ≈ 52◦ , θ ≈ 18◦ . . . . . . . . . 194
ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
6.1 Η μέθοδος Newton-Raphson για τη λύση της εξίσωσης x2 − 3 = 0. Με έντονο χρώμα τα

σωστά ψηφία της κάθε προσέγγισης. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2 Η μέθοδος Newton-Raphson για το σύστημα f (x) = x2 − 1 = 0 και g(x) = x2 −
2x + 1 = 0. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.3 Η Newton-Raphson, η τροποποιημένη Newton-Raphson και η μέθοδος της τέμνουσας
για τη λύση της f (x) = x2 − 1 = 0. . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
9.1 Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.1 και η προσεγγιστική λύση για αρ-
χική τιμή c = 5/2, με τη μέθοδο Euler, με βήμα h = 1/5. . . . . . . . . . . . . . . . . 131
9.2 Παράδειγμα 9.1. Η ακριβής λύση του προβλήματος και η προσεγγιστική λύση για αρχική
τιμή c = 5/2, με τη μέθοδο Euler, με βήμα h = 1/5, h = 1/10 και h = 1/20. . . . . . 132
9.3 Τα σφάλματα |y(tN ) − y N | στο σημείο tN = N h = 10 των μεθόδων Εuler, πεπλεγμένης
Εuler, τραπεζίου και μέσου, υπολογισμένα για N = 100, 200, 300, 400 και οι αντίστοιχες
προσεγγίσεις της τάξης ακρίβειας p για το Παράδειγμα 9.3. . . . . . . . . . . . . . . . . 142
9.4 Τα σφάλματα |y(tN ) − y N | στο σημείο tN = N h = 1 των μεθόδων Εuler, πεπλεγμένης
Εuler, τραπεζίου και μέσου υπολογισμένα για N = 50, 100, 150, 200 και οι αντίστοιχες
προσεγγίσεις της τάξης ακρίβειας p για το Παράδειγμα 9.4. . . . . . . . . . . . . . . . . 143
10.1 Σφάλματα μεθόδων Runge-Kutta, για N h = 10 και αντίστοιχες προσεγγίσεις της τάξης
ακρίβειας p. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
11.1 Σφάλματα της μεθόδου του Παραδείγματος 11.4 για t = 0.5, 1, 1.5, 2 και N = 20, 40,
80, 160. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
12.1 Η μέθοδος Euler στο πρόβλημα (12.7) με λ = −1000, f (t) = t2 , y(0) = 0 και h =
1/400. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
13.1 Άσκηση 6.6.4: Επαναλήψεις της μεθόδου Newton-Raphson για την f με αρχική τιμή x0 = 2. 223
13.3 Άσκηση 6.6.7: Επαναλήψεις της μεθόδου Newton-Raphson για την f με αρχική τιμή x0 =
0.1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
vii
viii ΚΑΤΑΛΟΓΟΣ ΠΙΝΑΚΩΝ
13.6 Άσκηση 6.6.10: Επαναλήψεις της μεθόδου Newton-Raphson για την f με αρχική τιμή
x0 = 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΕΥΣΕΩΝ - ΑΚΡΩΝΥΜΙΩΝ
BDF Backward Difference Formula

SOR Succesive Overrelaxation
SVD Singular Value Decomposition
ΔΕ Διαφορική Εξίσωση
ΠΑΤ Πρόβλημα Αρχικών Τιμών
ix
x ΠΙΝΑΚΑΣ ΣΥΝΤΟΜΕΥΣΕΩΝ - ΑΚΡΩΝΥΜΙΩΝ
Μέρος I
ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΚΑΙ ΜΗ

ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ
ΚΕΦΑΛΑΙΟ 1
ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΓΡΑΜΜΙΚΗΣ ΑΛΓΕΒΡΑΣ

Περίληψη
Ξεκινάμε ανακαλώντας μερικές βασικές έννοιες από τη γραμμική άλγεβρα, καθώς αυτές αποτελούν τη βάση
αυτών που θα εξετάσουμε στο πρώτο μέρος αυτού του βιβλίου, δηλαδή την αριθμητική γραμμική άλγεβρα.
Για αυτόν τον λόγο πολλές προτάσεις δίνονται χωρίς αποδείξεις. Επίσης εισάγουμε τον συμβολισμό και την
ορολογία που θα χρησιμοποιήσουμε στη συνέχεια. Το βιβλίο των Horn και Johnson [2] ή το βιβλίο του Strang
[4], αποτελούν καλές βιβλιογραφικές αναφορές για τη γραμμική άλγεβρα και την ανάλυση πινάκων.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Γραμμικής Άλγεβρας.
1.1 Διανυσματικοί χώροι
Ορισμός 1.1. Έστω K ένα σώμα (συνήθως το R ή το C). Το σύνολο X ονομάζεται διανυσματικός χώρος πάνω
από το K αν υπάρχουν πράξεις + : X × X → X και · : K × X → X τέτοιες ώστε η τριάδα (X, + , · ) να
ικανοποιεί τα ακόλουθα:
1. Υπάρχει στοιχείο 0 ∈ X τέτοιο ώστε για κάθε x ∈ X
x + 0 = 0 + x = x.
2. Για κάθε x ∈ X υπάρχει ένα στοιχείο −x ∈ X τέτοιο ώστε

x + (−x) = (−x) + x = 0.
3. Ισχύει η λεγόμενη προσεταιριστική ιδιότητα, δηλαδή για κάθε x, y, z ∈ X έχουμε

x + (y + z) = (x + y) + z.
Πλεξουσάκης Μ. & Χατζηπαντελίδης Π. (2023). «Αριθμητική Ανάλυση» [Μεταπτυχιακό εγχειρίδιο].

Κάλλιπος, Ανοικτές Ακαδημαϊκές Εκδόσεις. http://dx.doi.org/10.57713/kallipos-395
Creative Commons Αναφορά Δημιουργού - Μη Εμπορική Χρήση - Παρόμοια Διανομή 4.0
4 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΓΡΑΜΜΙΚΗΣ ΑΛΓΕΒΡΑΣ
4. Ισχύει η λεγόμενη αντιμεταθετική ιδιότητα, δηλαδή για κάθε x, y ∈ X έχουμε
x + y = y + x.
5. Για κάθε α, β ∈ K και x ∈ X έχουμε
α · (β · x) = (αβ) · x.
6. Υπάρχει στοιχείο 1 ∈ K τέτοιο ώστε για κάθε x ∈ X
1 · x = x.
7. Για κάθε α, β ∈ K και x ∈ X έχουμε
(α + β) · x = α · x + β · x.
8. Για κάθε α ∈ K και x, y ∈ X έχουμε
α · (x + y) = α · x + α · y.
Για παράδειγμα, ο C είναι διανυσματικός χώρος πάνω από το R. Ακόμα, ο χώρος Pn (K) των πολυωνύμων
βαθμού το πολύ n με συντελεστές από το σώμα K είναι διανυσματικός χώρος πάνω από το K.
Ορισμός 1.2. Έστω K σώμα και n ∈ N. Θα γράφουμε
Kn = {v = (v1 , . . . , vn )T | vi ∈ K, i = 1, . . . , n}.
Για x, y ∈ Kn και α ∈ K ορίζουμε τις πράξεις της πρόσθεσης και του πολλαπλασιασμού ως
(x + y)i = xi + yi , (αx)i = αxi , i = 1, . . . , n.
Εύκολα διαπιστώνει κανείς ότι με αυτές τις πράξεις της πρόσθεσης και του πολλαπλασιασμού, ο Kn είναι
διανυσματικός χώρος πάνω από το K.
Ορισμός 1.3. Έστω V διανυσματικός χώρος πάνω από το σώμα K και
S = {x1 , . . . , xn } ⊆ V.
Θα λέμε ότι x ∈ V είναι γραμμικός συνδυασμός στοιχείων του S αν υπάρχουν αi ∈ K, i = 1, . . . , n, έτσι

ώστε
X n
x= α i xi .
i=1
Το σύνολο όλων των γραμμικών συνδυασμών στοιχείων του S θα συμβολίζεται με span(S).

Ορισμός 1.4. Έστω V διανυσματικός χώρος πάνω από το σώμα K και S = {x1 , . . . , xn } ένα πεπερασμένο
υποσύνολο του V. Θα λέμε ότι τα στοιχεία του S είναι γραμμικά ανεξάρτητα αν
X
n
α i xi = 0
i=1
συνεπάγεται ότι αi = 0, i = 1, . . . , n, διαφορετικά θα λέμε ότι είναι γραμμικά εξαρτημένα. Αν S ⊆ V είναι

απειροσύνολο, τότε θα λέμε ότι τα στοιχεία του είναι γραμμικά ανεξάρτητα αν τα στοιχεία κάθε πεπερασμένου
υποσυνόλου του S είναι γραμμικά ανεξάρτητα, διαφορετικά θα λέμε ότι είναι γραμμικά εξαρτημένα.
ΑΡΙΘΜΗΤΙΚΗ ΑΝΑΛΥΣΗ 5
Ορισμός 1.5. Έστω V διανυσματικός χώρος πάνω από το σώμα K με τις πράξεις της πρόσθεσης ‘+’ και του
πολλαπλασιασμού ‘ · ’. Θα λέμε ότι το μη κενό σύνολο W ⊆ V είναι υπόχωρος του V αν (W, +, ·) είναι
διανυσματικός χώρος πάνω από το K.
Εύκολα διαπιστώνει κανείς ότι αν V είναι διανυσματικός χώρος πάνω από το K και S = {x1 , . . . , xn } ⊆ V,
τότε span(S) είναι υπόχωρος του V.
Ορισμός 1.6. Έστω V διανυσματικός χώρος πάνω από το σώμα K και
J = {|S| : S ⊆ V, S γραμμικά ανεξάρτητο, |S| < ∞},
όπου |S| είναι η πληθικότητα του S. Αν το J είναι φραγμένο, θα λέμε ότι ο χώρος V έχει πεπερασμένη διάσταση
και θα γράφουμε dim(V) = max J, διαφορετικά, θα λέμε ότι ο V είναι απειροδιάστατος. Αν dim(V) = k,
τότε το σύνολο B ⊆ V θα λέγεται βάση του V αν και μόνο αν τα στοιχεία του B είναι γραμμικά ανεξάρτητα
και |B| = k.
Για παράδειγμα, τα στοιχεία του απειροσύνολου S = {1, x, x2 , . . .} είναι γραμμικά ανεξάρτητα, συνεπώς ο
χώρος των πολυώνυμων P είναι απειροδιάστατος. Το ίδιο ισχύει για τον διανυσματικό χώρο C([−1, 1]; C)
των συνεχών συναρτήσεων στο [−1, 1] με τιμές στο C. Το σύνολο B = {e(1) , . . . , e(n) }, όπου
(
(i) 1 αν i = j,
ej = δij = 1 ≤ i, j ≤ n,
0 διαφορετικά,
εύκολα αποδεικνύεται ότι αποτελεί βάση του Cn . Θα αναφερόμαστε σε αυτήν ως την κανονική βάση του Cn .
1.2 Διανυσματικοί χώροι με εσωτερικό γινόμενο και νόρμα
Ορισμός 1.7. Έστω V ένας διανυσματικός χώρος πάνω από τους μιγαδικούς αριθμούς. Η απεικόνιση (·, ·) :
V × V → C ονομάζεται εσωτερικό γινόμενο αν ισχύουν οι ακόλουθες ιδιότητες:
(i.) Για κάθε x, y ∈ V (x, y) = (y, x).
(ii.) Για κάθε x, y ∈ V και λ ∈ C (λx, y) = λ(x, y).
(iii.) Για κάθε x, y, z ∈ V (x + y, z) = (x, z) + (y, z).
(iv.) Για κάθε x ∈ V 0 ≤ (x, x) ∈ R και αν (x, x) = 0 τότε x = 0.
Παρατήρηση 1.1 (Παραδείγματα χωρών με εσωτερικό γινόμενο.). Το εσωτερικό γινόμενο των x ∈ Rn και
y ∈ Rn είναι ο πραγματικός αριθμός
X
n
(x, y) = xT y = xi yi = y T x = (y, x).
i=1
Το εσωτερικό γινόμενο των x, y ∈ Cn είναι ο μιγαδικός αριθμός

X
n
H
(x, y) = x y = x̄i yi = y H x = (y, x).
i=1
Ορισμός 1.8. Έστω V ένας διανυσματικός χώρος με εσωτερικό γινόμενο (·, ·). Λέμε ότι τα x, y ∈ V είναι
ορθογώνια και γράφουμε x⊥y αν (x, y) = 0. Το σύνολο S ⊂ V λέγεται ορθογώνιο αν για κάθε x, y ∈ S
με x 6= y έχουμε x⊥y. Δύο σύνολα S1 , S2 ⊂ V λέγονται ορθογώνια μεταξύ τους αν για κάθε x ∈ S1 και
κάθε y ∈ S2 με x 6= y έχουμε x⊥y. Αν S1 , S2 είναι ορθογώνια μεταξύ τους, γράφουμε S1 ⊥S2 . Αν S1 , S2
είναι επιπλέον και υπόχωροι του V λέγονται ορθογώνιοι χώροι.
Ορισμός 1.9. Έστω V ένας διανυσματικός χώρος πάνω από τους μιγαδικούς αριθμούς. Η συνάρτηση k · k :
V → R ονομάζεται νόρμα στον V αν ικανοποιούνται οι ακόλουθες ιδιότητες:
(i) kvk = 0 αν και μόνο αν v = 0.
(ii) kλvk = |λ|kvk για κάθε λ ∈ C, v ∈ V.
(iii) (τριγωνική ανισότητα) kv + wk ≤ kvk + kwk για κάθε v, w ∈ V.
Λήμμα 1.1. Έστω V ένας διανυσματικός χώρος πάνω από τους μιγαδικούς αριθμούς, με νόρμα k · k. Τότε
(i) kvk ≥ 0, για κάθε v ∈ V.
(ii) kv − wk ≥ |kvk − kwk|, για κάθε v, w ∈ V .
Απόδειξη. Η πρώτη σχέση προκύπτει εύκολα από τις ιδιότητες του Ορισμού 1.9,
0 = kv + (−v)k ≤ kvk + k − vk = 2kvk.
Στη συνέχεια, επειδή
kvk = k(v − w) + wk ≤ kv − wk + kwk,
kwk = k(w − v) + vk ≤ kv − wk + kvk,
παίρνουμε και τη δεύτερη σχέση.
Παρατήρηση 1.2. Εύκολα διαπιστώνουμε ότι αν V είναι διανυσματικός χώρος με εσωτερικό γινόμενο (·, ·),
τότε η σχέση p
kxk = (x, x), (1.1)
ορίζει μια νόρμα στον V.
Ορισμός 1.10. Έστω V ένας διανυσματικός χώρος με εσωτερικό γινόμενο (·, ·) και S ⊂ V. Το S θα λέγεται
ορθοκανονικό αν είναι ορθογώνιο και επιπλέον για κάθε x ∈ S, kxk = 1, όπου k · k είναι η νόρμα που
παράγεται από το εσωτερικό γινόμενο (·, ·). Αν το S είναι και βάση του V θα λέγεται ορθοκανονική βάση.
Λήμμα 1.2 (Ανισότητα Cauchy-Schwarz). Έστω V ένας διανυσματικός χώρος πάνω από τους μιγαδικούς αριθ-
μούς με εσωτερικό γινόμενο (·, ·). Τότε, για κάθε x, y ∈ V έχουμε
|(x, y)| ≤ kxkkyk, (1.2)
με ισότητα αν και μόνο αν x, y είναι γραμμικά εξαρτημένα.
Απόδειξη. Η ανισότητα Cauchy-Schwarz ισχύει τετριμμένα αν y = 0. Υποθέτουμε ότι y 6= 0 και παρατη-
ρούμε ότι για λ = (x, y)/(y, y) και z = x − λy, έχουμε (z, y) = 0. Επομένως,
(x, x) = (z + λy, x + λy) = (z, z) + |λ|2 (y, y) ≥ |λ|2 (y, y),
από όπου προκύπτει η ζητούμενη ανισότητα. Αν τώρα x, y είναι γραμμικά εξαρτημένα, δηλαδή υπάρχει λ ∈ C
τέτοιο ώστε x = λy, έχουμε
|(x, y)|2 = |(λy, y)|2 = |λ|2 (y, y)2 = λλ̄(y, y)(y, y) = (λy, λy)(y, y) = (x, x)(y, y),
δηλαδή η ανισότητα Cauchy-Schwarz ισχύει ως ισότητα. Αν τώρα ισχύει η ισότητα |(x, y)|2 = kxk2 kyk2 ,
τότε παρατηρούμε ότι για λ = (x, y)/(y, y) έχουμε
|(x, y)|2
(x − λy, x − λy) = (x, x) − λ̄(x, y) − λ(y, x) + |λ|2 (y, y) = (x, x) − = 0.
(y, y)
Επομένως x − λy = 0, δηλαδή τα x, y είναι γραμμικώς εξαρτημένα.
Παρατήρηση 1.3 (Παραδείγματα χώρων με νόρμα). Έστω x ∈ Cn . Οι λεγόμενες p-νόρμες ή νόρμες Hölder
ορίζονται ως
!1/p
X n
kxkp = |xi |p , p ≥ 1, (1.3)
i=1
όπου xi , i = 1, . . . , n, οι συνιστώσες του x. Από αυτές, οι
kxk1 = |x1 | + · · · + |xn |,
1/2
kxk2 = |x1 |2 + · · · + |xn |2 ,
kxk∞ = max |xi |,
1≤i≤n
είναι οι πιο χρήσιμες τόσο στη θεωρία, όσο και υπολογιστικά.

Εύκολα μπορεί να αποδειχθεί, βλέπε π.χ. [5], ότι όλες οι νόρμες στον Cn είναι ισοδύναμες, δηλαδή αν k·kα
και k · kβ είναι νόρμες στον Cn , τότε υπάρχουν θετικές σταθερές c1 και c2 τέτοιες ώστε
c1 kxkα ≤ kxkβ ≤ c2 kxkα , (1.4)
για κάθε x ∈ Cn . Για παράδειγμα,
√
kxk2 ≤ kxk1 ≤ n kxk2 , (1.5)
√
kxk∞ ≤ kxk2 ≤ n kxk∞ , (1.6)
kxk∞ ≤ kxk1 ≤ n kxk∞ . (1.7)
Ένα κλασικό αποτέλεσμα σχετικά με τις p-νόρμες είναι η ανισότητα του Hölder
1 1
|xH y| ≤ kxkp kykq , + =1 (1.8)
p q
με την ειδική περίπτωση p = q = 2 να αποτελεί την ανισότητα των Cauchy-Schwarz (1.2).
1.3 Γραμμικοί τελεστές και πίνακες
Ορισμός 1.11. Έστω V, W διανυσματικοί χώροι πάνω από τους μιγαδικούς αριθμούς. Μια απεικόνιση T :
V → W ονομάζεται γραμμικός τελεστής αν
T (αx + βy) = α T x + β T y, ∀x, y ∈ V, ∀α, β ∈ C. (1.9)
Το σύνολο όλων των γραμμικών τελεστών από τον V στον W θα συμβολίζεται με L(V, W). Αν T, S ∈
L(V, W) και α, β ∈ C, τότε ορίζουμε τον τελεστή α T + β S από τη σχέση
(α T + β S)(x) = α T x + β Sx, ∀x ∈ V. (1.10)
Ο α T + β S είναι, προφανώς, γραμμικός τελεστής και έχουμε το ακόλουθο αποτέλεσμα:
Πρόταση 1.1. Έστω V, W διανυσματικοί χώροι πάνω από τους μιγαδικούς αριθμούς. Τότε το σύνολο L(V, W)
είναι διανυσματικός χώρος με τις πράξεις της πρόσθεσης και του πολλαπλασιασμού, όπως ορίστηκαν στην (1.10).
Αν dim(V) = m και dim(W) = n τότε, dim(L(V, W)) = mn.
Η σχέση (1.9) εκφράζει το γεγονός ότι ένας γραμμικός τελεστής T είναι ένας ομοιομορφισμός μεταξύ των
χώρων V και W, με την έννοια ότι διατηρεί τις δύο πράξεις των διανυσματικών χώρων: Στη σχέση (1.9) στο
αριστερό μέλος, πρώτα εφαρμόζουμε τις πράξεις του διανυσματικού χώρου και μετά απεικονίζουμε στον χώρο
W, ενώ στο δεξί μέλος πρώτα απεικονίζουμε στον χώρο W και μετά εφαρμόζουμε τις αντίστοιχες πράξεις,
λαμβάνοντας το ίδιο αποτέλεσμα.
Ορισμός 1.12. Αν T ∈ L(V, W), καλούμε πυρήνα του T και συμβολίζουμε με N (T ), το υποσύνολο του
V που αποτελειται από όλα τα διανύσματα τέτοια ώστε ο T τα απεικονίζει στο μηδενικό στοιχείο του W,
N (T ) = {v ∈ V : T v = 0}.
Ορισμός 1.13. Αν T ∈ L(V, W), καλούμε εικόνα του T και το συμβολίζουμε με R(T ), το υποσύνολο του
W που αποτελείται από όλα τα διανύσματα της μορφής T v, για κάποιο v ∈ V,
R(T ) = {T v ∈ W : v ∈ V}.
Μπορούμε να δούμε ότι τα N (T ) και R(T ) είναι υπόχωροι των V και W. Το επόμενο θεώρημα είναι
πολύ σημαντικό και συνδέει τις διαστάσεις των υποχώρων N (T ) και R(T ) ενός γραμμικού τελεστή. Για την
απόδειξη βλ. π.χ. [3], [4].
Θεώρημα 1.1 (Θεμελιώδες Θεώρημα Γραμμικών Τελεστών). Έστω V ένας πεπερασμένης διάστασης διανυ-
σματικός χώρος και T ∈ L(V, W). Τότε R(T ) είναι διανυσματικός χώρος πεπερασμένης διάστασης και
dim(V) = dim(N (T )) + dim(R(T ))
Ορισμός 1.14. Ένας m × n πίνακας είναι μια διάταξη αριθμών σε m γραμμές και n στήλες. Αν ο A είναι ένας
m × n πίνακας θα συμβολίζουμε το στοιχείο του στη γραμμή i, στήλη j με aij . Θα γράφουμε A ∈ Rm×n αν
τα στοιχεία του A είναι πραγματικοί αριθμοί και A ∈ Cm×n αν τα στοιχεία του A είναι μιγαδικοί αριθμοί.¹
Οι n × n πίνακες λέγονται τετραγωνικοί.
 
a11 ··· a1n
 .. ..  .
A = (aij ) =  . . 
am1 · · · amn
Θα γράφουμε Rm αντί για Rm×1 και Cm αντί για Cm×1 και θα αναφερόμαστε στα στοιχεία τους ως δια-
νύσματα-στήλες ή απλά διανύσματα. Το στοιχείο του διανύσματος x στη γραμμή i θα συμβολίζεται με xi . Θα
χρησιμοποιούμε, συνήθως, κεφαλαία γράμματα για τους πίνακες και πεζά γράμματα για τα διανύσματα.
Ο n × n ταυτοτικός πίνακας θα συμβολίζεται με In και η k-στή στήλη του, το λεγόμενο k-στό κανονικό
διάνυσμα, με e(k) :
   
1 0 ··· 0 0 0
0 1 0 ··· 0  .. 
  .
 .. . ..   
In =  . .. . e(k) = 1 ← k-θέση
  .
0 . . . 0 1 0  .. 
0 0 ... 0 1 0
Ορισμός 1.15 (Ανάστροφος). Αν A ∈ Cm×n , ο πίνακας B ∈ Cn×m όπου bij = aji , i = 1, . . . , n,

j = 1, . . . , m καλείται ανάστροφος πίνακας του A και συμβολίζεται AT .
 
a11 · · · am1
T  .. ..  .
A = (aji ) =  . . 
a1n · · · amn
¹Τα περισσότερα αποτελέσματα που ακολουθούν αφορούν πραγματικούς πίνακες, αλλά η θεώρηση μιγαδικών πινάκων δεν
προσθέτει επιπλέον δυσκολίες.
Αν A ∈ Cm×n , ο συμβολισμός A = (c(1) , . . . , c(n) ) δηλώνει ότι c(k) ∈ Cm είναι η k-στή στήλη του A.
Για παράδειγμα In = (e(1) , . . . , e(n) ). Όμοια, ο συμβολισμός
 T 
r(1)
 
A =  ... 
T
r(m)
T
δηλώνει ότι r(k) είναι η k-στή γραμμή του A.
΄Εστω A ∈ Cm×n . Αν 1 ≤ i1 < i2 < · · · < ir ≤ m και 1 ≤ j1 < j2 < · · · < js ≤ n, τότε ο
πίνακας B ∈ Cr×s με bpq = aip jq ονομάζεται υποπίνακας του A. Κύριος υποπίνακας είναι ένας υποπίνακας
για τον οποίο r = s και i1 = j1 , i2 = j2 , . . . , ir = jr .
Ορισμός 1.16 (Συζυγής ανάστροφος). Ο συζυγής ανάστροφος του A ∈ Cm×n συμβολίζεται με AH και
ορίζεται ως
(AH )ij = aji .
Προφανώς, αν A ∈ Rm×n τότε AH = AT . Οι ακόλουθες ιδιότητες του ανάστροφου και συζυγούς
ανάστροφου είναι εύκολο να ελεγχθούν. Για λ ∈ C και A ∈ Cm×n έχουμε:
(AT )T = A, (AH )H = A,
(λA)T = λAT , (λA)H = λ̄AH ,
(A + B)T = AT + B T , (A + B)H = AH + B H .
Θα λέμε ότι ο A είναι συμμετρικός αν AT = A και ερμιτιανός (Hermitian) αν AH = A. Θα λέμε ότι ο A
είναι αντισυμμετρικός αν AT = −A και αντι-ερμιτιανός (skew-Hermitian) αν AH = −A.
Ορισμός 1.17 (Θετικά ορισμένοι πίνακες). Ένας ερμιτιανός πίνακας A ∈ Cn×n λέγεται θετικά ορισμένος
αν xH Ax > 0 για κάθε x ∈ Cn με x 6= 0. Ένας συμμετρικός πίνακας A ∈ Rn×n λέγεται θετικά ορισμένος
αν xT Ax > 0 για κάθε x ∈ Rn με x 6= 0.
Ορισμός 1.18 (Γινόμενο πινάκων). Αν A ∈ Cm×n και B ∈ Cn×p τότε το γινόμενο AB ∈ Cm×p ορίζεται
από τη σχέση
X n
(AB)ij = aik bkj , 1 ≤ i ≤ m, 1 ≤ j ≤ p.
k=1
To εξωτερικό γινόμενο των x ∈ R και y ∈ Rn είναι ο m × n πίνακας
m
 
x1 y1 · · · x1 yn
 ..  .
xy T =  ... . 
xm y1 · · · xm yn
Ορισμός 1.19 (Αντίστροφος πίνακας). Έστω A ∈ Cn×n . Θα λέμε ότι ο πίνακας A είναι αντιστρέψιμος αν
υπάρχει πίνακας B ∈ Cn×n τέτοιος ώστε² AB = I = BA, ο οποίος καλείται αντίστροφος του A. Αν ο A
είναι αντιστρέψιμος, ο αντίστροφός του συμβολίζεται με A−1 ∈ Cn×n .
Εύκολα βλέπει κανείς ότι ο αντίστροφος είναι μοναδικός. Πράγματι, αν B, C ∈ Cn×n ικανοποιούν AB =
BA = I και AC = CA = I τότε
B = BI = B(AC) = (BA)C = IC = C.
Από τον ορισμό του αντίστροφου πίνακα προκύπτει εύκολα το γεγονός ότι (AB)−1 = B −1 A−1 , καθώς και
οι σχέσεις
A−T ≡ (AT )−1 = (A−1 )T , A−H ≡ (AH )−1 = (A−1 )H .
²Στην πραγματικότητα, αρκεί να υποθέσουμε την υπάρξη ενός πίνακα B ∈ Cn×n με AB = I.
Ορισμός 1.20 (Κανονικοί, Ορθογώνιοι και Μοναδιαίοι πίνακες). Ο πίνακας A ∈ Cn×n λέγεται κανονικός
αν AAH = AH A. Ο πίνακας A ∈ Rn×n λέγεται ορθογώνιος αν AAT = AT A = I. Ο πίνακας A ∈ Cn×n
λέγεται μοναδιαίος (unitary) αν AAH = AH A = I.
Παράδειγμα 1.1. Για παράδειγμα, αν c, s ∈ C είναι τέτοιοι ώστε |c|2 + |s|2 = 1, τότε οι πίνακες

c s c s
, , (1.11)
−s̄ c̄ s̄ −c̄
είναι μοναδιαίοι. Ο πρώτος πίνακας παραπάνω ονομάζεται μετασχηματισμός ή στροφή Givens. Αν c, s είναι
πραγματικοί αριθμοί τότε ο μετασχηματισμός Givens είναι ορθογώνιος πίνακας.
Ορισμός 1.21 (Προβολή). Ένας τετραγωνικός πίνακας P ∈ Cn×n , ο οποίος έχει την ιδιότητα P 2 = P θα
καλείται προβολή.
Λήμμα 1.3. Αν P προβολή, τότε μπορούμε να δούμε ότι ισχύουν
1. v ∈ R(P ), τότε P v = v.
2. v 6∈ R(P ), τότε P v 6= v.
3. P v − v ∈ N (P ).
4. I − P είναι προβολή.
Απόδειξη. Πράγματι, αν v ∈ R(P ), τότε υπάρχει x ∈ Cn τέτοιο ώστε P x = v, οπότε v = P x = P 2 x =

P (P x) = P v. Aν τώρα v 6∈ R(P ), τότε για κάθε x ∈ Cn , P x 6= v και άρα P v 6= v. Επίσης έχουμε
P (P v − v) = P 2 v − P v = P v − P v = 0, ∀v ∈ Cn .
Ακόμα επειδή
(I − P )2 = (I − P )(I − P ) = I − 2P + P 2 = I − 2P + P = I − P,
ο I − P είναι προβολή.
Ορισμός 1.22. Αν P είναι προβολή τότε η I − P καλείται συμπληρωματική προβολή της προβολής P .
Λήμμα 1.4. Αν P προβολή και I − P η συμπληρωματική προβολή τότε ισχύουν τα ακόλουθα:
1. N (P ) = R(I − P ) και R(P ) = N (I − P ).
2. R(P ) ∩ N (P ) = {0}.
Απόδειξη. Πράγματι, αν v ∈ N (P ), τότε P v = 0 και άρα (I − P )v = v ∈ R(I − P ), δηλαδή

N (P ) ⊂ R(I − P ). Έστω w ∈ R(I − P ), τότε υπάρχει v τέτοιο ώστε (I − P )v = v − P v = w.
Επίσης P w = P (v − P v) = P v − P 2 v = 0. Άρα w ∈ N (P ), δηλαδή R(I − P ) ⊂ N (P ). Οπότε
N (P ) = R(I − P ). Ανάλογα ισχύει R(P ) = N (I − P ).
Έστω τώρα v ∈ N (I − P ) ∩ N (P ), τότε P v = 0 και (I − P )v = 0. Επομένως v = v − P v =
(I − P )v = 0, δηλαδή v = 0. Συνεπώς N (I − P ) ∩ N (P ) = {0} και επειδή R(P ) = N (I − P ),
έχουμε το ζητούμενο.
Ορισμός 1.23. Μια προβολή P καλείται ορθογώνια αν οι χώροι R(P ), N (P ) είναι ορθογώνιοι μεταξύ τους,
R(P )⊥N (P ).

1 0
Παράδειγμα 1.2. Ο πίνακας P = είναι ορθογώνια προβολή. Μπορούμε να δούμε ότι P 2 = P ,
0 0
N (P ) = span{(0, 1)T }, R(P ) = span{(1, 0)T } και R(P )⊥N (P ).
Θεώρημα 1.2. Μια προβολή P είναι ορθογώνια αν και μόνο αν P H = P .
Απόδειξη. Έστω P H = P . Τότε
(P x)H (I − P )y = xH P H (I − P )y = xH (P − P 2 )y = xH 0 = 0.
Επομένως, επειδή N (P ) = R(I − P ), ισχύει N (P )⊥R(P ), δηλαδή η P είναι ορθογώνια.

Έστω τώρα ότι P είναι ορθογώνια, δηλαδή N (P )⊥R(P ). Έστω {q (1) , . . . , q (n) } ορθοκανονική βάση
του Cn τέτοια ώστε R(P ) = span{q (1) , . . . , q (m) } και N (P ) = span{q (m+1) , . . . , q (n) }. Θέτουμε
Q = (q (1) , q (2) , . . . , q (n) ). Παρατηρούμε εύκολα ότι P Q = (q (1) , q (2) , . . . , q (m) , 0, . . . , 0). Οπότε
QH P Q = Σ με
Σm 0(n−m)×m
Σ= ,
0m×(n−m) 0(n−m)×(n−m)
όπου Σm ∈ Cm×m και Σm = diag(1, . . . , 1). Προφανώς θα έχουμε P = QΣQH , οπότε
P H = (QΣQH )H = QΣH QH = QΣQ = P.
Παράδειγμα 1.3. Έστω q ∈ Cn με kqk2 = 1. Ο πίνακας P = qq H είναι μια ορθογώνια προβολή, διότι
P H = (qq H )H = qq H = P . Επίσης έχουμε ότι dim(N (P )) = n − 1 και R(P ) = 1. Η συμπληρωμα-
τική προβολή του P είναι I − P = I − qq H .
1.4 Ιδιοτιμές-Ιδιοδιανύσματα
Ορισμός 1.24. Έστω A ∈ Cn×n . Λέμε ότι λ ∈ C είναι ιδιοτιμή του A αν υπάρχει μη μηδενικό διάνυσμα
x ∈ Cn τέτοιο ώστε
Ax = λx. (1.12)
Το διάνυσμα x ονομάζεται ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή λ. Το σύνολο των ιδιοτιμών ενός
πίνακα ονομάζεται φάσμα του A και συμβολίζεται με σ(A). H μέγιστη κατ’ απόλυτο τιμή του φάσματος σ(A)
ονομάζεται φασματική ακτίνα και συμβολίζεται ρ(A),
ρ(A) = max{|λ|, λ ∈ σ(A)}. (1.13)
Θεώρημα 1.3. Έστω A ∈ Cn×n . Τότε
1. λ ∈ σ(A) αν και μόνο αν λ̄ ∈ σ(AH ).
2. Ο A είναι αντιστρέψιμος αν και μόνο αν 0 6∈ σ(A).
3. Τα ιδιοδιανύσματα που αντιστοιχούν σε διακριτές ιδιοτιμές είναι γραμμικά ανεξάρτητα.
4. λ ∈ σ(A) αν και μόνο αν χA (λ) = 0, όπου χA είναι το χαρακτηριστικό πολυώνυμο του A,
χA (λ) = det(A − λI). (1.14)
5. Οι ιδιοτιμές ενός ερμιτιανού πίνακα είναι πραγματικές.

Απόδειξη. Για την απόδειξη των ιδιοτήτων του φάσματος παραπέμπουμε στο βιβλίο [2].
Θεώρημα 1.4 (Ανάλυση Schur). Για κάθε πίνακα A ∈ Cn×n υπάρχει ένας μοναδιαίος πίνακας U ∈ Cn×n
τέτοιος ώστε o U −1 AU = U H AU να είναι άνω τριγωνικός.
Απόδειξη. Για n = 1 αρκεί να πάρουμε U = [1]. Υποθέτουμε ότι το θεώρημα ισχύει για πίνακες τάξης
n ≤ k −1. Έστω A ∈ Ck×k και λ1 ιδιοτιμή του A με αντίστοιχο ιδιοδιάνυσμα u(1) με ku(1) k2 = 1, δηλαδή
Au(1) = λ1 u(1) . Συμπληρώνουμε το σύνολο {u(1) } σε μια ορθοκανονική βάση {u(1) , . . . , u(k) } του Cn
και ορίζουμε τον πίνακα P1 = [u(1) , . . . , u(k) ]. Προφανώς, ισχύει P1H P1 = I. Έστω τώρα B1 = P1H AP1 .
Έχουμε
B1 = P1H AP1 = P1H [Au(1) , Au(2) , . . . , Au(k) ] = P1H [λ1 u(1) , Au(2) , . . . , Au(k) ]
= [λ1 e(1) , P1H Au(2) , . . . , P1H Au(k) ],
δηλαδή,  
λ1 α 2 · · · α k
0 
 
B1 =  .. ,
. A2 
0
για κάποια α2 , . . . , αk ∈ C και πίνακα A2 τάξης (k − 1) × (k − 1). Από την επαγωγική υπόθεση υπάρχει
μοναδιαίος πίνακας P̂2 τάξης (k − 1) × (k − 1) τέτοιος ώστε P̂2H A2 P̂2 = T̂ , όπου T̂ άνω τριγωνικός.
Θέτουμε τώρα  
1 0 ··· 0
0 
 
P2 =  .. .
. P̂2 
0
Εύκολα διαπιστώνει κανείς ότι ο P2 είναι μοναδιαίος και
   
λ1 γ 2 ··· γk λ1 γ 2 · · · γk
0  0 
   
P̂2H B1 P2 =  ..  =  ..  = T,
. H
P̂2 A2 P̂2  . T̂2 
0 0
για κάποια γ2 , . . . , γk ∈ C και T άνω τριγωνικό πίνακα. Τέλος,
T = P2H B1 P2 = P2H P1 AP1 P2 = (P1 P2 )H A(P1 P2 ) = U H AU = U −1 AU,
με U = P1 P2 μοναδιαίο πίνακα. Αυτό ολοκληρώνει την απόδειξη.
Ορισμός 1.25. Οι πίνακες A, B ∈ Cn×n λέγονται όμοιοι αν υπάρχει αντιστρέψιμος πίνακας S τέτοιος ώστε
A = S −1 BS. (1.15)
Αν ένας πίνακας είναι όμοιος με έναν διαγώνιο πίνακα, λέμε ότι είναι διαγωνοποιήσιμος.
Είναι εύκολο να δειχτεί ότι αν A, B ∈ Cn×n είναι όμοιοι πίνακες, τότε σ(A) = σ(B). Πράγματι, αν για
τους πίνακες A, B ∈ Cn υπάρχει αντιστρέψιμος πίνακας S τέτοιος ώστε A = S −1 BS, τότε
det(A − λI) = det(A − λSS −1 ) = det(S(S −1 AS − λI)S) = det(S(B − λI)S −1 )
= det(S) det(B − λI) det(S −1 ) = det(B − λI),
δηλαδή οι πίνακες A και B έχουν το ίδιο χαρακτηριστικό πολυώνυμο και συνεπώς σ(A) = σ(B).
Παρατήρηση 1.4. Είναι

προφανές ότι δεν είναι όλοι οι πίνακες διαγωνοποιήσιμοι. Για παράδειγμα αυτό ισχύει
0 1
για τον πίνακα ο οποίος έχει δύο ιδιοτιμές ίσες με το μηδέν, αλλά δεν είναι ο μηδενικός πίνακας.
0 0
Κάθε πίνακας A ∈ Cn×n είναι όμοιος με έναν «σχεδόν» διαγώνιο πίνακα J, ο οποίος καλείται κανονική
μορφή Jordan του A και δίνεται από το ακόλουθο Θεώρημα 1.5.
Θεώρημα 1.5 (Κανονική μορφή Jordan). Για κάθε πίνακα A ∈ Cn×n υπάρχει αντιστρέψιμος πίνακας S ∈
Cn×n τέτοιος ώστε o S −1 AS έχει τη μορφή
S −1 AS = J = diag(J1 , . . . , Jq ), (1.16)
όπου
 
λi 1 0 . . . 0 0
 0 λi 1 ... 0 0
  X
q
 .. . .. .. .. ..  ∈ Cni ×ni ,
Ji =  . .
. . . . . i = 1, . . . , q, ni = n, (1.17)
 
0 0 0 ... λi 1 i=1
0 0 0 ... 0 λi
και λi είναι ιδιοτιμή του A.

Απόδειξη. Για την απόδειξη αυτού του θεωρήματος παραπέμπουμε σε πολλά βιβλία Γραμμικής Άλγεβρας, π.χ.
[2], [3], [4], [6].
Θεώρημα 1.6. Ένας πίνακας A ∈ Cn×n είναι κανονικός αν και μόνο αν υπάρχει μοναδιαίος πίνανας U ∈ Cn×n
τέτοιος ώστε
A = UT UH, (1.18)
με T = diag(λ1 , . . . , λn ), και λ1 , . . . , λn οι ιδιοτιμές του A.
Απόδειξη. Ο πίνακας A ∈ Cn×n είναι κανονικός αν ικανοποιεί AH A = AAH . Από το θεώρημα της ανάλυ-
σης Schur υπάρχει μοναδιαίος πίνακας V τέτοιος ώστε U H AU = T , όπου T άνω τριγωνικός πίνακας. Οι
σχέσεις AH A = AAH και το γεγονός ότι A = U T U H δίνουν ότι T H T = T T H , δηλαδή T κανονικός.
Από τη σχέση (T H T )11 = (T T H )11 παίρνουμε
X
n X
n
|t1i | = |t11 | =⇒
2 2
|t1i |2 = 0 =⇒ t12 = t13 = · · · = t1n = 0.
i=1 i=2
Όμοια, για τα (2, 2) στοιχεία των πινάκων T H T και T T H έχουμε

X
n X
n
|t2i | = |t12 | + |t22 | =⇒
2 2 2
|t1i |2 = 0 =⇒ t23 = t24 = · · · = t2n = 0.
i=2 i=3
Συνεχίζοντας με τον ίδιο τρόπο συμπεραίνουμε ότι όλα τα στοιχεία του T στο αυστηρά άνω τρίγωνο είναι ίσα
με το μηδέν και επομένως ο T είναι διαγώνιος πίνακας τέτοιος ώστε U H AU = T με U μοναδιαίο. Συνεπώς,
σ(A) = σ(T ), άρα T = diag(λ1 , . . . , λn ) με λ1 , . . . , λn τις ιδιοτιμές του A.
Αντίστροφα, αν A = U T U H , όπου U μοναδιαίος και T = diag(λ1 , . . . , λn ), με λ1 , . . . , λn τις ιδιοτι-
μές του A, τότε
AH A = U T H T U = U diag(|λ1 |2 , . . . , |λn |2 )U H ,
AAH = U T T H U H = U diag(|λ1 |2 , . . . , |λn |2 )U H ,
δηλαδή ο A είναι κανονικός.

Θεώρημα 1.7. Έστω A ∈ Cn×n ερμιτιανός πίνακας. Τότε ο A έχει n πραγματικές ιδιοτιμές λ1 , . . . , λn και
n ιδιοδιανύσματα u(1) , . . . , u(n) τα οποία αποτελούν ορθοκανονική βάση του Cn . Επιπλέον, υπάρχει ένας μονα-
διαίος πίνακας U τέτοιος ώστε
U H AU = D = diag(λ1 , . . . , λn ). (1.19)
Απόδειξη. Από το θεώρημα της ανάλυσης Schur υπάρχει μοναδιαίος πίνακας U τέτοιος ώστε U H AU = T με
T άνω τριγωνικό πίνακα. Η σχέση AH = A συνεπάγεται τώρα ότι T H = T . Επειδή ο T είναι άνω τριγωνικός
θα πρέπει αναγκαστικά ο T να είναι διαγώνιος πίνακας και τα διαγώνια στοιχεία του να είναι πραγματικοί
αριθμοί. Γράφουμε T = diag(λ1 , . . . , λn ) με λi ∈ R, i = 1, . . . , n και U = [u(1) , . . . , u(n) ]. Από τη
σχέση AU = U T έχουμε
 
λ1
 ... 
AU = [Au(1) , . . . , Au(n) ] = U T = [u(1) , . . . , u(n) ]  (1) (n)
 = [λ1 u , . . . , λn u ],
λn
δηλαδή Au(j) = λj u(j) , j = 1, . . . , n. Οι στήλες του U είναι ορθοκανονικές και αποτελούν μια ορθοκα-
νονική βάση του Cn .
Ορισμός 1.26. Έστω A ∈ Cn×n ερμιτιανός. Η συνάρτηση RA : Cn \ {0} → R η οποία ορίζεται ως
(Ax, x)
RA (x) = , (1.20)
(x, x)
καλείται πηλίκο Rayleigh του A.
Παρατήρηση 1.5. Προφανώς αν A είναι ένας ερμιτιανός πίνακας, τo πηλίκο Rayleigh του A είναι πραγμα-
τικός αριθμός. Πράγματι, έχουμε ότι για x ∈ Cn , (Ax, x) = (x, AH x) = (x, Ax) = (Ax, x), οπότε
(Ax, x) ∈ R.
Θεώρημα 1.8. Έστω A ∈ Cn×n ερμιτιανός. Αν συμβολίσουμε με λ1 τη μικρότερη ιδιοτιμή του, τότε
λ1 = min RA (x) = min (Ax, x) (1.21)

x∈Cn ,x̸=0 x∈Cn ,∥x∥=1
Απόδειξη. Αφού ο A είναι ερμιτιανός, τότε σύμφωνα με το Θεώρημα 1.7 έχει n πραγματικές ιδιοτιμές και
μια ορθοκανονική βάση ιδιοδιανυσμάτων {u(1) , . . . , u(n) }. Αν θέσουμε τις ιδιοτιμές του σε αύξουσα σειρά
λ1 ≤ λ2 ≤ · · · ≤ λn και θεωρήσουμε το διάνυσμα x ∈ Cn με συνιστώσες (x1 , . . . , xn ) ως προς την
ορθοκανονική βάση {u(1) , . . . , u(n) }, τότε
X
n X
n
(Ax, x) = λi |xi |2 ≥ λ1 |xi |2 = λ1 (x, x).
i=1 i=1
Προφανώς
λ1 ≤ min RA (x) και λ1 ≤ min (Ax, x).
x∈Cn ,x̸=0 x∈Cn ,∥x∥=1
Επίσης έχουμε ότι (Au(1) , u(1) ) = λ1 (u(1) , u(1) ), οπότε παίρνουμε το ζητούμενο.
1.5 Νόρμες πινάκων
Μπορούμε να επεκτείνουμε την έννοια της νόρμας διανυσμάτων στους πίνακες χρησιμοποιώντας το γεγονός
ότι ο χώρος Cm×n είναι ισομορφικός με τον χώρο Cmn . Αν περιοριστούμε στους τετραγωνικούς πίνακες,
μπορούμε να ορίσουμε μια απεικόνιση η οποία καλείται νόρμα πίνακα.
Ορισμός 1.27. Η απεικόνιση k · k : Cn×n → R θα λέγεται νόρμα πίνακα αν ικανοποιεί τις τρεις ιδιότητες
που θεωρήσαμε για μια νόρμα σε έναν διανυσματικό χώρο και επιπλέον για κάθε A, B ∈ Cn×n
kABk ≤ kAkkBk. (1.22)
Παράδειγμα 1.4. Γενικεύοντας τη 2-νόρμα στους πίνακες βλέπουμε αμέσως ότι η απεικόνιση
!1/2
n X
X n
kAkF = |aij |2 , A ∈ Cn×n ,
i=1 j=1
ορίζει μια νόρμα πίνακα στον χώρο Cn×n . Η νόρμα αυτή ονομάζεται νόρμα Frobenius. Οι τρεις ιδιότητες μιας
νόρμας ενός διανυσματικού αποδεικνύονται εύκολα. Η ιδιότητα (1.22) του ορισμού της νόρμας πίνακα προ-
κύπτει εφαρμόζοντας την ανισότητα Cauchy-Schwarz.
Μια κατηγορία νορμών πίνακα οι οποίες χρησιμοποιούνται πολύ συχνά είναι οι νόρμες που παράγονται από
μια νόρμα του Cn ή όπως αλλιώς αποκαλούνται φυσικές νόρμες.
Ορισμός 1.28. Έστω k · k μια νόρμα στον Cn , τότε η παραγόμενη νόρμα πίνακα από την k · k ή φυσική νόρμα
ορίζεται ως
kAxk
kAk = sup . (1.23)
x∈Cn kxk
x̸=0
Είναι απλό να δούμε ότι μια φυσική νόρμα είναι μια νόρμα πίνακα, δηλαδή ικανοποιεί τις ιδιότητες του
Ορισμού 1.27. Επίσης ισχύει η σημαντική ιδιότητα
kAxk ≤ kAkkxk, ∀x ∈ Cn . (1.24)
Η απόδειξη του παρακάτω λήμματος προκύπτει εύκολα από τον ορισμό της φυσικής νόρμας και το γεγονός
ότι το σύνολο {x ∈ Cn : kxk ≤ 1} είναι κλειστό και φραγμένο.
Λήμμα 1.5. Έστω k · k μια νόρμα στον Cn και η παραγόμενη από αυτή νόρμα πίνακα k · k. Για κάθε πίνακα A
kAk = sup kAxk = sup kAxk. (1.25)

x∈Cn x∈Cn
∥x∥=1 ∥x∥≤1
kAx⋆ k
Επίσης για κάθε A ∈ Cn×n υπάρχει x⋆ τέτοιο kAk = .
kx⋆ k
Παρατήρηση 1.6. Μπορούμε εύκολα να διαπιστώσουμε ότι δεν έχουν όλες οι νόρμες στον Cn×n την ιδιότητα
(1.22). Αν, για παράδειγμα, θεωρήσουμε τη νόρμα kAkmax = maxi,j |aij | και τους πίνακες

1 1
A=B= ,
1 1
τότε έχουμε 2 = kABkmax > kAkmax kBkmax = 1.

Χρησιμοποιώντας τον Ορισμό 1.28 είναι συνήθως δύσκολο να υπολογίσουμε τη νόρμα ενός πίνακα. Όμως
για τις συνηθισμένες φυσικές νόρμες k · k1 , k · k∞ και k · k2 μπορούμε να τις υπολογίσουμε εύκολα, όπως
δείχνουν τα ακόλουθα λήμματα.
Λήμμα 1.6. Έστω A ∈ Rm×n . Τότε
X
m
kAk1 = max |aij |.
1≤j≤n
i=1
Απόδειξη. Από τον ορισμό της νόρμας έχουμε
kAk1 = max kAxk1 ≥ kAe(j) k1 , 1 ≤ j ≤ n.

∥x∥1 =1
Επομένως
X
m
kAk1 ≥ max kAe(j) k = max |aij |.
1≤j≤n 1≤j≤n
i=1
Έστω τώρα y ∈ R με kyk1 = 1 και τέτοιο ώστε kAk1 = kAyk1 . Χρησιμοποιώντας την τριγωνική
n
ανισότητα έχουμε
kAyk1 = ky1 Ae(1) + · · · + yn Ae(n) k1 ≤ |y1 | kAe(1) k1 + · · · + |yn | kAe(n) k,
δηλαδή
kAk1 ≤ (|y1 | + · · · + |yn |) max kAe(j) k1 = max kAe(j) k1 ,
1≤j≤n 1≤j≤n
το οποίο ολοκληρώνει την απόδειξη.

X
n
kAk∞ = max |aij |.
1≤i≤m
j=1
Απόδειξη. Παρατηρούμε αρχικά ότι

X
n
max |aij | = max kAT ei k1 .
1≤i≤m 1≤i≤m
j=1
Πράγματι,
X
m
(i)
X
m
(i)
T (i)
(A e )j = (A T
)jk ek = akj ek = aij , 1 ≤ j ≤ n,
k=1 k=1
άρα
X
n
max kAT e(i) k1 = max |aij |.
1≤i≤m 1≤i≤m
j=1
T T
Έστω τώρα r(i) = e(i) A οι γραμμές του A και δείκτης k ∈ {1, . . . , m} τέτοιος ώστε kr(k) k1 =
T
max1≤i≤m kr(i) k1 . Αν y ∈ Rn είναι τέτοιο ώστε kyk∞ = 1, τότε kAk∞ ≥ kAyk∞ ≥ |r(k) y|. Αν
(k) (k)
r(k) = [r1 , . . . , rn ]T , θέτουμε
(
(k)
0 rj = 0,
yj = (k) (k) 1 ≤ j ≤ n.
rj /|rj | διαφορετικά,
T Pn (k) Pn (k)
Από κατασκευή, kyk∞ = 1 και |r(k) y| = j=1 rj yj = j=1 |rj | = krk k1 . Επομένως
X
n
(k) T
kAk∞ ≥ |r y| = kr (k)
k1 = max kr k1 = max
(i)
|aij |.
1≤i≤m 1≤i≤m
j=1
Αντίστροφα, έστω y ∈ Rn με kAk∞ = kAyk∞ και kyk∞ = 1. Έχουμε, χρησιμοποιώντας την ανισότητα
του Hölder, ότι
T
kAk∞ = kAyk∞ = max |r(i) y| ≤ max kr(i) k1 kyk∞ = max kr(i) k1 ,
1≤i≤m 1≤i≤m 1≤i≤m

Λήμμα 1.8. Έστω A ∈ Cn×n . Τότε
p
kAH k2 = kAk2 = ρ(AH A), kAH Ak2 = kAk22 .
Απόδειξη. Από τον ορισμό της νόρμας k · k2 έχουμε ότι kAk2 = kAxk2 για κάποιο x ∈ Cn με kxk2 = 1.
Χρησιμοποιώντας τον ορισμό της νόρμας διανυσμάτων k · k2 και την ανισότητα Cauchy-Schwarz έχουμε
kAk22 = kAxk22 = (Ax)H (Ax) = xH AH Ax ≤ kxk2 kAH Axk2 .
Το γεγονός ότι kxk2 = 1 και οι σχέσεις (1.22) και (1.24) δίνουν τώρα
kAk22 ≤ kAH Axk2 ≤ kAH Ak2 ≤ kAH k2 kAk2 ,
δηλαδή kAk2 ≤ kAH k2 . Εφαρμόζοντας το ίδιο επιχείρημα στον πίνακα AH έχουμε τις σχέσεις
kAH k22 ≤ kAAH k2 ≤ kAk2 kAH k2 , (1.26)
δηλαδή kAH k2 ≤ kAk2 . Η σχέση kAH k2 = kAk2 και η (1.26) δίνουν τότε kAH Ak2 = kAk2 .
Τώρα, ο πίνακας AH A είναι ερμιτιανός και θετικά ημι-ορισμένος. Σύμφωνα με το Θεώρημα 1.7 οι ιδιοτιμές
του είναι πραγματικές και τα αντίστοιχα ιδιοδιανύσματα u(i) , iP= 1, . . . , n, αποτελούν ορθοκανονική βάση
του C . Επομένως, για x ∈ C μπορούμε να γράψουμε x = ni=1 ci u(i) , με ci ∈ C, i = 1, . . . , n, οπότε
n n
εύκολα βλέπουμε ότι

Pn Pn
kAxk22 i=1 |ci | |λi |
(i) 2
(AH Ax, x) i=1 ci (λi u , x)
= = = P ≤ max |λi |,
kxk2 (x, x) (x, x) i=1 |ci |
n 2 1≤i≤n
δηλαδή
kAk22 ≤ ρ(AH A). (1.27)
Είναι απλό να δούμε ότι αν λk = ρ(AH A), τότε
kAu(k) k22 = (AH Au(k) , u(k) ) = λk ku(k) k22 = ρ(AH A)ku(k) k22 , (1.28)
οπότε
kAk22 ≥ ρ(AH A), (1.29)
Λήμμα 1.9. Έστω A ∈ Cm×n και Q ∈ Cm×m μοναδιαίος πίνακας. Τότε
kQAk2 = kAk2 . (1.30)
Επίσης αν A ∈ Cn×n είναι ερμιτιανός, τότε kAk2 = ρ(A).

Απόδειξη. Από το προηγούμενο λήμμα και το γεγονός ότι ο Q είναι μοναδιαίος έχουμε
kQAk22 = k(QA)H (QA)k2 = kAH QH QAk2 = kAH Ak2 = kAk22 ,
οπότε kQAk2 = kAk2 . Ακόμα kAk22 = ρ(AH A) = ρ(A2 ) = ρ(A)2 , αφού οι ιδιοτιμές του A2 είναι τα
τετράγωνα των ιδιοτιμών του A.
Η φασματική ακτίνα ενός πίνακα δεν ορίζει μια νόρμα πινάκων. Όμως, όπως δείχνουμε στα δύο επόμενα
λήμματα, μπορεί να προσεγγιστεί από μια φυσική νόρμα πινάκων όσο καλά επιθυμούμε.
Λήμμα 1.10. Έστω k · k μια φυσική νόρμα και A ∈ Cn×n . Τότε ισχύει ρ(A) ≤ kAk.
Απόδειξη. Έστω λ ∈ C και x το αντίστοιχο ιδιοδιάνυσμα. Τότε από τη σχέση Ax = λx και την (1.24)
προκύπτει εύκολα
|λ|kxk = kλxk = kAxk ≤ kAkkxk. (1.31)
Επομένως για κάθε λ ∈ σ(A) ισχύει ότι |λ| ≤ kAk, οπότε ισχύει και η ζητούμενη ανισότητα ρ(A) ≤
kAk.
Λήμμα 1.11. Έστω A ∈ Cn×n και ϵ > 0. Τότε υπάρχει μια φυσική νόρμα k · k τέτοια ώστε kAk ≤ ρ(A) + ϵ.
Απόδειξη. Θεωρούμε τον πίνακα J που αποτελεί την κανονική μορφή Jordan του πίνακα A και δίνεται από
το Θεώρημα 1.5. Ορίζουμε τον πίνακα Je
Je = D−1 JD, D = diag(1, ϵ, ϵ2 , . . . , ϵn−1 ). (1.32)
Μπορούμε να δείξουμε ότι ο Je έχει μια ανάλογη μορφή με τον J, όπου οι μονάδες στους πίνακες Ji έχουν
αντικατασταθεί από ϵ. Δηλαδή
 
λi ϵ 0 . . . 0 0
 0 λi ϵ . . . 0 0 
 
 0 0 λi . . . 0 0 
  n ×n
Ji =  .. .. .. . . .. ..  ∈ C i i , i = 1, . . . , q.
. . . . . .
 
 0 0 0 . . . λi ϵ 
0 0 0 . . . 0 λi
e ∞ ≤ |λi | + ϵ από το οποίο έπεται ότι kJk

Επoμένως kJk e ∞ ≤ ρ(A) + ϵ. Συνεπώς ισχύει ότι
Je = D−1 JD = D−1 S −1 ASD = (SD)−1 A(SD) = T −1 AT, με T = SD. (1.33)
Θεωρούμε τώρα την απεικόνιση k · k := kT −1 · k∞ η οποία μπορούμε εύκολα να δείξουμε οτι ορίζει μια
νόρμα στον Cn και την αντίστοιχη παραγόμενη από αυτήν φυσική νόρμα πινάκων στον Cn×n , k · k. Για τη
φυσική αυτή νόρμα πινάκων έχουμε
kAk = max kAxk = max kT −1 Axk∞ = max kT −1 AT yk∞

n
x∈C ,∥x∥=1 x∈Cn ,∥T −1 x∥ ∞ =1 y∈Cn ,∥y∥ ∞ =1
(1.34)
= max e ∞ ≤ kJk
kJyk e ∞ ≤ ρ(A) + ϵ.
n
y∈C ,∥y∥∞ =1
Οπότε έχουμε δείξει το ζητούμενο.

Τα δύο επόμενα λήμματα θα μας χρησιμεύσουν στην ανάλυση της αριθμητικής λύσης μη γραμμικών συ-
στημάτων.
Λήμμα 1.12. Έστω k·k μια νόρμα στον Rn και η παραγόμενη από αυτή φυσική νόρμα πινάκων. Έστω A ∈ Rn×n
με kAk < 1. Τότε ο I + A είναι αντιστρέψιμος και
1 1
≤ k(I + A)−1 k ≤ . (1.35)
1 + kAk 1 − kAk
Απόδειξη. Αν ο I + A είναι μη αντιστρέψιμος, τότε υπάρχει x 6= 0 τέτοιο ώστε (I + A)x = 0. Συνεπώς

kxk = kAxk ≤ kAkkxk, δηλαδή (1 − kAk)kxk ≤ 0, ισοδύναμα kAk ≥ 1, το οποίο είναι άτοπο.
Από τη σχέση I = (I + A)(I + A)−1 έχουμε
1 = kIk ≤ k(I + A)(I + A)−1 k ≤ (1 + kAk) k(I + A)−1 k,
ενώ από τη σχέση I = (I + A)(I + A)−1 = (I + A)−1 + A(I + A)−1 με χρήση της τριγωνικής
ανισότητας προς κάτω παίρνουμε
1 = kIk ≥ k(I + A)−1 k − kA(I + A)−1 k ≥ (1 − kAk) k(I + A)−1 k,
Λήμμα 1.13. Έστω A ∈ Rn×n αντιστρέψιμος πίνακας και E ∈ Rn×n τέτοιος ώστε kA−1 Ek < 1. Τότε ο
A + E είναι αντιστρέψιμος και
−1 kA−1 k
k(A + E) k ≤ .
1 − kA−1 Ek
Απόδειξη. Επειδή ο A είναι αντιστρέψιμος, μπορούμε να γράψουμε A + E = A(I + A−1 E). Η συνέχεια
της απόδειξης είναι εντελώς ανάλογη με αυτήν του Λήμματος 1.12.
Τα εργαλεία που αναπτύξαμε σε αυτήν την παράγραφο μπορεί να χρησιμοποιηθούν στην απόδειξη του
σημαντικού αποτελέσματος της ανάλυσης ιδιαζουσών τιμών (singular value decomposition, SVD).
1.6 Η ανάλυση SVD
Ορισμός 1.29. Γνωρίζουμε ότι για κάθε πίνακα A ∈ Cm×n o AH A είναι ερμιτιανός και έχει πραγματικές και
μη αρνητικές ιδιοτιμές. Έστω A ∈ Cm×n . Οι θετικές τετραγωνικές ρίζες των ιδιοτιμών του AH A καλούνται
ιδιάζουσες τιμές του A.
Θεώρημα 1.9 (Ανάλυση SVD). ΄Εστω A ∈ Rm×n . Τότε υπάρχουν ορθογώνιοι πίνακες

U = u(1) , . . . , u(m) ∈ Rm×m ,
και

V = v (1) , . . . , v (n) ∈ Rn×n ,
τέτοιοι ώστε
U T AV = diag(σ1 , . . . , σp ), p = min{m, n},
όπου
σ1 ≥ σ2 ≥ · · · ≥ σp ≥ 0,
οι ιδιάζουσες τιμές του πίνακα A.
Απόδειξη. Έστω σ = kAk2 και x ∈ Rn με kxk2 = 1 και τέτοιο ώστε kAk2 = kAxk2 . Αν y = Ax
∥A∥2
τότε,
προφανώς y ∈ Rm , kyk2 = 1, και Ax = kAk2 y = σy. Έστω τώρα
V = (x, V1 ) ∈ Rn×n , U = (y, U1 ) ∈ Rm×m .
ορθογώνιοι³ πίνακες. Τότε

y T Ax y T AV1 σ wT
A1 ≡ U AV =
T
= ,
U1T Ax U1T AV1 0 B
όπου wT = y T AV1 ∈ R1×(n−1) , B = U1T AV1 ∈ R(m−1)×(n−1) , και y T Ax = σy T y = σ, ενώ

U1T Ax = σU1T y = 0, λόγω της ορθογωνιότητας των στηλών του U . Τότε
2
σ σ + wT w
A1 = ,
w Bw
συνεπώς 2
σ
A1 ≥ (σ 2 + wT w)2 .
w
Από τη σχέση αυτή προκύπτει ότι kA1 k2 ≥ σ 2 + wT w. Όμως kA1 k22 = kAk22 = σ 2 , αναγκαστικά λοιπόν
w = 0 και
σ 0
A1 = .
0 B
Ένα προφανές επαγωγικό επιχείρημα ολοκληρώνει την απόδειξη του θεωρήματος.
Παρατήρηση. Αν m ≥ n τότε η ανάλυση SVD του A, σύμφωνα με το Θεώρημα 1.9, είναι η
 
σ1
Σ  .. 
A=U V T, όπου Σ= . ,
0
σn
με U ∈ Rm×m και V ∈ Rn×n ορθογώνιους και σ1 ≥ σ2 ≥ · · · ≥ σn ≥ 0. Αν m ≤ n τότε η ανάλυση

SVD του A, σύμφωνα με το Θεώρημα 1.9, είναι η
 
σ1
 ... 
A = U Σ 0 V T, όπου Σ= ,
σm
με U ∈ Rm×m και V ∈ Rn×n ορθογώνιους και σ1 ≥ σ2 ≥ · · · ≥ σm ≥ 0. Οι αριθμοί σi ονομάζονται

ιδιάζουσες τιμές του A και τα διανύσματα ui και vi είναι τα αριστερά, αντίστοιχα, δεξιά ιδιάζοντα διανύσματα.
Από το Θεώρημα 1.9 έχουμε
Av (i) = σi u(i) , AT u(i) = σi v (i) .
Παρατήρηση. Έστω A ∈ Rm×n με m ≥ n. Αν A = U ( Σ0 ) V T είναι η ανάλυση SVD του A, τότε AT =

V (Σ, 0)U T είναι η ανάλυση SVD του AT . Επομένως οι πίνακες A και AT έχουν τις ίδιες ιδιάζουσες τιμές.
Αν A = U ΣV T είναι η ανάλυση SVD ενός αντιστρέψιμου πίνακα A ∈ Rn×n τότε A−1 = V Σ−1 U T είναι
η ανάλυση SVD του πίνακα A−1 . Συνεπώς, ένας πίνακας A ∈ Rn×n είναι αντιστρέψιμος αν και μόνο αν όλες
οι ιδιάζουσες τιμές του ικανοποιούν σk > 0 για k = 1, . . . , n.
³Συμπληρώνουμε, δηλαδή, τα ορθοκανονικά σύνολα {x} και {y} σε ορθοκανονικές βάσεις του Rn , αντίστοιχα, του χώρου
R .
m
Λήμμα 1.14. Έστω ότι ο A ∈ Rm×n έχει ιδιάζουσες τιμές σ1 ≥ · · · ≥ σp , p = min{m, n}. Τότε
kAxk2 kAxk2
kAk2 = maxn = σ1 , min n = σp .
0̸=x∈R kxk2 0̸=x∈R kxk2
Απόδειξη. Από την Άσκηση 1.7.28 γνωρίζουμε ότι kAk2 = kΣk2 . Αφού ο πίνακας Σ είναι διαγώνιος, συ-
μπεραίνουμε ότι kΣk2 = maxj |σj | = σ1 , το οποίο αποδεικνύει τον πρώτο ισχυρισμό του λήμματος.
Έστω τώρα m ≥ n. Τότε p = n και ο A έχει ανάλυση SVD της μορφής A = U [ Σ0 ] V T . Αν z ∈ Rn
είναι τέτοιο ώστε kzk2 = 1 και kAzk2 = min∥x∥2 =1 kAxk2 τότε με y = V T z έχουμε
!1/2
X
n
min kAxk2 = kAzk2 = kΣV T zk2 = kΣyk2 = |σi |2 |yi |2 ,
∥x∥2 =1
i=1
με
!1/2 !1/2
X
n X
n
|σi |2 |yi |2 ≥ σn |yi |2 = σn kyk2 = σn ,
i=1 i=1
οπότε min∥x∥2 =1 kAxk2 ≥ σn . Για την αντίστροφη ανισότητα παρατηρούμε ότι
σn = kΣe(n) k2 = kU T AV e(n) k2 = kA(V e(n) )k2 ≥ min kAxk2 .

∥x∥2 =1
Η απόδειξη για την περίπτωση m < n είναι ανάλογη.

Ορισμός 1.30. Ο αριθμός των μη μηδενικών ιδιαζουσών τιμών ενός πίνακα A ∈ Rm×n ονομάζεται βαθμός
(rank) του πίνακα.
Από αυτόν τον ορισμό προκύπτουν εύκολα τα εξής συμπεράσματα:
• Αν ο A ∈ Rm×n έχει rank(A) = n τότε n ≤ min{m, n} ≤ m, άρα έχει ανάλυση SVD της
μορφής A = U ( Σ0 ) V T με Σ ∈ Rn×n αντιστρέψιμο. Αυτό σημαίνει ότι όλες οι ιδιάζουσες τιμές
είναι μη μηδενικές.
• Αν ο A ∈ Rm×n έχει rank(A) = m τότε m ≤ min{m, n} ≤ n, άρα έχει ανάλυση SVD της
μορφής A = U (Σ, 0) V T με Σ ∈ Rm×m αντιστρέψιμο. Αυτό σημαίνει ότι όλες οι ιδιάζουσες τιμές
είναι μη μηδενικές.
• Αν A ∈ Rn×n είναι αντιστρέψιμος τότε rank(A) = n = rank(A−1 ).

Θεώρημα 1.10 («Οικονομική» ανάλυση SVD). Έστω ότι ο πίνακας A έχει ανάλυση SVD όπως το Θεώ-
ρημα 1.9. Αν rank(A) = r τότε
Xr
T
A= σj u(j) v (j) .
j=1
Απόδειξη. Επειδή rank(A) = r έχουμε

 T
v (1) X
r
 .  T
A = Ur Σr VrT = σ1 u(1) · · · σr u  ..  =
(r)
σj u(j) v (j) ,
T j=1
v (r)

Θα χρειαστούμε το επόμενο αποτέλεσμα στη λύση του προβλήματος ελαχίστων τετραγώνων.
rank(A) = rank(AT ),
rank(A) = rank(AT A) = rank(AAT ),
rank(A) = n αν και μόνο αν ο AT A είναι αντιστρέψιμος,
rank(A) = m αν και μόνο αν ο AAT είναι αντιστρέψιμος.
Απόδειξη. Έστω A ∈ Rm×n με m ≥ n. Αν A = U ( Σ0 ) V T είναι η ανάλυση SVD του A, τότε AT =

V (Σ, 0)U T είναι η ανάλυση SVD του AT . Επομένως οι πίνακες A και AT έχουν τις ίδιες ιδιάζουσες τιμές.
Όμοια και για την περίπτωση m < n.
Αν m ≥ n και A = U ( Σ0 ) V T είναι η ανάλυση SVD του A τότε AT A = V Σ2 V T είναι η ανάλυση SVD
του AT A. Επειδή οι πίνακες Σ και Σ2 έχουν τον ίδιο αριθμό μη μηδενικών διαγώνιων στοιχείων έπεται ότι
rank(A) = rank(AT A). Τώρα, 2
T Σ 0
AA = U V T,
0 0
είναι η ανάλυση SVD του πίνακα AAT . Όπως και πριν, rank(A) = rank(AAT ) γιατί οι πίνακες Σ και Σ2
έχουν τον ίδιο αριθμό μη μηδενικών διαγώνιων στοιχείων. Η περίπτωση m < n είναι ανάλογη.
Επειδή AT A ∈ Rn×n , ο πίνακας AT A είναι αντιστρέψιμος αν και μόνο αν rank(AT A) = n. Όμως,
n = rank(A) = rank(AT A), άρα rank(A) = n αν και μόνο αν ο AT A είναι αντιστρέψιμος. Η απόδειξη
του τελευταίου ισχυρισμού του λήμματος είναι ανάλογη.
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε πολλά βιβλία Γραμμικής Άλγεβρας. Παρα-
θέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμβουλευτεί: [1], [2], [3], [4], [6].
1.7 Ασκήσεις
1.7.1 Έστω A ∈ Cm×n και e(k) ∈ Cn το k-στό κανονικό διάνυσμα. Δείξτε ότι Ae(k) είναι η k-στή στήλη
του A.

1.7.2 Έστω A ∈ Cm×n , B ∈ Cn×p, B = b(1) , . . . , b(p) , με b(k) ∈ Cn τις στήλες του πίνακα B. Δείξτε
ότι AB = Ab(1) , . . . , Ab(p) .
T
1.7.3 Έστω A ∈ Cm×n , B ∈ Cn×p και a(k) ∈ C1×n οι γραμμές του A. Δείξτε ότι
 T 
a(1) B
 
AB =  ... 
T
a(m) B
T
1.7.4 Έστω c(i) οι στήλες του A ∈ Cn×n και r(i) οι γραμμές του B ∈ Cn×n . Δείξτε ότι
T T
AB = c1 r(1) + · · · + cn r(n) .
1.7.5 Έστω A, B ∈ Cn×n . Δείξτε ότι A = B αν και μόνο αν Ax = Bx για κάθε x ∈ Cn .

1.7.6 Δείξτε ότι αν A ∈ Cm×n τότε οι πίνακες AAT και AT A είναι συμμετρικοί ενώ οι πίνακες AAH και
AH A είναι ερμιτιανοί.
1.7.7 Δείξτε ότι κάθε τετραγωνικός πίνακας A μπορεί να γραφεί στη μορφή A = A1 + A2 , όπου A1 είναι
ερμιτιανός και A2 αντι-ερμιτιανός.
1.7.8 Δείξτε ότι αν A ∈ Cn×n είναι ερμιτιανός πίνακας, τότε A = P + iQ, όπου P T = P ∈ Rn×n και
−QT = Q ∈ Rn×n .
1.7.9 Έστω A ∈ Rn×n και x, b ∈ Cn . Δείξτε ότι
1. Αν x 6= 0 και Ax = 0 τότε ο A είναι μη αντιστρέψιμος.

2. Αν x 6= 0 και A αντιστρέψιμος τότε Ax 6= 0.
3. Αν Ax = b με A αντιστρέψιμο πίνακα και b 6= 0 τότε x 6= 0.
1.7.10 Αποδείξτε ότι αν A, B ∈ Cn×n είναι αντιστρέψιμοι πίνακες τότε B −1 = A−1 − B −1 (B − A)A−1 .
1.7.11 (Τύπος των Sherman-Morrison.) Έστω A ∈ Cn×n αντιστρέψιμος πίνακας και u, v ∈ Cn με

v T A−1 u 6= 1. Δείξτε ότι
A−1 uv T A−1
(A + uv T )−1 = A−1 − .
1 + v T A−1 u
1.7.12 (Τύπος των Sherman-Morrison-Woodbuty.) Αν A ∈ Cn×n είναι αντιστρέψιμος πίνακας και U ∈

Cn×m , V ∈ Cn×m είναι τέτοιοι ώστε ο πίνακας I + V T A−1 U να είναι αντιστρέψιμος, τότε
(A + U V T )−1 = A−1 − A−1 U (I + V T A−1 U )−1 V T A−1 .
1.7.13 Αν u, v ∈ Cn και k ≥ 1 ακέραιος, δείξτε ότι (uv T )k = (uT v)k−1 uv T .
1.7.14 (Μετασχηματισμός Cayley.) Δείξτε ότι αν ο A ∈ Cn×n είναι ένας αντισυμμετρικός πίνακας, τότε ο
I − A είναι αντιστρέψιμος και ο (I − A)−1 (I + A) είναι μοναδιαίος.
1.7.15 (Πυθαγόρειο θεώρημα.) Αποδείξτε ότι αν x, y ∈ Cn με xH y = 0, τότε kx ± yk22 = kxk22 + kyk22 .
1.7.16 Έστω x, y ∈ Cn×n . Δείξτε ότι Re(xH y) = 1

4
(kx + yk22 − kx − yk22 ).
1.7.17 Αποδείξτε ότι τα συναρτησιακά k · k1 , k · k2 , και k · k∞ είναι όντως νόρμες διανυσμάτων.
1.7.18 Αποδείξτε τις ισοδυναμίες νορμών στις σχέσεις (1.5)–(1.7). Δώστε παραδείγματα διανυσμάτων για
τα οποία οι σχέσεις αυτές ισχύουν ως ισότητες.
p
1.7.19 Αποδείξτε ότι kxk2 ≤ kxk1 kxk∞ .
1.7.20 Έστω A ∈ Cn×n αντιστρέψιμος πίνακας. Δείξτε ότι το συναρτησιακό kxkA = kAxkp , p ≥ 1 είναι
νόρμα διανυσμάτων.
1.7.21 Αποδείξτε ότι κάθε νόρμα στον Cn είναι ομοιόμορφα συνεχής χρησιμοποιώντας την ανισότητα
|kxk − kyk| ≤ kx − yk, x, y ∈ Cn .
1.7.22 Δείξτε ότι για x ∈ Cn ισχύει limp→∞ kxkp = kxk∞ .
1.7.23 Αν P ορθογώνια προβολή τότε I − 2P είναι μοναδιαίος πίνακας.
1.7.24 Έστω A ∈ Cm×n και B υποπίνακας του A. Δείξτε ότι kBkp ≤ kAkp .
1.7.25 Έστω D ∈ Cn×n διαγώνιος πίνακας. Δείξτε ότι
kDkp = max |dii |, 1 ≤ p ≤ ∞.

1≤i≤n
1.7.26 Έστω kAk ∈ Cn×n ένας αντιστρέψιμος πίνακας. Αποδείξτε ότι kAkp kA−1 kp ≥ 1.
1.7.27 Έστω kAk ∈ Cm×n . Δείξτε ότι kAk∞ = kAH k1 .
1.7.28 Έστω U ∈ Cm×m και V ∈ Cn×n μοναδιαίοι πίνακες. Δείξτε ότι kU k2 = kV k2 = 1 και
kU AV k2 = kAk2 για οποιοδήποτε A ∈ Cm×n .
1.7.29 Έστω u ∈ Rm και v ∈ Rn . Δείξτε ότι
kxy T k∞ = kxk∞ kyk1 , kxy T kF = kxy T k2 = kxk2 kyk2 .
1.7.30 Έστω A ∈ Cm×n . Δείξτε ότι

√
max |aij | ≤ kAk2 ≤ mn max |aij |,
i,j i,j
1 √
√ kAk∞ ≤ kAk2 ≤ m kAk∞ ,
n
1 √
√ kAk1 ≤ kAk2 ≤ n kAk1 .
m
1.7.31 Έστω A ∈ Rm×n . Δείξτε ότι οι ιδιάζουσες τιμές του AT A είναι τα τετράγωνα των ιδιαζουσών τιμών
του πίνακα A.
1.7.32 ΄Εστω A ∈ Rn×n ένας αντιστρέψιμος πίνακας με ιδιάζουσες τιμές σ1 ≥ . . . ≥ σn > 0. Δείξτε ότι
kA−1 k2 = 1/σn .

1 1
1.7.33 Βρείτε την ανάλυση SVD του πίνακα A = . (Υπόδειξη: Αν A = U ΣV T είναι η ανάλυση
2 2
SVD του A τότε AT A = V ΣT ΣV . Ποια είναι η σχέση μεταξύ των ιδιοτιμών του AT A και των
ιδιαζουσών τιμών του A;)
1.7.34 Έστω P ∈ Cn×n , P 6= 0, προβολή. Δείξτε ότι kP k2 ≥ 1. H P είναι ορθογώνια αν και μόνο αν
kP k2 = 1.
Βιβλιογραφία
[1] S. Boyd και L. Vandenberghe. Introduction to Applied Linear Algebra. English. Cambridge University
Press, 2018.
[2] R. A. Horn και C. R. Johnson. Matix Analysis. English. Cambridge, United Kingdom: Cambridge
University Press, 1985.
[3] P. Petersen. Linear Algebra. English. New York: Springer, 2012.
[4] G. Strang. Introduction to Linear Algebra. English. Wellesley, MA: Wellesley-Cambridge Press, 2016,
σσ. x + 574. isbn: 978-0-9802327-7-6.
[5] Γ. Δ. Ακρίβης και B. A. Δουγαλής. Εισαγωγή στην Αριθμητική Ανάλυση. Πανεπιστημιακές Εκδόσεις
Κρήτης, 2017.
[6] Δ. Βάρσος κ.ά. Μια Εισαγωγή στη Γραμμική Άλγεβρα. Greek. Εκδόσεις “Σοφία”, 2012.
ΚΕΦΑΛΑΙΟ 2
ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ

Περίληψη
Θεωρούμε το γραμμικό σύστημα με πίνακα A ∈ Rn×n και δεξιό μέλος b ∈ Rn και ζητούμε x ∈ Rn τέτοιο
ώστε
Ax = b.
Θα ασχοληθούμε με την αριθμητική επίλυση ενός γραμμικού συστήματος της παραπάνω μορφής χρησιμο-
ποιώντας άμεσες μεθόδους, οι οποίες υπολογίζουν την ακριβή λύση σε έναν προκαθορισμένο αριθμό βημάτων,
τον οποίο γνωρίζουμε εκ των προτέρων, όπως παραδείγματος χάριν είναι η μέθοδος της απαλοιφής Gauss. Κύ-
ριο χαρακτηριστικό αυτών των μεθόδων είναι η παραγοντοποίηση του πίνακα A σε γινόμενο πινάκων. Η
επίλυση ενός γραμμικού συστήματος με κάθε πίνακα αυτής της παραγοντοποίησης του A, είναι απλούστερο
να επιλυθεί από ότι το αρχικό γραμμικό σύστημα. Έτσι αν A = BC, τότε η λύση του Ax = b υπολογίζεται
λύνοντας τα γραμμικά συστήματα By = b και Cx = y.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Γραμμικής Άλγεβρας. Επίλυση τετραγωνικών γραμμικών συστη-
μάτων με τη μέθοδο απαλοιφής Gauss χωρίς οδήγηση, με μερική ή ολική οδήγηση. Επίλυση τετραγωνικών
γραμμικών συστημάτων με τη μέθοδο Cholesky. Nόρμες πινάκων και διανυσμάτων.
2.1 Γενικά
Θεωρούμε το γραμμικό σύστημα με δοσμένο πίνακα A ∈ Rn×n και δεξιό μέλος b ∈ Rn και ζητούμε x ∈ Rn
τέτοιο ώστε
Ax = b. (2.1)

26 ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ
Άμεσες μέθοδοι για την επίλυση του γραμμικού συστήματος (2.1) καλούνται εκείνες οι μέθοδοι κατά τις
οποίες, αν χρησιμοποιήσουμε «ακριβή αριθμητική», χωρίς σφάλματα αναπαράστασης των αριθμών στον
υπολογιστή, υπολογίζουν την ακριβή λύση σε ένα προκαθορισμένο αριθμό βημάτων τον οποίο γνωρίζουμε
εκ των προτέρων όπως παραδείγματος χάριν η μέθοδος της απαλοιφής Gauss.
Σε επόμενο κεφάλαιο θα εξετάσουμε επαναληπτικές μεθόδους για τη επίλυση του γραμμικού συστήματος
(2.1) για τις οποίες δεν γνωρίζουμε από την αρχή τον αριθμό των πράξεων που πρέπει να πραγματοποιή-
σουμε, και η ολοκλήρωση του αλγορίθμου πραγματοποιείται όταν ικανοποιούνται τα κριτήρια τερματισμού
που έχουμε θέσει.
Έστω A ∈ Rn×n με  
a11 · · · a1n
 a21 . . . a2n 
 
A =  .. . .. 
 . . . . 
an1 · · · ann
και τα διανύσματα b, x ∈ Rn με
   
x1 b1
 x2   b2 
   
x= .. , b= .. ,
 .   . 
xn bn
τέτοια ώστε να ισχύει το γραμμικό σύστημα Ax = b. Τα γραμμικά συστήματα που θα ασχοληθούμε σε αυτό
το κεφάλαιο έχουν ακριβώς μια λύση. Είναι γνωστές ικανές και αναγκαίες συνθήκες για να έχει το γραμμικό
σύστημα Ax = b ακριβώς μια λύση, όπως περιγράφονται στο ακόλουθο Θεώρημα 2.1.
Θεώρημα 2.1. Έστω A ∈ Rn×n , b ∈ Rn . Το γραμμικό σύστημα (2.1) έχει μοναδική λύση αν και μόνο αν
ισχύουν οι παρακάτω ισοδύναμες προτάσεις:
1. det(A) 6= 0
2. Το αντίστοιχο ομογενές γραμμικό σύστημα Ax = 0 έχει ως λύση μόνο την τετριμμένη.
3. Οι στήλες ή οι γραμμές του A είναι γραμμικώς ανεξάρτητα διανύσματα του Rn .
4. Ο A είναι αντιστρέψιμος.
Απόδειξη. Την απόδειξη μπορούμε να τη βρούμε σε βιβλία Γραμμικής Άλγεβρας, παραδείγματος χάριν στα
[5], [6], [9].
Γνωστοί τρόποι για να βρούμε τη λύση του γραμμικού συστήματος Ax = b είναι o κανόνας του Crammer,
βλέπε π.χ. [6] και ο υπολογισμός του αντίστροφου του A και ο πολλαπλασιασμός του επί b, έτσι ώστε x =
A−1 b.
Ο κανόνας του Cramer είναι μια διαδικασία για να βρούμε το διάνυσμα της λύσης x ενός γραμμικού συστή-
ματος η οποία βασίζεται στον υπολογισμό οριζουσών. Όμως αυτός ο τρόπος επίλυσης δεν είναι κατάλληλος
για να τον χρησιμοποιήσουμε σε έναν υπολογιστή. Ο υπολογισμός οριζουσών είναι χρονοβόρος γιατί απαι-
τεί μεγάλο πλήθος πράξεων. Παραδείγματος χάριν, για τον υπολογισμό μιας ορίζουσας ενός πίνακα n × n
απαιτούνται περισσότερες από (n + 1)! πράξεις.
Επίσης ο υπολογισμός του αντίστροφου ενός πίνακα A ∈ Rn×n αντιστοιχεί στην επίλυση n γραμμικών
συστημάτων με τον ίδιο πίνακα A, βλ. π.χ. [8]. Για αυτόν τον λόγο ο υπολογισμός της λύσης x μέσω του
πολλαπλασιασμού του A−1 με το διάνυσμα b απαιτεί μεγάλο πλήθος πράξεων και χώρο μνήμης, σε σύγκριση
με τη γνωστή διαδικασία της απαλοιφής Gauss, βλ. π.χ. [8].
Αν ο πίνακας A έχει μια συγκεκριμένη δομή, μπορούμε να την εκμεταλλευτούμε και να υπολογίσουμε εύ-
κολα τη λύση x ∈ Rn του γραμμικού συστήματος (2.1). Έτσι αν ο A είναι διαγώνιος με μη-μηδενικά διαγώ-
νια στοιχεία, εύκολα μπορούμε να βρούμε το διάνυσμα της λύσης x, το οποίο θα έχει συνιστώσες xi = bi /aii ,
i = 1, . . . , n. Εύκολα μπορούμε να δούμε ότι, αν ο A είναι διαγώνιος, για τον υπολογισμό του x απαιτούνται
n πράξεις (διαιρέσεις).
Μια άλλη περίπτωση που μπορούμε εύκολα να εκμεταλλευτούμε τη μορφή του A είναι αν ο A είναι ορθο-
κανονικός, δηλαδή AAT = AT A = I, οπότε A−1 = AT . Σε αυτήν την περίπτωση η λύση x ∈ Rn του
γραμμικού συστήματος (2.1) προκύπτει, ως x = AT b, το οποίο απαιτεί n2 πράξεις (πολλαπλασιασμοί) για
τον υπολογισμό του διανύσματος AT b.
Αν ο A ∈ Rn×n είναι ένας κάτω τριγωνικός πίνακας, τότε για να λύσουμε το γραμμικό σύστημα (2.1)
Ax = b μπορούμε να εφαρμόζουμε τον ακόλουθο Αλγόριθμο 1, ο οποίος καλείται αλγόριθμος της οπισθο-
δρόμησης, βλ. π.χ. [8]. Για να υπολογίσουμε το διάνυσμα της λύσης x χρειαζόμαστε n2 /2 − n/2 πράξεις.
Αλγόριθμος 1 Αλγόριθμος οπισθοδρόμησης

xn = bn /ann
for k = n − 1 to 1 do
Pn
xk = bk − j=k+1 akj xj /akk
end for
Στην περίπτωση που ο A ∈ Rn×n είναι άνω τριγωνικός, μπορούμε να εφαρμόσουμε έναν ανάλογο αλγό-
ριθμο με αυτόν της οπισθοδρόμησης. Αν ο A δεν έχει μια συγκεκριμένη δομή που μπορούμε να εκμεταλλευ-
τούμε για να υπολογίσουμε τη λύση του γραμμικού συστήματος (2.1), εφαρμόζουμε τη γνωστή διαδικασία
της απαλοιφής Gauss, βλ. π.χ. [6].
2.2 Ανάλυση LU
Δεν θα παρουσιάσουμε την περιγραφή αλγορίθμου της απαλοιφής Gauss και παραπέμπουμε για αυτό σε
γνωστά συγγράμματα της Γραμμικής Άλγεβρας, όπως π.χ. [6]. Με τη διαδικασία της απαλοιφής Gauss με-
τασχηματίζουμε το γραμμικό σύστημα Ax = b σε ένα άλλο ισοδύναμο γραμμικό σύστημα T x = b̃ του
οποίου ο πίνακας T είναι άνω τριγωνικός, βλ. π.χ. [6], [8]. Στη συνέχεια για να υπολογίσουμε το διάνυσμα x,
εφαρμόζουμε τον αλγόριθμο της οπισθοδρόμησης, βλ. Αλγόριθμο 1. Το συνολικό κόστος σε αριθμό πράξεων
1
(πολλαπλασιασμοί και διαιρέσεις) είναι n3 + O(n2 ), βλ. π.χ. [8].
3
Η διαδικασία της απαλοιφής Gauss μπορεί να ερμηνευθεί και ως παραγοντοποίηση του A σε γινόμενο
πινάκων. Αν ο αλγόριθμος της απαλοιφής Gauss ολοκληρώνεται χωρίς να χρειαστεί να πραγματοποιηθούν
εναλλαγές γραμμών του A, τότε ο A μπορεί να παραγοντοποιηθεί σε γινόμενο δύο πινάκων L και U , A =
LU , όπου ο L είναι κάτω τριγωνικός με μονάδες στη διαγώνιο και ο U είναι άνω τριγωνικός.
Διαφορετικά, αν χρειάζεται να γίνουν εναλλαγές γραμμών για να ολοκληρωθεί ο αλγόριθμος της απαλοι-
φής Gauss, η εναλλαγή των γραμμών αντιστοιχεί με τον πολλαπλασιασμό του πίνακα A με έναν πίνακα μετά-
θεσης P . Οι πίνακες μετάθεσης προκύπτουν με εναλλαγές γραμμών του μοναδιαίου πίνακα I ∈ Rn×n και
ισχύει P T P = I. Αν λοιπόν θεωρήσουμε τον πίνακα μετάθεσης P με τις αντίστοιχες εναλλαγές γραμμών που
χρειάζεται να πραγματοποιήσουμε στον πίνακα A ώστε να ολοκληρωθεί ο αλγόριθμος της απαλοιφής Gauss,
τότε για τον P A ο αλγόριθμος της απαλοιφής Gauss ολοκληρώνεται χωρίς εναλλαγές γραμμών. Επομένως,
υπάρχουν τότε αντίστοιχοι πίνακες L και U , τέτοιοι ώστε P A = LU .
Ας υποθέσουμε για ευκολία ότι δεν χρειάζεται να κάνουμε εναλλαγές γραμμών του πίνακα A και υπάρχουν
L και U όπως τους περιγράψαμε παραπάνω, τέτοιοι ώστε A = LU . Αυτή η παραγοντοποίηση του A σε
γινόμενο δύο τριγωνικών πινάκων καλείται ανάλυση LU του A.

    
a11 · · · a1n 1 0 ··· 0 u11 u12 · · · u1n
 a21 . . . a2n   l21 1 0 ...   0 u22 · · · u2n 
    
 .. ... ..  =  . ... ..   .. ... ..  (2.2)
 . .   .. .  . . 
an1 · · · ann ln1 · · · ln(n−1) 1 0 ··· 0 unn
| {z } | {z }| {z }
A L U
Μπορούμε εύκολα να υπολογίσουμε τα στοιχεία των πινάκων L = (lij )ni,j=1 και U = (uij )ni,j=1 , χρησι-
μοποιώντας π.χ. τον Αλγόριθμο 2, βλ. και [8].
Αλγόριθμος 2 Αλγόριθμος LU
for i = 1 to n do
for j = 1to i − 1 do
P
lij = aij − j−1 l u
k=1 ik kj /ujj
end for
lii = 1
for j = i to n do
P
uij = aij − i−1
k=1 lik ukj
end for
end for
Παρατήρηση 2.1. Αν γνωρίζουμε την ανάλυση LU ενός πίνακα A, η επίλυση του γραμμικού συστήματος
Ax = b πραγματοποιείται σε δύο βήματα:
1. Λύνουμε πρώτα ένα ενδιάμεσο γραμμικό σύστημα
Ly = b,
με τον τριγωνικό πίνακα L και υπολογίζουμε το διάνυσμα y ∈ Rn .

2. Στη συνέχεια για να βρούμε τη λύση x του αρχικού γραμμικού συστήματος λύνουμε το γραμμικό σύ-
στημα
Ux = y
με τον άνω τριγωνικό πίνακα U .
Παρατήρηση 2.2. Η υπολογιστική ευκολία που παρουσιάζει ο υπολογισμός της λύσης του γραμμικού συ-
στήματος (2.1), χρησιμοποιώντας την ανάλυση LU του A αντί για την απλή εφαρμογή της απαλοιφής Gauss
και τη μετατροπή του Ax = b σε ένα ισοδύναμο γραμμικό σύστημα T x = eb με T άνω τριγωνικό, φαίνεται
από το ακόλουθο. Αν θέλουμε να λύσουμε πολλά γραμμικά συστήματα με τον ίδιο πίνακα A και διαφορετικά
δεξιά μέλη b ∈ Rn τότε υπολογίζουμε μια φορά τους τριγωνικούς πίνακες της ανάλυσης LU και στη συνέχεια
λύνουμε τα ζητούμενα γραμμικά συστήματα επαναλαμβάνοντας την παραπάνω διαδικασία της Παρατήρησης
2.1 για καθένα από τα διαφορετικά δεξιά μέλη b.
Οδήγηση. Οι σύγχρονοι ηλεκτρονικοί υπολογιστές, αν και έχουν πολλές δυνατότητες, δεν μπορούν να ανα-
παραστήσουν όλους τους πραγματικούς αριθμούς, το οποίο οδηγεί στη δημιουργία σφαλμάτων κατά την εκτέ-
λεση των διάφορων αριθμητικών αλγορίθμων, βλ. παραδείγματος χάριν μια διεξοδική ανάλυση στο [8].
Υπάρχουν πολλά παραδείγματα πινάκων A που η εφαρμογή του αλγορίθμου της απαλοιφής Gauss στον
υπολογιστή, λόγω των αριθμητικών σφαλμάτων που δημιουργούνται, οδηγούν σε λύσεις που απέχουν πολύ
από την ακριβή λύση. Αυτό μπορεί να διορθωθεί, σε κάποιες περιπτώσεις, αν πραγματοποιήσουμε κάποιες
εναλλαγές γραμμών ή και στηλών του πίνακα A και έτσι να οδηγηθούμε σε λύσεις που δεν απέχουν πολύ από
την ακριβή λύση. Αυτοί οι αλγόριθμοι περιγράφουν την απαλοιφή Gauss με (μερική ή ολική) οδήγηση. Για
μια διεξοδική παρουσίαση παραπέμπουμε στα [4], [8].
2.3 Δείκτης κατάστασης
Στην προηγούμενη παράγραφο αναφερθήκαμε στη δυνατότητα να τροποποιήσουμε τον αλγόριθμο της απα-
λοιφής Gauss και χρησιμοποιώντας μερική ή ολική οδήγηση να βελτιώσουμε την ακρίβεια των πράξεων ώστε
να βρούμε καλύτερη προσέγγιση της ακριβούς λύσης. Όμως υπάρχουν και πάλι προβλήματα που οι σχετικά
μικρές μεταβολές του πίνακα A ή και του διανύσματος b σε ένα γραμμικό σύστημα Ax = b, οδηγούν σε
μεγάλα σφάλματα.
Για να εκτιμήσουμε την ευαισθησία της λύσης ενός γραμμικού συστήματος Ax = b, δηλαδή πόσο «μεγάλη»
είναι η μεταβολή της λύσης x, αν τα δεδομένα του γραμμικού συστήματος, ο πίνακας A ή το δεξιό μέλος b με-
ταβληθούν «λίγο», χρειάζεται να ορίσουμε μια ποσότητα που καλείται δείκτης κατάστασης του A.
Ορισμός 2.1. Για δοσμένη νόρμα πινάκων k · k, ο δείκτης κατάστασης κ(A) ενός αντιστρέψιμου πίνακα
A ∈ Rn×n ως προς τη νόρμα k · k καλείται η ποσότητα
κ(A) = kAkkA−1 k
Παρατήρηση 2.3. Εύκολα μπορούμε να δούμε ορισμένες ιδιότητες για τον δείκτη κατάστασης:
1. Αν A ∈ Rn×n τότε κ(A) = κ(A−1 ).
2. κ(A) ≥ 1.
3. κ(λA) = κ(A), ∀λ 6= 0.
4. Αν ο A είναι κανονικός, δηλαδή AAT = AT A, τότε
λmax (A)
κ2 (A) = = ρ(A)ρ(A−1 ),
λmin (A)
όπου κ2 ο δείκτης κατάστασης ως προς τη νόρμα k · k2 .
5. κ(A) ≥ ρ(A)ρ(A−1 ).
Αν υποθέσουμε ότι αντί να λύσουμε το γραμμικό σύστημα Ax = b προσπαθούμε να λύσουμε το γραμμικό
σύστημα με τον ίδιο πίνακα A αλλά έχουμε διαταράξει το αρχικό δεξιό μέλος b ∈ Rn κατά ∆b ∈ Rn . Τότε,
αντί για τη λύση x, θα προκύψει η λύση x̃ του γραμμικού συστήματος
Ax̃ = b + ∆b.
Προφανώς x̃ = x + ∆x, ∆x ∈ Rn . Στο παρακάτω Θεώρημα 2.2 βρίσκουμε ένα άνω φράγμα για
k∆xk
το σχετικό σφάλμα της μεταβολής της λύσης σε σχέση με μεταβολή των δεδομένων του γραμμικού
kxk
συστήματος. Για την απόδειξή του θα χρειαστούμε το ακόλουθο βοηθητικό λήμμα.
Λήμμα 2.1. Έστω B ∈ Rn×n , k · k μια φυσική νόρμα στον Rn×n και c > 0 τέτοιο ώστε
kBxk ≥ ckxk, ∀x ∈ Rn
τότε ο B είναι αντιστρέψιμος και
1
kB −1 k ≤
c
Απόδειξη. Αν Bx = 0, τότε kxk ≤ 0, συνεπώς x = 0. Άρα ο B είναι αντιστρέψιμος. Επίσης για y ∈ Rn ,

έστω x = B −1 y, οπότε
ckB −1 yk ≤ kBB −1 yk = kyk
1
Επομένως εύκολα βλέπουμε ότι kB −1 k ≤ .
c
Στη συνέχεια δείχνουμε το ακόλουθο θεώρημα.
Θεώρημα 2.2. Έστω A ∈ Rn×n αντιστρέψιμος πίνακας, b ∈ Rn , b 6= 0 και k · k μια νόρμα στον Rn , τότε
ισχύουν οι ακόλουθες εκτιμήσεις σφαλμάτων:
1. Αν x, δx, δb ∈ Rn τέτοια ώστε Ax = b, A(x + δx) = b + δb, τότε
kδxk kδbk
≤ κ(A) (2.3)
kxk kbk
2. Αν x, δx ∈ Rn , δA ∈ Rn×n , kA−1 kkδAk < 1, τέτοια ώστε Ax = b, (A + δA)(x + δx) = b,

τότε
kδxk κ(A) kδAk
≤ (2.4)
kxk 1 − kA kkδAk kAk
−1
3. Αν x, δx, δb ∈ Rn , δA ∈ Rn×n , kA−1 kδAk < 1, τέτοια ώστε Ax = b, (A + δA)(x + δx) =

b + δb, τότε
kδxk κ(A) kδAk kδbk
≤ + (2.5)
kxk 1 − kA−1 kkδAk kAk kbk
Απόδειξη. Αφαιρώντας κατά μέλη τις Ax = b και A(x + δx) = b + δb έχουμε Aδx = δb, οπότε δx =
A−1 δb. Συνεπώς
kδxk ≤ kA−1 kkδbk
Στη συνέχεια λόγω της σχέσης kbk = kAxk ≤ kAkkxk λαμβάνουμε τη ζητούμενη πρώτη σχέση (2.3)
kδxk kδbk
≤ κ(A)
kxk kbk
Για να δείξουμε τις επόμενες δύο σχέσεις, παρατηρούμε ότι λόγω της υπόθεσης kA−1 kkδAk < 1 ισχύει
ότι ο A + δA είναι αντιστρέψιμος. Πράγματι, έχουμε ότι για y ∈ Rn , λόγω της κάτω τριγωνικής ανισότητας
και της kA−1 Ayk = kyk ≤ kA−1 kkyk εύκολα προκύπτει ότι
kyk
k(A + δA)yk ≥ kAyk − kδAkkyk ≥ − kδAkkyk
kA−1 k
(2.6)
1
≥ (1 − kA−1 kkδAk)kyk.
kA−1 k
Συνεπώς χρησιμοποιώντας το γεγονός ότι kA−1 kδAk < 1 και το λήμμα 2.1 λαμβάνουμε ότι ο A + δA είναι
αντιστρέψιμος και
kA−1 k
k(A + δA)−1 k ≤ (2.7)
1 − kA−1 kkδAk
Στη συνέχεια από τις Ax = b, (A+δA)(x+δx) = b εύκολα προκύπτει ότι (A+δA)(δx) = −(δA)x.
Οπότε
δx = −(A + δA)−1 (δA)x, (2.8)
από την οποία λαμβάνουμε

kδxk = k(A + δA)−1 kkδAkkxk (2.9)
Διαιρώντας τώρα και τα δύο μέρη με kxk και χρησιμοποιώντας την (2.7) οδηγούμαστε στην (2.4)
kδxk
≤ k(A + δA)−1 kkδAk
kxk
(2.10)
kA−1 k kAkkA−1 k kδAk
≤ kδAk ≤
1 − kA−1 kkδAk 1 − kA−1 kkδAk kAk
Για να δείξουμε την τελευταία σχέση (2.5) θα ακολουθήσουμε παρόμοια βήματα όπως στην απόδειξη των
δυο προηγούμενων (2.3) και (2.4).
Από τις Ax = b, (A + δA)(x + δx) = b + δb προκύπτει ότι (A + δA)(δx) = δb − (δA)x. Οπότε
δx = (A + δA)−1 (δb − (δA)x)
kδxk ≤ k(A + δA)−1 k(kδbk + kδAkkxk)

−1 kδbk kδAk (2.11)
≤ k(A + δA) k kAkkxk + kAkkxk
kbk kAk
Χρησιμοποιώντας τώρα την (2.7) εύκολα λαμβάνουμε τη ζητούμενη τελευταία σχέση (2.5).
Ο δείκτης κατάστασης ενός πίνακα A, εκτός από το να προσδιορίζει ένα άνω φράγμα για το σχετικό σφάλμα
της μεταβολής της λύσης του γραμμικού συστήματος Ax = b, αν υπάρχουν μικρές μεταβολές στα στοιχεία
του A και του b, έχει μια γεωμετρική ερμηνεία. Η τιμή κ(A) δίνει μια εκτίμηση «πόσο απέχει» o A από το
σύνολο των μη αντιστρέψιμων πινάκων. Αυτό προκύπτει από το ακόλουθο Θεώρημα 2.3.
Θεώρημα 2.3. Έστω A ∈ Rn×n ένας αντιστρέψιμος πίνακας και k · k μια φυσική νόρμα πινάκων, τότε

1 kA − Bk
= inf , (2.12)
κ(A) B∈Sn kAk
όπου Sn είναι το σύνολο των μη-αντιστρέψιμων πινάκων Rn×n
Απόδειξη. Πρώτα θα δείξουμε την ακόλουθη σχέση για κάθε B ∈ Rn×n μη-αντιστρέψιμο πίνακα
1
≤ kA − Bk, (2.13)
kA−1 k
από την οποία εύκολα έπεται η ζητούμενη (2.12). Αν δεν ισχύει η (2.13), τότε θα υπάρχει B ∈ Rn×n μη-
αντιστρέψιμος πίνακας τέτοιος ώστε kA − BkkA−1 k < 1. Επομένως kI − A−1 Bk = kA−1 (A − B)k <
1. Συνεπώς, λόγω του Λήμματος 1.12, o I − (I − A−1 B) = A−1 B είναι αντιστρέψιμος το οποίο είναι
άτοπο. Επομένως ισχύει η (2.13).
Μπορούμε εύκολα να δούμε ότι ο δείκτης κατάστασης έχει τις ακόλουθες ιδιότητες που αναφέρουμε στο
Θεώρημα 2.4.
Θεώρημα 2.4. Έστω A ∈ Rn×n ένας αντιστρέψιμος πίνακας. Τότε
(i) κ(A) = κ(A−1 ).
(ii) κ(λA) = κ(A), για κάθε λ 6= 0.

σ1 (A)
(iii) κ2 (A) = , όπου σ1 (A), σn (A) η μεγαλύτερη, αντίστοιχα, μικρότερη ιδιάζουσα τιμή του A.
σn (A)
(iv) Αν ο A είναι κανονικός, δηλ. AAT = AT A, τότε
λmax (A)
κ2 (A) = = ρ(A)ρ(A−1 ). (2.14)
λmin (A)
(v) Αν ο A είναι ορθομοναδιαίος, δηλ. AAT = AT A = I, τότε κ2 (A) = 1.
(vi) Για κάθε U ορθοκανονικό, κ2 (AU ) = κ2 (U A) = κ2 (A).
και όπου κ2 είναι ο δείκτης κατάστασης ως προς τη νόρμα k · k2
Παρατήρηση 2.4. Εύκολα μπορούμε να δούμε ότι αν A ∈ Rn×n είναι ένας αντιστρέψιμος πίνακας, τότε
κ(A) ≥ ρ(A)ρ(A−1 ). Πράγματι, κ(A) = kAk kA−1 k ≥ ρ(A)ρ(A−1 ). Συνεπώς, αν ο πίνακας A είναι
κανονικός, τότε κ(A) ≥ κ2 (A).
Επίσης οι δείκτες κατάστασης ενός αντιστρέψιμου πίνακα A, ως προς τις φυσικές νόρμες k · k1 , k · k2 και
k · k∞ είναι ισοδύναμοι και ικανοποιούν τις ακόλουθες σχέσεις:
Θεώρημα 2.5. Αν A ∈ Rn×n και κ1 (A), κ2 (A), κ∞ (A) ο δείκτης κατάστασης του A ως προς τις νόρμες
k · k1 , k · k2 , k · k∞ , αντίστοιχα, τότε
1
(i) κ2 (A) ≤ κ1 (A) ≤ nκ2 (A)
n
1
(ii) κ∞ (A) ≤ κ2 (A) ≤ nκ∞ (A)
n
1
(iii) κ∞ (A) ≤ κ2 (A) ≤ n2 κ∞ (A)
n2
Απόδειξη. Η απόδειξη αφήνεται ως άσκηση, βλέπε Άσκηση 2.6.1.
2.4 Ανάλυση Cholesky
Όπως είδαμε και προηγουμένως, αν ο πίνακας A έχει ορισμένες ιδιότητες, π.χ. αν είναι διαγώνιος ή ορθο-
κανονικός, τότε μπορούμε να τις εκμεταλλευτούμε και να κατασκευάσουμε μεθόδους που απαιτούν λιγότερο
αριθμό πράξεων από ότι η ανάλυση LU. Μια τέτοια μέθοδος είναι η μέθοδος Cholesky η οποία εφαρμόζεται
για να λύσουμε γραμμικά συστήματα με συμμετρικούς και θετικά ορισμένους πίνακες.
Ορισμός 2.2. Ένας πίνακας A ∈ Rn×n καλείται θετικά ορισμένος αν xT Ax = (x, Ax) > 0, για κάθε
x 6= 0.
Παρατήρηση 2.5. Πολύ συχνά συναντούμε την υπόθεση ότι ένας πίνακας είναι συμμετρικός (ή ερμιτιανός)
και θετικά ορισμένος. Ένας πίνακας μπορεί να είναι θετικά ορισμένος χωρίς να είναι συμμετρικός, βλ. π.χ.

1 λ
A= , λ > 0, (2.15)
−λ 1
ο οποίος είναι θετικά ορισμένος αλλά δεν ειναι συμμετρικός.
Θεώρημα 2.6 (Ανάλυση Cholesky). Αν A ∈ Rn×n , συμμετρικός και θετικά ορισμένος πίνακας, τότε υπάρχει
μοναδικά οριζόμενος κάτω τριγωνικός πίνακας L με θετικά διαγώνια στοιχεία τέτοιος ώστε
A = LLT (2.16)
Απόδειξη. Η απόδειξη γίνεται επαγωγικά ως προς τη διάσταση του πίνακα A. Για την απόδειξη βλέπε π.χ.
[8].
Ένας αλγόριθμος για την κατασκευή των στοιχείων Lij του πίνακα L προκύπτει αν εξισώσουμε ένα προς
ένα τα στοιχεία του A που βρίσκονται από τη διαγώνιο και κάτω με τα αντίστοιχα του LLT , αρχίζοντας από
την πρώτη γραμμή μέχρι τη n−οστή γραμμή. Με αυτόν τον τρόπο προκύπτει ο αλγόριθμος του Cholesky
κατά γραμμές, ο Αλγόριθμος 3, βλ. π.χ. [8]. Με αντίστοιχο τρόπο μπορούμε να οδηγηθούμε και στον αλγό-
ριθμο του Cholesky κατά στήλες, βλ. π.χ. [8].
Αλγόριθμος 3 Αλγόριθμος Cholesky

for i = 1 to n do
for j = 1to i − 1 do
Pj−1
Lij = Aij − k=1 Lik Ljk /Ljj
end for 1/2
P
Lii = Aii − i−1 L
k=1 ik
2
end for
n3
Παρατήρηση 2.6. Για την κατασκευή του πίνακα L της ανάλυσης Cholesky του A απαιτούνται +O(n2 )
6
πράξεις (πολλαπλασιασμοί και διαιρέσεις), βλ. π.χ. [8], δηλαδή περίπου οι μισές από ότι στην ανάλυση LU.
Παρατήρηση 2.7. Αν έχουμε έναν συμμετρικό πίνακα A ∈ Rn×n , εκτελούμε τον αλγόριθμο του Cholesky,
π.χ. τον Αλγόριθμο 3. Αν αυτός ολοκληρωθεί, δηλαδή Lii > 0, 1 ≤ i ≤ n, τότε κατασκευάσαμε έναν κάτω
τριγωνικό L, A = LLT . Συνεπώς ο A είναι θετικά ορισμένος (βλ. Άσκηση 2.6.10).
2.5 Ανάλυση QR
Θεώρημα 2.7 (Gram-Schmidt). Αν x(1) , . . . , x(n) γραμμικώς ανεξάρτητα διανύσματα του Rn τότε υπάρχουν
q (1) , . . . , q (n) ανά δύο κάθετα διανύσματα του Rn , (q (i) , q (j) ) = 0, i 6= j και kq (i) k2 = 1, i = 1, . . . , n και
span{x(1) , . . . , x(k) } = span{q (1) , . . . , q (k) }, k = 1, . . . , n.
Τα q (1) , . . . , q (n) είναι μοναδικά, με την έννοια ότι σε κάθε άλλη οικογένεια διανυσμάτων που ικανοποιεί την ίδια
ιδιότητα, τα διανύσματά της διαφέρουν από τα αντίστοιχα q (i) , 1 ≤ i ≤ n, το πολύ ως προς το πρόσημο.
Απόδειξη. Η απόδειξη γίνεται με επαγωγή ως προς n. Για n = 1 ορίζουμε q (1) = x(1) /kx(1) k. Τo q (1)
παράγει τον ίδιο χώρο με τον χώρο με τo x(1) και έχει νόρμα kq (1) k = 1. Το ίδιο συμβαίνει και με το −q (1) .
Επομένως κάθε άλλο διάνυσμα που έχει την ίδια ιδιότητα με το q (1) , διαφέρει το πολύ ως προς το πρόσημο. Ας
θεωρήσουμε ότι έχουμε βρει ορθοκανονικά διανύσματα q (1) , . . . , q (n−1) τα οποία ικανοποιούν την ιδιότητα
span{x(1) , . . . , x(k) } = span{q (1) , . . . , q (k) }, k = 1, . . . , n − 1.
Τα q (1) , . . . , q (n−1) είναι μοναδικά, με την έννοια ότι σε κάθε άλλη οικογένεια διανυσμάτων που ικανοποιεί
την ίδια ιδιότητα, τα διανύσματά της διαφέρουν από τα αντίστοιχα q (i) , 1 ≤ i ≤ n, το πολύ ως προς το
πρόσημο. P
Εύκολα μπορούμε να δούμε ότι το qb(n) = x(n) − n−1 i=1 (x
(n) (i) (i)
, q )q είναι ορθογώνιο ως προς τα q (i) ,
i = 1, . . . , n − 1. Αφού τα {x , . . . , x } είναι γραμμικώς ανεξάρτητα και
(1) (n)
span{x(1) , . . . , x(n−1) } = span{q (1) , . . . , q (n−1) },

έχουμε ότι qb(n) 6= 0. Επιλέγουμε τώρα q (n) = qb(n) /kb

q (n) k και είναι προφανές ότι q (1) , . . . , q (n) είναι
ορθοκανονικά διανύσματα τα οποία ικανοποιούν
(1)
span{x1 , . . . , x(k) } = span{q (k) , . . . , q (k) }, k = 1, . . . , n,
και κάθε άλλο διάνυσμα που έχει την ίδια ιδιότητα με το q (n) , διαφέρει το πολύ ως προς το πρόσημο. Επομένως
έχουμε δείξει το ζητούμενο.
Αλγόριθμος 4 Αλγόριθμος QR
for i = 1 to n do
vi = xi
for j = 1 to i − 1 do
rij = (xi , qj )
vi = vi − rij qj
end for
vi
qi =
kvi k
end for
Θεώρημα 2.8 (Ανάλυση QR). Έστω A ∈ Rn×n ένας αντιστρέψιμος πίνακας. Υπάρχει ένα μοναδικό ζεύγος
πινάκων Q, R ∈ Rn×n με Q ορθομοναδιαίο και R άνω τριγωνικό, με θετικά διαγώνια στοιχεία τέτοια ώστε
A = QR (2.17)
Παρατήρηση 2.8. Σε επόμενο κεφάλαιο θα γενικεύσουμε την ανάλυση QR ενός πίνακα A σε μη-τετραγω-
νικούς πίνακες.
Απόδειξη. Έστω α(1) , . . . , α(n) οι στήλες του πίνακα A. Θα κατασκευάσουμε επαγωγικά τις στήλες του πί-
(1) (n)
νακα Q = (q1 , . . . , qn ) με q (i) ∈ Rn από τις στήλες του A ως εξής:
1. Αφού rank(A) = n ξέρουμε ότι οι στήλες του A είναι γραμμικά ανεξάρτητες. Ειδικότερα, a(1) 6= 0.
Ορίζουμε (
1 ka(1) k2 > 0, j = 1,
q (1) = (1) a(1) , rj,1 =
ka k2 0, j = 2, . . . , n.
2. Υποθέτουμε τώρα ότι για k ≤ n−1 έχουμε βρεί ορθοκανονικά διανύσματα q (1) . . . , q (k) τέτοια ώστε
Lk = span{a(1) , . . . , a(k) } = span{q (1) , . . . , q (k) }.
3. Επειδή rank(A) = n έχουμε a(k+1) 6= 0 και a(k+1) 6∈ Lk . Επομένως το διάνυσμα
X
n
v (k+1)
=a (k+1)
− (a(k+1) , q (j) )q (j) 6= 0.
j=1
Ορίζουμε


(a
(k+1) (j)
, q ), j = 1, . . . , k,
1
q (k+1) = v (k+1) , rj,k+1 = kv (k+1) k2 > 0, j = k + 1,
kv (k+1) k 2 

0, j = k + 2, . . . , n.
Εκ κατασκευής τώρα έχουμε QR = A με τον πίνακα Q να έχει ορθοκανονικές στήλες και
span{a(1) , . . . , a(n) } = span{q (1) , . . . , q (n) }.
Επιπλέον, ο πίνακας R είναι άνω τριγωνικός με θετικά διαγώνια στοιχεία. Συνεπώς κατασκευάζουμε τα στοι-
χεία των Q και R σύμφωνα με τον Αλγόριθμο 4.
Παρατήρηση 2.9. Η κλασική διαδικασία Gram-Schimdt πάνω στην οποία βασίζεται η απόδειξη της ανάλυ-
σης QR στο προηγούμενο θεώρημα είναι αριθμητικά ασταθής και δεν χρησιμοποιείται στην πράξη. Η τρο-
ποποιημένη διαδικασία Gram-Schmidt την οποία περιγράφουμε πιο κάτω είναι αριθμητικά ευσταθής και αυτή
χρησιμοποιείται σε πρακτικούς υπολογισμούς. Εύκολα διαπιστώνουμε ότι ο αριθμός πράξεων που απαιτού-
νται για τον υπολογισμό της ανάλυσης QR μέσω της (τροποποιημένης) διαδικασίας Gram-Schmidt είναι
O(n3 ), γιατί ο υπολογισμός των εσωτερικών γινομένων (a(k+1) , q (j) ) απαιτεί n πολλαπλασιασμούς και n−1
προσθέσεις, ενώ ο υπολογισμός του διανύσματος v (k+1) απαιτεί επιπλέον n πολλαπλασιασμούς και n προσθέ-
σεις για ένα σύνολο 4n2 πράξεων για κάθε στήλη του πίνακα Q.
Tροποποιημένη διαδικασία Gram-Schimdt.

Εκτελούμε τους ίδιους υπολογισμούς με την κλασική διαδικασία Gram-Schmidt αλλά με διαφορετική
σειρά:
1. Θέτουμε q (j) = a(j) , j = 1, . . . , n.
2. Για j = 1, . . . , n υπολογίζουμε
(j)q (j)
q = (j) ,
kq k2
q (i) = q − (q , q )q , i = j + 1, . . . , n.
(i) (j) (i) (j)
Θεώρημα 2.9. Κάθε αντιστρέψιμος πίνακας A ∈ Rn×n έχει μοναδική ανάλυση A = QR, όπου Q είναι
ορθογώνιος και R άνω τριγωνικός με θετικά διαγώνια στοιχεία.
Απόδειξη. Αφού ο A είναι αντιστρέψιμος, ο πίνακας M = AT A είναι συμμετρικός θετικά ορισμένος. Έστω
M = LLT η ανάλυση Cholesky του M , όπου ο L είναι κάτω τριγωνικός με θετικά διαγώνια στοιχεία. Τότε
η σχέση M = AT A = LLT δίνει A = QR, με Q = A−T L και R = LT . Το ότι ο Q είναι ορθογώνιος
προκύπτει από τις σχέσεις
QQT = (A−T L)(LT A−1 ) = A−T (LLT )A−1 = A−T AT AA−1 = I,
και
QT Q = LT A−1 A−T L = LT (AT A)−1 L = LT (LLT )−1 L = I.
Ας υποθέσουμε τώρα ότι A = Q1 R1 = Q2 R2 με Q1 , Q2 ορθογώνιους και R1 , R2 άνω τριγωνικούς πί-
νακες με θετικά διαγώνια στοιχεία. Τότε R1 R2−1 = QT1 Q2 . Ο πίνακας R1 R2−1 είναι άνω τριγωνικός, ενώ
εύκολα διαπιστώνουμε ότι ο QT1 Q2 είναι ορθογώνιος. Όμως, ένας άνω τριγωνικός, ορθογώνιος πίνακας R
είναι διαγώνιος, γιατί
(
Xn
0 i 6= j,
δij = (RT R)ij = Rki Rkj = 2
k=1
Rii i = j.
Έχουμε τότε R1 R2−1 = I = QT1 Q2 , συνεπώς R1 = R2 και Q1 = Q2 .

Υπολογισμός της ανάλυσης QR.

Ο υπολογισμός της ανάλυσης QR μπορεί να γίνει με τους μετασχηματισμούς Givens (1.11). Για παρά-
δειγμα, μπορούμε να επιτύχουμε
p
c s x d
= , d = x2 + y 2 ,
−s c y 0
με τον εξής τρόπο: Αν x = y = 0, τότε c = 1 και s = 0. Διαφορετικά, c = x/d και s = y/d. Προφανώς,
d ≥ 0 και c2 + s2 = 1.
Αν x ∈ R4 , μπορούμε να μηδενίσουμε τα στοιχεία x2 , x3 και x4 εφαρμόζοντας διαδοχικά τρεις μετασχη-
ματισμούς Givens:
1. Εφαρμόζουμε έναν μετασχηματισμό Givens στις γραμμές 3 και 4 για να μηδενίσουμε το στοιχείο x4
    
1 0 0 0 x1 x1
0 1  
0 0  x 2  x 2 
 
 = 
0 0 c4 s4 x3   y3 
0 0 −s4 c4 x4 0
p
όπου y3 = x23 + x24 . Αν x3 = x4 = 0 τότε c4 = 1, s4 = 0, διαφορετικά c4 = x3 /y3 και
s4 = x4 /y3 .
2. Εφαρμόζουμε έναν μετασχηματισμό Givens στις γραμμές 2 και 3 για να μηδενίσουμε το τρίτο στοιχείο
    
1 0 0 0 x1 x1
0 c s 0     
 3 3 x
  2  =  y2 
0 −s3 c3 0  y3   0 
0 0 0 1 0 0
p
όπου y2 = x22 + y32 . Αν y3 = x2 = 0 τότε c3 = 1, s3 = 0, διαφορετικά c3 = x2 /y2 και
s3 = y3 /y2 .
3. Εφαρμόζουμε έναν μετασχηματισμό Givens στις γραμμές 1 και 2 για να μηδενίσουμε το δεύτερο στοι-
χείο     
c 2 s2 0 0 x1 y1
−s2 c2 s3 0  y2   0 
    
 0 0 1 0  0  =  0 
0 0 0 1 0 0
p
όπου y1 = x21 + y22 . Αν y2 = x1 = 0 τότε c2 = 1, s2 = 0, διαφορετικά c2 = x1 /y1 και
s2 = y2 /y1 .
Συνεπώς, Qx = y1 e1 , όπου y1 = kQxk2 και

   
c2 s2 0 0 1 0 0 0 1 0 0 0
−s2  
c 2 0 0  0 c 3 s3  
0  0 1 0 0
Q=  0  
.
0 1 0 0 −s3 c3 0  0 0 c4 s4
0 0 0 1 0 0 0 1 0 0 −s4 c4
Το πρόβλημα της μετατροπής ενός πίνακα σε άνω τριγωνική μορφή χρησιμοποιώντας μετασχηματισμούς
Givens μπορεί να υλοποιηθεί εισάγοντας μηδενικά σε κάθε στήλη του πίνακα, από αριστερά προς τα δεξιά
και από κάτω προς τα πάνω. Παρακάτω έχουμε απεικονίσει την ανάλυση QR για έναν 4 × 4 πίνακα. Με
τον δείκτη i σημειώνονται τα στοιχεία τα οποία αλλάζουν κατά την εφαρμογή του i-στού μετασχηματισμού
Givens.
       
∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ ∗ 3 3 3 3
∗ ∗ ∗ ∗ 1 ∗ ∗ ∗ ∗ 2 2 2 2 2 3 0 3 3 3
       
∗ ∗ ∗ ∗ → 1 1 1 1 → 0 2 2 2 → 0 2 2 2
∗ ∗ ∗ ∗ 0 1 1 1 0 1 1 1 0 1 1 1
     
3 3 3 3 3 3 3 3 3 3 3 3
0 3 3 3 
4 0 3 3 3 
5 0 5 5 5
 → → 
0 2 2 2  0 4 4 4  0 0 5 5
0 1 1 1 0 0 4 4 0 0 4 4
   
3 3 3 3 3 3 3 3
0 5 5 5 0 5 5 5
 →
6 .
0 0 5 5 0 0 6 6
0 0 4 4 0 0 0 6
Μπορούμε τώρα να δώσουμε τον αλγόριθμο για τον υπολογισμό της ανάλυσης QR για έναν αντιστρέψιμο
πίνακα A ∈ Rn×n :
Βήμα 1. Αν n = 1 τότε Q = A/|A| και R = A.
Βήμα 2. Αν n > 1 μηδενίζουμε τα στοιχεία στις γραμμές n, n − 1, . . . , 2, της στήλης 1 του A ως εξής:
(i) Θέτουμε bni = ani , i = 1, . . . , n.
(ii) Για i = n, n − 1, . . . , 2, μηδενίζουμε το στοιχείο στη θέση (i, 1) εφαρμόζοντας έναν μετασχηματισμό
Givens στις γραμμές i και i − 1

c i si ai−1,i ai−1,2 · · · ai−1,n bi−1,1 bi−1,2 · · · bi−1,n
=
−si ci bi1 bi2 . . . bin 0 âi2 · · · âin
q
με bi−1,1 = b2i1 + a2i−1,1 . Αν bi1 = ai−1,1 = 0, τότε ci = 1 και si = 0, διαφορετικά ci = ai−1,1 /bi−1,1
και si = bi /bi−1,1 .
(iii) Πολλαπλασιάζουμε τους n − 1 μετασχηματισμούς Givens
   
c 2 s2 0 In−2 0 0
QTn = −s2 c2 0 · · ·  0 c n sn 
0 0 In−2 0 −sn cn
(iv) Διαμερίζουμε τον μετασχηματισμένο πίνακα στη μορφή
 
â22 · · · â2n
T
r11 r  .. ..  ,
QTn A = όπου Â =  . . 
0 Â
ân2 · · · ânn

r11 = b11 > 0 και rT = b12 · · · b1n .
Βήμα 3. Υπολογίζουμε την ανάλυση QR του Â = Qn−1 Rn−1 , με Qn−1 μοναδιαίο και Rn−1 άνω τριγωνικό
με θετικά διαγώνια στοιχεία.
Βήμα 4. Θέτουμε
1 0 r11 rT
Q = Qn , R= .
0 Qn−1 0 Rn−1
Ένα μοντέρνο και διεξοδικό σύγγραμμα για αριθμητικές μεθόδους για την επίλυση γραμμικών συστημάτων
είναι το βιβλίο των [4]. Επίσης ο αναγνώστης μπορεί να συμβουλευτεί: [1], [2], [3], [7], [8], [10].
2.6.1 Αν A ∈ Rn×n και κ1 (A), κ2 (A), κ∞ (A) ο δείκτης κατάστασης του A ως προς τις νόρμες k · k1 ,
k · k2 , k · k∞ , αντίστοιχα, τότε δείξτε ότι
1
1. κ2 (A) ≤ κ1 (A) ≤ nκ2 (A)
n
1
2. κ∞ (A) ≤ κ2 (A) ≤ nκ∞ (A)
n
1
3. 2 κ∞ (A) ≤ κ2 (A) ≤ n2 κ∞ (A)
n
p
2.6.2 Δείξτε ότι kAk2 ≤ kAk∞ kAk1
p
2.6.3 Έστω A ∈ Rn×n . Η απεικόνιση k · k : Rn → R, kxk = (Ax, x) ορίζει μια νόρμα; Βρείτε
κατάλληλες συνθήκες για τον πίνακα A.
2.6.4 Δείξτε ότι αν A, B ∈ Rn×n αντιστρέψιμοι, τότε B −1 = A−1 − B −1 (B − A)A−1 .
2.6.5 Έστω x, y ∈ Rn , (x, y) = xT y = 0. Δείξτε ότι kx ± yk22 = kxk22 + kyk22 .
2.6.6 Έστω A ∈ Rn×n για τον οποίο η απαλοιφή Gauss ολοκληρώνεται χωρίς εναλλαγές γραμμών. Πώς
μπορούμε να υπολογίσουμε την ορίζουσα του A χρησιμοποιώντας την ανάλυση LU του A;
2.6.7 Έστω το γραμμικό σύστημα Ax = b με

   
2 −1 0 1
A = −1 3 −1 , b = 1  .
0 −1 2 1
Αντί για το Ax = b επιλύουμε το διαταγμένο γραμμικό σύστημα (A + δA)(x + δx) = b + δb με

   
2 −1 0 1.1
A + δA = −1 3 −1.1 , b + δb =  1.1  .
0 −1.1 2 0.79
Να βρείτε ένα άνω φράγμα για το σχετικό απόλυτο σφάλμα και να γίνει η επαλήθευση λύνοντας το
διαταραγμένο σύστημα. Δίνεται ότι η λύση του αρχικού συστήματος είναι x = (1, 1, 1)T και ότι η
απόλυτα μεγαλύτερη και η απόλυτα μικρότερη ιδιοτιμή του A είναι 4 και 1, αντίστοιχα.
2.6.8 Δίνεται το γραμμικό σύστημα Ax = b, όπου A ∈ Rn×n , b ∈ Rn και A = AT με ιδιοτιμές

kδxk2
−10, −5, 1 και 2. Να βρεθεί ένα άνω φράγμα για το σχετικό απόλυτο σφάλμα της λύσης x
kxk2
kδbk2
σε σχέση με το σχετικό απόλυτο σφάλμα του διανύσματος b, κατά τη λύση του διαταραγμένου
kbk2
γραμμικού συστήματος A(x + δx) = b + δb.
2.6.9 Έστω A ∈ Rn×n ένας συμμετρικός και θετικά ορισμένος πίνακας με στοιχεία aij , 1 ≤ i, j ≤ n.
Δείξτε ότι
1. o A−1 είναι επίσης θετικά ορισμένος πίνακας

2. Κάθε τετραγωνικός υποπίνακας του A του οποίου η κύρια διαγώνιος βρίσκεται πάνω στην κύρια
διαγώνιο του A, (δηλαδή οι πίνακες με στοιχεία aij , k ≤ i, j ≤ m, 1 ≤ k ≤ m ≤ n) είναι
θετικά ορισμένοι.
3. Για κάθε 1 ≤ k ≤ n ισχύει
max aii = max |aij |
1≤i≤k 1≤i,j≤k
2.6.10 Έστω L ∈ Rn×n κάτω τριγωνικός με θετικά διαγώνια στοιχεία, τότε ο πίνακας A = LLT είναι
συμμετρικός και θετικά ορισμένος.
2.6.11 Έστω A ∈ Rn×n με AT = A. Δείξτε ότι ο A είναι θετικά ορισμένος αν και μόνο αν (Ax, x) > 0 για
κάθε x 6= 0.
2.6.12 Έστω A ∈ Rn×n συμμετρικός και θετικά ορισμένος. Πώς μπορούμε να υπολογίσουμε την ορίζουσα
του A χρησιμοποιώντας την ανάλυση Cholesky του A;
2.6.13 Έστω ο πίνακας A  

1 −1 0
A = −1 a −1 , a ∈ R.
0 1 a
Να βρείτε για ποια a ο πίνακας A είναι θετικά ορισμένος. Επίσης χρησιμοποιήστε την ανάλυση Cho-
lesky για να βρείτε τον αντίστροφο του A.
2.6.14 Έστω ο πίνακας A ∈ Rn×n  

1 1 1 ... 1
1 2 2 . . . 2
 
 3 . . . 3
A = 1 2 .
 .. .... . . .
. . . . .
.
1 2 3 ... n
Δείξτε ότι ο πίνακας A είναι θετικά ορισμένος και βρείτε την ανάλυση Cholesky του.
[1] G. Allaire και S. M. Kaber. Numerical Linear Algebra. English. Τόμ. 55. Texts Appl. Math. New York,
NY: Springer, 2008. isbn: 978-0-387-34159-0. doi: 10.1007/978‐0‐387‐68918‐0.
[2] Å. Björck. Numerical Methods in Matrix Computations. English. Τόμ. 59. Texts Appl. Math. Cham:
Springer, 2015. isbn: 978-3-319-05088-1. doi: 10.1007/978‐3‐319‐05089‐8.
[3] P. G. Ciarlet. Introduction to Numerical Linear Algebra and Optimization. English. Camb. Texts Appl.
Math. Cambridge etc.: Cambridge University Press, 1988. isbn: 0-521-33984-7.
[4] G. H. Golub και C. F. Van Loan. Matrix computations. English. Baltimore, MD: The Johns Hopkins
University Press, 2013, σσ. xxi + 756. isbn: 978-1-4214-0794-4.
[5] P. Petersen. Linear Algebra. English. New York: Springer, 2012.
[6] G. Strang. Introduction to Linear Algebra. English. Wellesley, MA: Wellesley-Cambridge Press, 2016,
σσ. x + 574. isbn: 978-0-9802327-7-6.
[7] L. N. Trefethen και D. Bau. Numerical Linear Algebra. English. Philadelphia, PA: SIAM, 2000. isbn:
0-89871-487-7.
[8] Γ. Δ. Ακρίβης και B. A. Δουγαλής. Εισαγωγή στην Αριθμητική Ανάλυση. Greek. Πανεπιστημιακές Εκ-
δόσεις Κρήτης, 2017.
[10] B. A. Δουγαλής, Δ. Νούτσος και Α. Χατζηδήμος. Αριθμητική Γραμμική Άλγεβρα. Ιωάννινα: Τμήμα
Μαθηματικών, Πανεπιστήμιο Ιωαννίνων, 2016.
ΚΕΦΑΛΑΙΟ 3
ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΜΕΘΟΔΟΙ ΓΙΑ ΓΡΑΜΜΙΚΑ

ΣΥΣΤΗΜΑΤΑ

Περίληψη
Θα ασχοληθούμε με την αριθμητική επίλυση ενός γραμμικού συστήματος της μορφής
Ax = b
χρησιμοποιώντας επαναληπτικές μεθόδους. Μια αριθμητική μέθοδος για την επίλυση ενός γραμμικού συστή-
ματος Ax = b καλείται επαναληπτική, αν με αυτή κατασκευάζουμε μια ακολουθία διανυσμάτων (x(k) )k≥0 η
οποία συγκλίνει στη λύση x του γραμμικού συστήματος.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Γραμμικής Άλγεβρας. Διανυσματικοί χώροι. Εσωτερικό γινόμενο
σε διανυσματικούς χώρους. Νόρμες πινάκων και διανυσμάτων. Ιδιοτιμές και ιδιοδιανύσματα πινάκων. Μέγι-
στο και ελάχιστο διανυσματικών συναρτήσεων.
3.1 Γενική μέθοδος
Μια αριθμητική μέθοδος για την επίλυση ενός γραμμικού συστήματος
Ax = b (3.1)
καλείτε επαναληπτική, αν κατασκευάζει μια ακολουθία διανυσμάτων (x(k) )k≥0 . Η μέθοδος λέμε ότι συγκλίνει,
αν η ακολουθία (x(k) )k≥0 συγκλίνει στη λύση x του γραμμικού συστήματος (3.1).
Ορισμός 3.1. Έστω A ∈ Rn×n ένας αντιστρέψιμος πίνακας. Ένα ζευγάρι πινάκων (M, N ) με M αντιστρέ-

42 ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΜΕΘΟΔΟΙ ΓΙΑ ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ
ψιμο τέτοιο ώστε

A=M −N (3.2)
καλείται διάσπαση του A. Μια επαναληπτική μέθοδος η οποία βασίζεται στη διάσπαση (M, N ) ενός πίνακα A
ορίζεται ως εξής (
x(0) ∈ Rn ,
(3.3)
M x(k+1) = N x(k) + b, k ≥ 0.
Η επαναληπτική μέθοδος (3.3) γράφεται ισοδύναμα και ως
(
x(0) ∈ Rn ,
(3.4)
x(k+1) = M −1 N x(k) + M −1 b, k ≥ 0.
Ο πίνακας T = M −1 N ονομάζεται πίνακας επανάληψης της μεθόδου.

Παρατήρηση 3.1. Αν η ακολουθία (x(k) )k≥0 συγκλίνει σε ένα διάνυσμα x ∈ Rn , καθώς k → ∞, τότε
M x = N x + b. (3.5)
Επομένως (M − N )x = b και επειδή (M, N ) είναι μια διάσπαση του A, το x είναι η λύση του γραμμικού
συστήματος Ax = b.
Θεώρημα 3.1. ’Εστω A ∈ Rn×n τα παρακάτω είναι ισοδύναμα
(i.) limk→∞ Ak = 0.
(ii.) limk→∞ Ak x = 0, για κάθε x ∈ Rn .
(iii.) ρ(A) < 1.
(iv.) Υπάρχει μια φυσική νόρμα πινάκων k · k τέτοια ώστε kAk < 1.
Απόδειξη. Εύκολα μπορούμε να δούμε ότι η (ii.) προκύπτει από την (i.). Επειδή
kAk xk ≤ kAk k kxk, (3.6)
έχουμε
lim kAk xk ≤ ( lim kAk k)kxk = 0, ∀x ∈ Rn . (3.7)
k→∞ k→∞
Συνεπώς Ak x = 0. Στη συνέχεια θα δείξουμε ότι από την (ii.) παίρνουμε την (iii.). Αν υπάρχει ιδιοτιμή λ
τέτοια ώστε |λ| ≥ 1 και x 6= 0 ένα ιδιοδιάνυσμα Ax = λx, θα έχουμε Ak x = λk x. Οπότε
kAk xk = |λ|k kxk 6→ 0, (3.8)
το οποίο είναι άτοπο.
Σύμφωνα με το Λήμμα 1.11 έχουμε ότι για κάθε ϵ > 0 υπάρχει μια φυσική νόρμα πινάκων k · k τέτοια
ώστε
kAk ≤ ρ(A) + ϵ. (3.9)
1 − ρ(A)
Επομένως, αν ισχύει η (iii.), για ϵ = , υπάρχει φυσική νόρμα k · k τέτοια ώστε
2
1 − ρ(A)
kAk ≤ ρ(A) + < 1. (3.10)
2
Τέλος, θα δείξουμε ότι από την (iv.) έπεται η (i.). Αν για κάποια φυσική νόρμα kAk < 1 τότε θα έχουμε
kAk k ≤ (kAk)k → 0, k → ∞. (3.11)
Συνεπώς limk→∞ Ak = 0.
Ορισμός 3.2. Μια επαναληπτική μέθοδος λέμε ότι συγκλίνει αν για κάθε επιλογή αρχικού διανύσματος x(0) ∈
Rn η ακολουθία (x(k) ) που προκύπτει από τη μέθοδο συγκλίνει στην ακριβή λύση x του γραμμικού συστήματος
Ax = b.
Ορισμός 3.3. Το διάνυσμα r(k) = b − Ax(k) καλείται υπόλοιπο κατά την k επανάληψη. Αντίστοιχα, το
e(k) = x − x(k) καλείται σφάλμα κατά την k επανάληψη.
Παρατήρηση 3.2. Είναι απλό να δούμε ότι μια επαναληπτική μέθοδος συγκλίνει αν και μόνο αν το σφάλμα
e(k) → 0, το οποίο είναι ισοδύναμο με το r(k) = Ae(k) συγκλίνει στο 0. Αυτή η παρατήρηση είναι πολύ
χρήσιμη, διότι το σφάλμα e(k) περιέχει την άγνωστη ποσότητα x, ενώ το υπόλοιπο r(k) μπορεί να υπολογιστεί
σε κάθε βήμα.
Θεώρημα 3.2. Μια επαναληπτική μέθοδος της μορφής (3.4) συγκλίνει αν και μόνο αν η φασματική ακτίνα του
πίνακα επαναληψης T = M −1 N ικανοποιεί
ρ(T ) < 1. (3.12)
Απόδειξη. Για το σφάλμα e(k) έχουμε
e(k) = x(k) − x = M −1 N x(k−1) + M −1 b − (M −1 N x + M −1 b)

(3.13)
= M −1 N e(k−1) = · · · = (M −1 N )k e(0)
Συνεπώς σύμφωνα με το Θεώρημα 3.1, e(k) → 0, k → ∞ αν και μόνο αν ρ(M −1 N ) < 1.
3.2 Μέθοδοι Jacobi και Gauss Seidel
Για έναν δοσμένο πίνακα A θεωρούμε τους ακόλουθους τρεις πίνακες που δημιουργούνται από τον A. Τον
διαγώνιο πίνακα D ο οποίος περιέχει τα διαγώνια στοιχεία του A, τον κάτω τριγωνικό πίνακα L που περιέχει
τα στοιχεία του A που βρίσκονται κάτω από τη διαγώνιο του A με αντίθετο πρόσημο και τον άνω τριγωνικό
πίνακα U που περιέχει τα στοιχεία του A που βρίσκονται πάνω από τη διαγώνιο του A με αντίθετο πρόσημο.
Έτσι A = D − L − U με
 
a11 0 · · · 0
 0 a22 0 . . . 
 
D =  .. ... .. 
 . . 
0 ··· ann
 
0 0 ··· 0
 −a21 0 ... 0 
 
L =  .. . . ..  (3.14)
 . . . . . . 
−an1 · · · −an(n−1) 0
 
0 −a12 · · · −a1n
 .. ... ... .. 
 . . 
U = 
 0 0
..
. −a(n−1)n 
0 ··· 0 0
Ορισμός 3.4. Η επαναληπτική μέθοδος Jacobi ορίζεται ως η επαναληπτική μέθοδος με πίνακα M = D και
N = L + U . Οπότε ο πίνακας επανάληψης είναι TJ = D−1 (L + U ) = D−1 (D − A).
Η ακολουθία των προσεγγίσεων με τη μέθοδο Jacobi ορίζεται ως

(
x(0) ∈ Rn ,
(3.15)
Dx(k+1) = (L + U )x(k) + b, k ≥ 0.
Ορισμός 3.5. Η επαναληπτική μέθοδος Gauss-Siedel ορίζεται ως η επαναληπτική μέθοδος με πίνακα M =

D − L και N = U Οπότε ο πίνακας επανάληψης είναι TGS = (D − L)−1 U .
Η ακολουθία των προσεγγίσεων με τη μέθοδο Gauss-Siedel ορίζεται ως
(
x(0) ∈ Rn ,
(3.16)
(D − L)x(k+1) = U x(k) + b, k ≥ 0.
Παρατήρηση 3.3. Εύκολα μπορούμε να δούμε από τον ορισμό (3.15) της μεθόδου Jacobi ότι για κάθε
γραμμή i, i = 1, . . . , n, έχουμε
( i−1 )
(k+1) 1 X (k)
Xn
(k)
xi = aij xi + aij xi + bi , (3.17)
aii j=1 j=i+1
όπου b = (b1 , . . . , bn )T ∈ Rn και αντίστοιχα για τα x(k) , x(k+1) ∈ Rn . Οπότε κάθε συνιστώσα του νέου
διανύσματος x(k) μπορεί να υπολογιστεί ανεξάρτητα από τις υπόλοιπες.
Παρατήρηση 3.4. Αντίστοιχα για τη μέθοδο Gauss-Seidel έχουμε από τον ορισμό (3.16) ότι για κάθε γραμ-
μή i, i = 1, . . . , n ισχύει
( i−1 )
1 X Xn
(k+1) (k+1) (k)
xi = aij xi + aij xi + bi , (3.18)
aii j=1 j=i+1
όπου b = (b1 , . . . , bn )T ∈ Rn και αντίστοιχα για τα x(k) , x(k+1) ∈ Rn . Οπότε κάθε συνιστώσα του νέου
διανύσματος x(k+1) δεν μπορεί να υπολογιστεί ανεξάρτητα από τις υπόλοιπες. Για να υπολογίσουμε την i
συνιστώσα του x(k+1) πρέπει να γνωρίζουμε τις προηγούμενες 1, . . . , i − 1 συνιστώσες του.
Ορισμός 3.6. Λέμε ότι o A ∈ Rn×n έχει αυστηρά κυριαρχική διαγώνιο (κατά γραμμές) αν
X
n
|aij | < |aii |, i = 1, . . . , n. (3.19)
j=1,i̸=j
Αντίστοιχα, λέμε ότι o A ∈ Rn×n έχει αυστηρά κυριαρχική διαγώνιο (κατά στήλες) αν
X
n
|aij | < |ajj |, j = 1, . . . , n. (3.20)
i=1,i̸=j
Λήμμα 3.1. Αν ο A ∈ Rn×n έχει αυστηρά κυριαρχική διαγώνιο κατά γραμμές ή στήλες, τότε αντιστρέφεται.
Απόδειξη. Ας υποθέσουμε ότι ο A έχει αυστηρά κυριαρχική διαγώνιο κατά γραμμές και ότι ο A δεν αντι-
στρέφεται. Τότε θα υπάρχει x 6= 0 τέτοιο ώστε Ax = 0. Αφού x 6= 0, έστω k ∈ {1, Pn. . . , n} για το
οποίο kxk∞ = |xk | 6= 0. Συνεπώς
Pn η k−συνιστώσα του Ax θα μηδενίζεται, (Ax) k = j=1 akj xj = 0.
Προκύπτει λοιπόν akk xk = − j=1,j̸=k akj xj . Χρησιμοποιώντας τώρα το γεγονός ότι ο A έχει αυστηρά
κυριαρχική διαγώνιο παίρνουμε
!
X n
|akk ||xk | ≤ |akj | kxk∞ < |akk |kxk∞ . (3.21)
j=1,j̸=k
Συνεπώς λόγω της επιλογής του δείκτη k ώστε kxk∞ = |xk | λαμβάνουμε |akk | < |akk | το οποίο είναι
άτοπο.
Αν ο A έχει αυστηρά κυριαρχική διαγώνιο κατά στήλες, τότε εξετάζουμε τον πίνακα AT ο οποίος έχει αυ-
στηρά κυριαρχική διαγώνιο κατά γραμμές.
Θεώρημα 3.3. Αν ο A έχει αυστηρά κυριαρχική διαγώνιο, τότε οι μέθοδοι Jacobi και Gauss-Seidel συγκλίνουν.
Απόδειξη. Ας θεωρήσουμε ότι ο A έχει αυστηρά κυριαρχική διαγώνιο κατά γραμμές
X
n
|aij | < |aii |, i = 1, . . . , n. (3.22)
j=1,j̸=i
Είναι απλό να δούμε ότι τότε |aii | > 0 και άρα aii 6= 0. Συνεπώς οι D και D − L της ανάλυσης του
A = D − L − U αντιστρέφονται και οι μέθοδοι Jacobi και Gauss–Seidel είναι καλά ορισμένες.
Ο πίνακας επανάληψης της μεθόδου του Jacobi δίνεται από
 a12 a1n 
0 − ··· −
 a11 a11 
 a21 .. a2n 
 − 0 . − 
−1  a 
TJ = D (L + U ) =  22 a 22 . (3.23)
 .. .. .. .. 
.
 . . . 
 an1 an(n−1) 
− ··· − 0
ann ann
Επειδή ! Pn
X n
|aij | j=1,j̸=i |aij |
kTJ k∞ = max = max < 1, (3.24)
1≤i≤n
j=1,j̸=i
|aii | 1≤i≤n |aii |
η μέθοδος συγκλίνει.
Για την περίπτωση της μεθόδου Gauss–Seidel ο πίνακας επανάληψης είναι ο TGS = (D − L)−1 U . Ας
υποθέσουμε ότι ρ(TGS ) ≥ 1. Τότε θα υπάρχει μια ιδιοτιμή λ του TGS με |λ| ≥ 1. Επομένως
0 = det(TGS − λI) = det((D − L)−1 U − λI)

= det((D − L)−1 )det(U − λ(D − L)) (3.25)
1
= (−λ)n det((D − L)−1 )det(D − L − U ).
λ
1 1
Από τη (3.25) εύκολα βλέπουμε ότι θα πρέπει det(D − L − U ) = 0, οπότε o Aλ = D − L − U είναι
λ λ
μη αντιστρέψιμος. Αν τώρα γράψουμε Aλ = {aλij }ni,j=1 παίρνουμε, επειδή |λ| ≥ 1,
X
n X
i−1
1 X
n X n
|aλij | = |aij | + |aij | ≤ |aij | < |aii | = |aλii |, i = 1, . . . n. (3.26)
j=1,j̸=i j=1
|λ| j=i+1 j=1,j̸=i
Επομένως ο Aλ έχει αυστηρά κυριαρχική διαγώνιο κατά γραμμές και σύμφωνα με το Λήμμα 3.1 αντιστρέ-
φεται, το οποίο είναι άτοπο. Συνεπώς συμπεραίνουμε ότι ρ(TGS ) < 1 και άρα η μέθοδος Gauss–Seidel
συγκλίνει.
Αν τώρα ο A έχει αυστηρά κυριαρχική διαγώνιο κατά στήλες, η απόδειξη γίνεται παρόμοια.
Στη συνέχεια θα δείξουμε το ακόλουθο τεχνικό λήμμα.

Λήμμα 3.2. Έστω µ 6= 0 και σταθερές ai , i = 2, . . . , n − 1, bi , i = 1, . . . , n, και ci , i = 1, . . . , n.

Θεωρούμε τον τριδιαγώνιο πίνακα A(µ)
 
b1 µ−1 c1 0
 .. .. 
 µa2 . . 
A(µ) =  . (3.27)
 ..
.
..
. µ−1 cn−1 
0 ··· µan bn
Τότε η τιμή της ορίζουσας του A(µ) είναι ανεξάρτητη του µ και άρα A(µ) = A(1).
Απόδειξη. Αν θεωρήσουμε τον διαγώνιο πίνακα

 
µ 0 0
 ..
. .. 
.
 0 µ2 
Q(µ) =  .. . (3.28)
 .
... ...
0 
0 ··· 0 µn
τότε εύκολα βλέπουμε ότι Q(µ)−1 A(µ)Q(µ) = A(1). Συνεπώς det(A(1)) = det(A(µ)).
Αν ο A είναι ένας τριδιαγώνιος πίνακας, τότε μπορούμε να συγκρίνουμε τη φασματική ακτίνα των πινάκων
επανάληψης των μεθόδων Jacobi και Gauss–Seidel, όπως διατυπώνεται στο ακόλουθο θεώρημα.
Θεώρημα 3.4. Αν A είναι ένας τριδιαγώνιος πίνακας και TJ , TGS είναι οι πίνακες επανάληψης των μεθόδων
Jacobi και Gauss–Seidel, τότε
ρ(TGS ) = ρ2 (TJ ) (3.29)
Απόδειξη. Οι ιδιοτιμές ενός πίνακα A είναι οι ρίζες του χαρακτηριστικού πολυωνύμου pA (λ) = det(A −
λI). Αν θεωρήσουμε τη διάσπαση της μεθόδου Jacobi A = D − L − U , ο πίνακας επανάληψης είναι
TJ = D−1 (L + U ), οπότε
pTJ (λ) = det(TJ − λI) = det(−D−1 ) det(λD − (L + U )). (3.30)
Αντίστοιχα, για τον πίνακα επανάληψης της μεθόδου Gauss–Seidel, TGS = (D − L)−1 U έχουμε
pTGS (λ) = det(TGS − λI) = det(−(D − L)−1 ) det(λ(D − L) − U )). (3.31)
1 1
Θεωρούμε τώρα τον πίνακα A(µ) = λ2 D − µλ2 L − U . Από το Λήμμα 3.2 έχουμε det(A( )) =
µ λ
det(A(1)), λ 6= 0. Συνεπώς
pTGS (λ2 ) = det(−(D − L)−1 ) det(λ2 D − λ2 L − U )

1
= det(−D−1 ) det(λ2 D − λ2 L − λU ) (3.32)
λ
−1
= λ det(−D ) det(λD − L − U ) = λn pTJ (λ).
n
Άρα αν λ, λ 6= 0, ιδιοτιμή του πίνακα επανάληψης TJ τότε η λ2 θα είναι και ιδιοτιμή του TGS , και αντιστρό-
φως. Δηλαδή αν λ2 ιδιοτιμή του TGS τότε λ, −λ ιδιοτιμές του TJ . Συνεπώς ρ(TGS ) = ρ2 (TJ ).
Παρατήρηση 3.5. Αν A είναι ένας τριδιαγώνιος πίνακας, τότε αν η μέθοδος Jacobi συγκλίνει, θα συγκλίνει
και η μέθοδος Gauss-Seidel και αντιστρόφως, αν συγκλίνει η Gauss-Seidel, θα συγκλίνει και η Jacobi.
3.3 Μέθοδοι διαδοχικής υπερχαλάρωσης (SOR)
Ορισμός 3.7. Έστω ω > 0. Η επαναληπτική μέθοδος με

1 1−ω
M= D − L και N = D+U
ω ω
καλείται μέθοδος διαδοχικής υπερχαλάρωσης (SOR), με παράμετρο ω. Η μέθοδος ορίζεται ως
x(k+1) = Tω x(k) + cω , k = 0, 1, 2, . . . ,
με πίνακα επανάληψης Tω = (D − ωL)−1 [(1 − ω)D + ωU ] και cω = ω(D − ωL)−1 b.
Παρατήρηση 3.6. Η μέθοδος είναι καλώς ορισμένη αν ο D είναι αντιστρέψιμος πίνακας και αν ω = 1, τότε
προκύπτει η μέθοδος Gauss-Seidel.
Θεώρημα 3.5. Αναγκαία συνθήκη για τη σύγκλιση της μεθόδου SOR είναι
|ω − 1| < 1. (3.33)
Απόδειξη. Αν λi ∈ ρ(Tω ), i = 1, . . . , n, οι ιδιοτιμές του επαναληπτικού πίνακα, τότε για ναQ έχουμε σύ-
γκλιση πρέπει |λi | < 1, i = 1, . . . , n. Είναι
Qnγνωστό από
Qτη Γραμμική Άλγεβρα, βλ. π.χ. [7], ότι ni=1 λi =
det(Tω ). Άρα αρκεί να εξετάσουμε πότε | i=1 λi | = ni=1 |λi | < 1. Έχουμε ότι
Y
n
λi = det((D − ωL)−1 [(1 − ω)D + ωU ]) = det((D − ωL)−1 ) det((1 − ω)D + ωU )
i=1
1
= (1 − ω)n det(D) = (1 − ω)n .
det(D)
(3.34)
Επομένως, για να έχουμε σύγκλιση πρέπει |ω − 1| < 1.
Θεώρημα 3.6. Έστω A ∈ Rn×n , συμμετρικός AT = A και θετικά ορισμένος. Αν θεωρήσουμε τη διάσπαση
A = M − N με M αντιστρέψιμο, τότε M T + N συμμετρικός. Επιπλέον, αν ο M T + N είναι θετικά ορισμένος
έχουμε
ρ(M −1 N ) < 1.
Απόδειξη. Ο M T + N είναι το άθροισμα των συμμετρικών πινάκων, A και N T + N . Πράγματι,
M T + N = (M − N )T + N T + N = AT + (N T + N ). (3.35)
Αφού ο A είναι θετικά ορισμένος μπορούμε να ορίζουμε την ακόλουθη νόρμα διανύσματος
p
kxkA = (Ax, x),
καθώς και την επαγόμενη από αυτή νόρμα πίνακα k · k. Θα δείξουμε στη συνέχεια ότι kM −1 N k < 1, οπότε
χρησιμοποιώντας το Θεώρημα 3.1 παίρνουμε το ζητούμενο.
Υπάρχει v ∈ Rn με kvkA = 1 τέτοιο ώστε
kM −1 N k = max kM −1 N xkA = kM −1 N vkA (3.36)
∥x∥A =1
Λόγω της διάσπασης N = M − A, και αν θέσουμε w = M −1 Av, έχουμε

kM −1 N vk2A = (AM −1 N v, M −1 N v) = (AM −1 (M − A)v, M −1 (M − A)v)
= (Av − AM −1 Av, (I − M −1 A)v)
(3.37)
= (Av, v) − (AM −1 Av, v) + (AM −1 Av, M −1 Av) − (Av, M −1 Av)
= 1 − (w, M w) + (Aw, w) − (M w, w) = 1 − ((M T + N )w, w).
Επειδή οι A, M είναι αντιστρέψιμοι έχουμε w 6= 0. Ακόμα, εφόσον ο M T + N είναι θετικά ορισμένος θα
έχουμε ((M T + N )w, w) > 0. Συνεπώς kM −1 N vk2A = 1 − ((M T + N )w, w) < 1.
Στην περίπτωση που ο A είναι συμμετρικός και θετικά ορισμένος πίνακας μπορεί να αποδειχθεί ότι η ικανή
συνθήκη του Θεωρήματος 3.5 είναι και αναγκαία.
Θεώρημα 3.7. Αν A ∈ Rn×n συμμετρικός και θετικά ορισμένος, τότε η συνθήκη ω ∈ (0, 2) είναι μια αναγκαία
και ικανή συνθήκη για τη σύγκλιση της μεθόδου SOR.
Απόδειξη. Αποδεικνύουμε το θεώρημα ακολουθώντας επιχειρήματα παρόμοια με αυτά των [1], [4] και [8].
Αφού ο A είναι θετικά ορισμένος το ίδιο θα ισχύει και για τον D. Επομένως θα έχει μη-μηδενικά διαγώνια
στοιχεία. Άρα ο πίνακας ω1 D − L, ω 6= 0, θα αντιστρέφεται, επειδή θα ισχύει det( ω1 D − L) 6= 0. Επιπλέον
έχουμε ότι
1 1−ω
M = D − L και N = D + U,
ω ω
και LT = U , οπότε
1 1−ω 2−ω
MT + N = D − LT + D+U = D. (3.38)
ω ω ω
Συνεπώς ο M T + N είναι θετικά ορισμένος αν και μόνο αν ω ∈ (0, 2). Χρησιμοποιώντας τώρα το Θεωρήμα
3.6 παίρνουμε το ζητούμενο.
Στην περίπτωση που ο A είναι συμμετρικός και θετικά ορισμένος πίνακας μπορεί να βρεθεί η βέλτιστη πα-
ράμετρος ω για την οποία ο πίνακας επανάληψης Tω της μεθόδου SOR έχει τη μικρότερη φασματική ακτίνα.
Θεώρημα 3.8. Αν A είναι ένας τριδιαγώνιος, συμμετρικός και θετικά ορισμένος πίνακας, τότε οι μέθοδοι Jacobi,
Gauss–Seidel και SOR συγκλίνουν. Επίσης υπάρχει μια βέλτιστη παράμετρος ωopt τέτοια ώστε
ρ(Tωopt ) = min ρ(Tω ), (3.39)

0<ω<2
όπου Tω είναι ο πίνακας επανάληψης της μεθόδου SOR με παράμετρο ω και

2
ωopt = p (3.40)
1 + 1 − ρ2 (TJ )
ρ(Tωopt ) = ωopt − 1. (3.41)

Απόδειξη. Για την απόδειξη ακολουθούμε τα επιχειρήματα των [1], [4] και [8]. Αφού ο A είναι συμμετρικός
και θετικά ορισμένος, από το Θεώρημα 3.7 γνωρίζουμε ότι η μέθοδος SOR συγκλίνει για 0 < ω < 2. Επειδή
για ω = 1 η μέθοδος SOR ταυτίζεται με τη μέθοδο Gauss–Seidel, προκύπτει ότι η μέθοδος Gauss–Seidel
συγκλίνει. Λόγω τώρα του Θεωρήματος 3.4 έχουμε ρ2 (TJ ) = ρ(TGS ) < 1. Οπότε συγκλίνει και η μέθοδος
Jacobi.
Βρίσκουμε για ποιο ω έχουμε τη μικρότερη φασματική ακτίνα, δηλαδή το ωopt . Θεωρούμε τον βοηθητικό
πίνακα
λ2 + ω − 1 1
A(µ) = D − µλ2 L − U.
ω µ
1
Τότε σύμφωνα με το Λήμμα 3.2, det(A( )) = det(A(1)), λ 6= 0. Συνεπώς
λ
λ2 + ω − 1 1
det( D − λ2 L − U ) = det(A(1)) = det(A( ))
ω λ
λ +ω−1
2
= det( D − λL − λU ) (3.42)
ω
λ2 + ω − 1
= λn det( D − L − U ).
λω
Ο πίνακας επανάληψης Tω της μεθόδου SOR με παράμετρο ω δίνεται από Tω = (D − ωL)−1 [(1 − ω)D +
ωU ]. Χρησιμοποιώντας την (3.30) έχουμε
1 −1 λ2 + ω − 1
pTω (λ2 ) = det(Tω − λ2 I) = det((L − D) ) det( D − λ2 L − U )
ω ω
1 λ2 + ω − 1
= λn det((L − D)−1 ) det( D − L − U) (3.43)
ω λω
det((L − ω1 D)−1 ) λ2 + ω − 1
= λn p TJ ( ).
det(−D−1 ) λω
λ2 + ω − 1
Συνεπώς αν λ 6= 0, τότε το λ2 είναι ιδιοτιμή του Tω αν και μόνο αν το είναι ιδιοτιμή του TJ .
λω
Επειδή ρ(TJ ) < 1, για κάθε ιδιοτιμή α του πίνακα επανάληψης TJ ισχύει |α| < 1. Θέτουμε
λ2 + ω − 1
= α. (3.44)
λω
Προκύπτουν δύο τιμές λ1 (α) και λ2 (α) ως λύσεις της εξίσωσης (3.44)
p p
αω + α2 ω 2 − 4(ω − 1) αω − α2 ω 2 − 4(ω − 1)
λ1 (α) = και λ2 (α) = . (3.45)
2 2
Στη συνέχεια θέτουμε µ1 (α) = λ21 (α) και µ2 (α) = λ22 (α) τις αντίστοιχες ιδιοτιμές του Tω . Μπορούμε να
δούμε ότι οι ιδιοτιμές του TJ είναι πραγματικές. Πράγματι, αν α ∈ σ(TJ ) και v ένα ιδιοδιάνυσμα ως προς α
θα έχουμε TJ v = αv. Οπότε
(L + U )v = αDv ή Av = (1 − α)Dv,
από όπου προκύπτει ότι
(Av, v) = (1 − α)(Dv, v).
Συνεπώς 1 − α > 0, επειδή οι A, D είναι θετικά ορισμένοι πίνακες.
Μπορούμε να δούμε εύκολα, βλ. Θεώρημα 3.4, ότι αν α ιδιοτιμή του TJ τότε και −α είναι επίσης ιδιοτιμή
του TJ . Επομένως, ισχύει ότι λ1 (α) = −λ2 (−α). Συνεπώς
ρ(Tω ) = max {|µ1 (α)|, |µ2 (α)|} = max {|µ1 (α)|},
α∈σ(TJ ) α∈σ(TJ )
με
1 2 2 αω p 2 2
|µ1 (α)| = (α ω − 2(ω − 1)) + α ω − 4(ω − 1) . (3.46)
2 2
Θέλουμε τώρα να υπολογίσουμε την τιμή |µ1 (α)| ώστε να βρούμε για ποιο α μεγιστοποιείται. Η ποσότητα
α ω 2 − 4(ω − 1) είναι πραγματική και αν είναι αρνητική τότε, λόγω της (3.45), το µ1 (α) είναι μιγαδικός
2
αριθμός. Επομένως υπολογίζοντας τις δύο ρίζες της εξίσωσης α2 ω 2 − 4(ω − 1) = 0,

2 2
ω1 (α) = √ < ω2 (α) = √ , (3.47)
1+ 1−α 2 1 − 1 − α2
γνωρίζουμε ότι για ω ∈ (ω1 (α), ω2 (α)), το µ1 (α) είναι μιγαδικός αριθμός. Επίσης, επειδή |α| ≤ ρ(TJ ) <
1 έχουμε
1 < ω1 (α) < 2 < ω2 (α). (3.48)
Γνωρίζουμε ότι εφόσον η μέθοδος SOR συγκλίνει θα ισχύει ότι ω ∈ (0, 2). Οπότε, αν ω1 (α) < ω < 2,
τότε µ1 (α) είναι μιγαδικός αριθμός. Συνεπώς
1
|µ1 (α)|2 = ((α2 ω 2 − 2(ω − 1))2 + α2 ω 2 (−α2 ω 2 + 4(ω − 1))) = (ω − 1)2 . (3.49)
4
Άρα θα έχουμε σε αυτήν την περίπτωση |µ1 (α)| = ω − 1. Στην περίπτωση τώρα που ω ∈ (0, ω1 (α)] το
µ1 (α) είναι πραγματικός. Άρα
(
ω − 1, αν ω ∈ [ω1 (α), 2)
|µ1 (α)| = (3.50)
|λ1 (α)|, αν ω ∈ (0, ω1 (α)].
2
Αν µ1 (α) είναι πραγματικός, λόγω της (3.45), έχουμε για α > 0 ότι λ1 (α) ≥ λ1 (−α). Επιπλέον από την
(3.47) παίρνουμε ω1 (α) = ω1 (−α). Οπότε
|µ1 (α)| ≥ |µ1 (−α)|, για α > 0. (3.51)
Συνεπώς μπορούμε να μεγιστοποιήσουμε την ποσότητα |µ1 (α)| για θετικά α. Ακόμα, για α > 0 η µ1 (α)
είναι αύξουσα συνάρτηση ως προς α, επειδή
!
2
d ω α
(λ1 (α)2 ) = λ1 (α) ω + p > 0. (3.52)
dα α2 ω 2 − 4(ω − 1)
Επομένως για σταθερό ω το μέγιστο της µ1 (α) λαμβάνεται για α = ρ(TJ ),
ρ(Tω ) = |µ1 (ρ(TJ ))| = max |µ1 (α)|. (3.53)

α∈σ(TJ )
Στη συνέχεια θα βρούμε το ελάχιστο ως προς ω ∈ (0, 2) της ρ(Tω ). Στη λ1 (α)2 αντικαθιστούμε το α με το
ρ(TJ ) και θεωρούμε τη παράγωγο ως προς ω
d d
(λ1 (ρ(TJ )2 ) = 2λ1 (ρ(TJ )) (λ1 (ρ(TJ )))
dω dω !
d ρ(TJ ) 2ρ(TJ )2 ω − 4
= 2λ1 (ρ(TJ )) + p (3.54)
dω 2 4 ρ(TJ )2 ω 2 − 4(ω − 1)
2(ρ(TJ )λ1 (ρ(TJ )) − 1)
= λ1 (ρ(TJ )) p .
4 ρ(TJ )2 ω 2 − 4(ω − 1)
Αφού 0 ≤ ρ(TJ ) < 1 και λ1 (ρ(TJ )) ≤ ρ(Tω ) < 1 έχουμε
d
(λ1 (ρ(TJ )2 ) < 0.
dω
Άρα η µ1 (ρ(TJ )) είναι φθίνουσα ως προς ω και το ελάχιστο της µ1 (ρ(TJ )) στο [0, ω1 (ρ(TJ ))] λαμβάνε-
ται στο ω1 (ρ(TJ )). Αντίστοιχα, το ελάχιστο της ω − 1 στο [ω1 (ρ(TJ )), 2] λαμβάνεται στο ω1 (ρ(TJ )).
Επομένως, αν ω ∈ (0, 2), το ελάχιστο της ρ(Tω ) λαμβάνεται στο ω1 (ρ(TJ )) και παίρνουμε λοιπόν ότι
min0<ω<2 ρ(Tω ) = ωopt − 1 και ωopt = ω1 (ρ(TJ )).
3.4 Μέθοδοι κλίσεων
1 1
Ορισμός 3.8. Για A ∈ Rn×n θεωρούμε τη διάσπαση M = I και N = I − A, α ∈ R, α 6= 0.
α α
Η επαναληπτική μέθοδος που προκύπτει καλείται μέθοδος των κλίσεων (με σταθερό α). Η ακολουθία των
προσεγγίσεων {x(k) }k≥0 ορίζεται τότε ως
x(k+1) = x(k) + α(b − Ax(k) ), k = 0, 1, 2, . . . . (3.55)

Θεώρημα 3.9. Έστω ότι ο A ∈ Rn×n έχει ιδιοτιμές λ1 ≤ · · · ≤ λn .
(i.) Αν λ1 < 0 < λn τότε η μέθοδος των κλίσεων αποκλίνει για κάθε α.
(ii.) Αν 0 < λ1 τότε η μέθοδος συγκλίνει αν και μόνο αν 0 < α < 2/λn . Η βέλτιστη παράμετρος α η οποία
ελαχιστοποιεί τη φασματική ακτίνα του πίνακα επανάληψης είναι
2
αopt = ,
λ1 + λn
και
λn − λ 1 κ2 (A) − 1
min ρ(M −1 N ) = = .
α λn + λ 1 κ2 (A) + 1
Απόδειξη. Αρκεί να εξετάσουμε πότε ρ(M −1 N ) = ρ(I − αA) < 1 ή αλλιώς −1 < 1 − αλi < 1,
i = 1, . . . , n. Είναι φανερό ότι αυτό συμβαίνει αν αλi > 0, i = 1, . . . , n. Συνεπώς όλες οι ιδιοτιμές πρέπει
να είναι διαφορετικές του μηδενός και ομόσημες του α, οπότε έχουμε δείξει το (i.).
Για να να δείξουμε την (ii.) παρατηρούμε ότι από τις σχέσεις −1 < 1 − αλi < 1, i = 1, . . . , n,
2
προκύπτει α < και επειδή 0 < λ1 έχουμε ότι αν η μέθοδος συγκλίνει, τότε 0 < α < 2/λn . Αν τώρα
λn
0 < α < 2/λn είναι προφανές ότι θα οδηγηθούμε στις σχέσεις −1 < 1 − αλi < 1, i = 1, . . . , n, οπότε
ρ(M −1 N ) = ρ(I − αA) < 1, δηλαδή η μέθοδος θα συγκλίνει.
Στη συνέχεια θα βρούμε τη βέλτιστη παράμετρο α η οποία ελαχιστοποιεί τη ρ(M −1 N ) = ρ(I − αA).
1 1
Παρατηρούμε ότι η συνάρτηση f (λ) = |1 − αλ| είναι φθίνουσα στο (−∞, ) και αύξουσα στο ( , ∞).
α α
Εύκολα βλέπουμε ότι επειδή α > 0 και λ1 > 0,
1 − αλ1 > · · · > 1 − αλn , (3.56)
επομένως ρ(M −1 N ) = max(|1 − αλ1 |, |1 − αλn |). Για να βρούμε ποια από τις 2 τιμές είναι μεγαλύτερη
αρκεί να βρούμε το πρόσημο της διαφοράς |1 − αλ1 | − |1 − αλn | το οποίο είναι το ίδιο με αυτό της (1 −
αλ1 )2 − (1 − αλn )2 . Εύκολα βλέπουμε ότι
(1 − αλ1 )2 − (1 − αλn )2 = (1 − αλ1 − (1 − αλn ))(1 − αλ1 + 1 − αλn )

(3.57)
= α(λn − λ1 )(2 − α(λ1 + λ2 )),
οπότε για να βρούμε το max(|1 − αλ1 |, |1 − αλn |) αρκεί να εξετάσουμε το πρόσημο της 2 − α(λ1 + λ2 ).
Συμπεραίνουμε λοιπόν ότι

 2
1 − αλ1 , αν 0 < α < ,
ρ(M −1 N ) = λ1 + λn (3.58)

αλn − 1, αν
2
<α<
2
.
λ1 + λn λn
2
Είναι προφανές λοιπόν ότι η μικρότερη τιμή ρ(M −1 N ) λαμβάνεται για αopt = και
λ1 + λn
λ1 + λn − 2λ1 λ n − λ1
min ρ(M −1 N ) = 1 − αopt λ1 = = . (3.59)
α λ1 + λn λ 1 + λn
3.4.1 Γεωμετρική ερμηνεία
Ορισμός 3.9. Έστω f : Rn → R. Καλούμε κλίση της f στο x ∈ Rn το διάνυσμα

∂f ∂f T
∇f (x) = ( (x), . . . , ) .
∂x1 ∂xn
Θεωρούμε το πρόβλημα ελαχιστοποίησης της συνάρτησης
1X X
n n
1
f (x) = (Ax, x) − (b, x) = aij xi xj − bi x i , (3.60)
2 2 i,j=1 i=1
όπου ο A ∈ Rn×n είναι συμμετρικός και θετικά ορισμένος και b ∈ Rn .

Ορισμός 3.10. Λέμε ότι η f : Rn×n → R έχει ελάχιστο (ή λαμβάνει την ελάχιστη τιμή) στο x⋆ ∈ Rn αν
f (x) ≥ f (x⋆ ), ∀x ∈ Rn . (3.61)
1
Θεώρημα 3.10. Έστω A ∈ Rn×n συμμετρικός, b ∈ Rn και f (x) = (Ax, x) − (b, x). Η κλίση της f είναι
2
∇f (x) = Ax − b. (3.62)
Αν επιπλέον ο A είναι θετικά ορισμένος, τότε η f λαμβάνει ένα μοναδικό ελάχιστο στο x⋆ ∈ Rn το οποίο είναι
λύση του γραμμικού συστήματος Ax⋆ = b.
Απόδειξη. Η μερική παράγωγος ως προς xk δίνεται από
1 X 1 X
n n
∂f (x)
= akk xk + aik xi + aki xi − bk
∂xk 2 i=1,i̸=k 2 i=1,i̸=k
(3.63)
X
n
= aik xi − bk = (Ax − b)k .
i=1
Επομένως ∇f (x) = Ax − b. Αφού ο A είναι συμμετρικός και πραγματικός, υπάρχουν P n ιδιοτιμές και
έστω u(i) , i = 1, . . . , n, τα αντίστοιχα ορθοκανονικά ιδιοδιανύσματα. Θέτουμε x = ni=1 x̂i u(i) και b =
Pn (i)
i=1 b̂i u έτσι ώστε
!
1X X X
n n n 2
1 b̂ i b̂
f (x) = λi x̂2i − b̂i x̂i = λi (x̂i − )2 − i . (3.64)
2 i=1 i=1
2 i=1
λi λi
Αν ο A είναι θετικά ορισμένος, λi > 0, τότε η f ελαχιστοποιείται αν ελαχιστοποιήσουμε κάθε όρο της
b̂i
τετραγωνικής μορφής. Οπότε το ελάχιστο λαμβάνεται για x̂i = και αυτό δίνει τη μοναδική λύση του
λi
Ax = b.
Παρατήρηση 3.7. Χρησιμοποιώντας το Θεώρημα 3.10 μπορούμε να δείξουμε ότι αν A θετικά ορισμένος και
1
συμμετρικός πίνακας και f (x) = (Ax, x) − (b, x) και V είναι ένας υπόχωρος του Rn , υπάρχει x⋆ ∈ V
2
f (x⋆ ) ≤ f (x), ∀x ∈ V.
Επίσης, το x⋆ είναι το μοναδικό στοιχείο του V τέτοιο ώστε
(Ax⋆ − b, y) = 0, ∀y ∈ V.
Για την απόδειξη αυτής της παρατήρησης βλ. π.χ. [1].
1
Θεώρημα 3.11. Έστω A ∈ Rn×n συμμετρικός και θετικά ορισμένος, b ∈ Rn και f (x) = (Ax, x)−(b, x).
2
Αν ∇f (x) 6= 0 τότε
2
f (x − a∇f (x)) ≤ f (x), ∀α ∈ (0, ). (3.65)
ρ(A)
Απόδειξη. Γνωρίζουμε ότι η f λαμβάνει το ελάχιστό της σε ένα μοναδικό σημείο x ∈ Rn τέτοιο ώστε Ax = b
και σε αυτό το σημείο ∇f (x) = 0. Έστω τώρα x ∈ Rn , ∇f (x) 6= 0. Θέτουμε δ = −α(Ax − b). Αφού ο
A είναι συμμετρικός έχουμε
1
f (x + δ) = (A(x + δ), x + δ) − (b, x + δ)
2
1 1
= (Ax, x) − (b, x) + (Aδ, δ) + (Ax, δ) − (b, δ) (3.66)
2 2
1
= f (x) + (Aδ, δ) + (Ax − b, δ).
2
Επίσης ισχύει
(Aδ, δ) ≤ kAk2 kδk22 = ρ(A)kδk22 = α2 ρ(A)kAx − b)k22 , (3.67)
και
(Ax − b, δ) = −αkAx − bk22 . (3.68)
Συνεπώς έχουμε
ρ(A)
f (x + δ) ≤ f (x) + (α2 − α)kAx − b)k22 . (3.69)
2
2
Οπότε f (x + δ) < f (x) αν 0 < α < .
ρ(A)
3.4.2 Μέθοδος απότομης καθόδου
Ορισμός 3.11. Η επαναληπτική μέθοδος

(
x(0) ∈ Rn ,
(3.70)
x(k+1) = x(k) + αk (b − Ax(k) ), k ≥ 0,
με αk να δίνεται από
kr(k) k22
αk = , όπου r(k) = b − Ax(k) , (3.71)
(Ar(k) , r(k) )
καλείται μέθοδος απότομης καθόδου.
Παρατήρηση 3.8. Το αk της παραπάνω μεθόδου πάντα ορίζονται καλά εκτός εάν r(k) = 0. Τότε όμως
έχουμε ήδη βρει τη λύση του γραμμικού συστήματος Ax = b.
Λήμμα 3.3. Έστω A ∈ Rn×n ένας θετικά ορισμένος και συμμετρικός πίνακας. Για τη μέθοδο κλίσεων (3.70) το
αk το οποίο δίνεται από την (3.71) ορίζει το μοναδικό βέλτιστο βήμα κατά την κατεύθυνση της κλίσης ∇f (x(k) ).
Απόδειξη. Θα θεωρήσουμε τη συνάρτηση g(α) = f (xk − α∇f (x(k) )) η οποία είναι πολυώνυμο 2ου βαθ-
μού ως προς α και θα βρούμε την ελάχιστη τιμή του. Η απόδειξη αυτού του λήμματος αφήνεται ως άσκηση,
βλ. Άσκηση 3.5.17.
Ορισμός 3.12. Έστω A ∈ Rn×n και r ∈ Rn . Καλούμε χώρο Krylov Kk , που παράγεται από τα A, r τον
υπόχωρο του Rn που παράγεται από τα k + 1 διανύσματα {r, Ar, A2 r, . . . , Ak r}.
Λήμμα 3.4. Η ακολουθία των χώρων Krylov (Kk )k≥0 είναι μια αύξουσα ακολουθία χώρων
Kk ⊆ Kk+1 , ∀k ≥ 0. (3.72)
Επίσης για κάθε r ∈ Rn , r 6= 0, υπάρχει k0 ∈ {0, 1, . . . , n − 1} τέτοιο ώστε

(
k + 1, αν 0 ≤ k ≤ k0 ,
dim Kk = (3.73)
k0 + 1, αν k0 ≤ k.
Το k0 καλείται κρίσιμη διάσταση των χώρων Krylov Kk .
Απόδειξη. Είναι φανερό ότι dim Kk ≤ k + 1 και dim K0 = 1. Αφού dim Kk ≤ n, για κάθε k ≥ 0,
υπάρχει k0 τέτοιο ώστε να είναι ο μεγαλύτερος ακέραιος τέτοιος ώστε
dim Kk = k + 1, ∀k ≤ k0 . (3.74)
Από τον ορισμό του k0 έχουμε dim Kk0 +1 < k0 + 2. Επειδή Kk0 ⊂ Kk0 +1 , έπεται ότι dim Kk0 +1 = k0 +
1. Συνεπώς το Ak0 +1 r είναι γραμμικός συνδυασμός των {r, Ar, . . . , Ak0 r}. Εύκολα συμπεραίνουμε λοιπόν
ότι τα Ak r με k ≥ k0 + 1 είναι γραμμικώς εξαρτημένα από τα {r, Ar, . . . , Ak0 r}, δηλαδή Kk = Kk0 , για
κάθε k ≥ k0 .
Ορισμός 3.13. Για x(0) ∈ Rn και X ένα διανυσματικό υπόχωρο του Rn θα γράφουμε
[x(0) + X] = {x ∈ Rn : x − x(0) ∈ X}.
Θεώρημα 3.12. Θεωρούμε τη μέθοδο των κλίσεων (3.70) και τους χώρους Krylov Kk που παράγονται με το
διάνυσμα r(0) . Το r(k) = b − Ax(k) ικανοποιεί τις ακόλουθες ιδιότητες:
1. r(k) ∈ Kk , τον χώρο Krylov που παράγεται με το διάνυσμα r(0) .
2. x(k+1) ∈ [x(0) + Kk ].
Απόδειξη. Σύμφωνα με τον ορισμό της μεθόδου (3.70), x(k+1) = x(k) + ak r(k) , οπότε εύκολα βλέπουμε
ότι Ax(k+1) = Ax(k) + ak Ar(k) και
r(k+1) = r(k) − ak Ar(k) . (3.75)
Συνεπώς r(1) ∈ span{r(0) , Ar(0) } και χρησιμοποιώντας επαγωγή βλέπουμε ότι
r(k) ∈ Kk = span{r(0) , Ar(0) , . . . , Ak r(0) }.
Επίσης εύκολα βλέπουμε ότι x(1) − x(0) ∈ K0 , οπότε χρησιμοποιώντας και πάλι επαγωγή συμπεραίνουμε
ότι x(k+1) − x(0) ∈ Kk .
Λήμμα 3.5. Έστω (x(k) )k≥0 ⊂ Rn και Kk ο χώρος Krylov που παράγεται από το r(0) = b − Ax(0) . Αν
x(k+1) ∈ [x(0) + Kk ], τότε r(k+1) = b − Ax(k+1) ∈ Kk+1 .
Απόδειξη. Αν x(k+1) ∈ [x(0) + Kk ] τότε υπάρχουν σταθερές ai , i = 0, . . . , k, τέτοιες ώστε
X
k
(k+1) (0)
x =x + ai Ai r(0) , (3.76)
i=0
Pk
οπότε Ax(k+1) − b = Ax(0) − b + i=0 ai Ai+1 r(0) , δηλαδή r(k+1) ∈ Kk+1 .
3.4.3 Μέθοδος συζυγών κλίσεων
Θα υποθέσουμε ότι ο πίνακας A είναι συμμετρικός και θετικά ορισμένος και θα βελτιώσουμε τη μέθοδο των
κλίσεων κατασκευάζοντας μια νέα μέθοδο που μοιάζει με τη μέθοδο των κλίσεων (3.70) και θα ολοκληρώνεται
πάντα σε πεπερασμένο αριθμό επαναλήψεων. Αρχικά δεν θα θεωρήσουμε μια επαναληπτική διαδικασία για
να ορίσουμε το x(k+1) όπως αυτή που θεωρήσαμε στη μέθοδο (3.70) αλλά θα την ορίσουμε σύμφωνα με την
ιδιότητα του Θεωρήματος 3.12, δηλαδή με x(k+1) ∈ [x(0) + Kk ], όπου Kk ο χώρος Krylov που παράγεται
από το r(0) = b − Ax(0) . Φυσικά αυτό δεν αρκεί για να μπορέσουμε να ορίσουμε το x(k+1) μοναδικά. Θα
πρέπει να απαιτήσουμε κάποια επιπλέον ιδιότητα από το x(k+1) . Μπορούμε να θεωρήσουμε παραδείγματος
χάριν κάποια από τις ακόλουθες δύο:
1. Επιλέγουμε x(k+1) ∈ [x(0) + Kk ] τέτοιο ώστε r(k+1) ⊥Kk .
1
2. Επιλέγουμε x(k+1) ∈ [x(0) + Kk ] το οποίο να ελαχιστοποιεί τη f (x) = (Ax, x) − (b, x) στο
2
[x(0) + Kk ].
Στο ακόλουθο Θεώρημα 3.13 θα δείξουμε ότι η διαδικασία που προσδιορίζει το x(k+1) ∈ [x(0) + Kk ]
συγκλίνει στο x = A−1 b σε n το πολύ βήματα και θα την καλούμε μέθοδο συζυγών κλίσεων. Στη συνέχεια,
στο Θεωρήμα 3.15, θα προσδιορίσουμε τον ακριβή αλγόριθμο της μεθόδου των συζυγών κλίσεων.
Θεώρημα 3.13. Έστω A ∈ Rn×n συμμετρικός και θετικά ορισμένος. Υπάρχει μοναδικό x(k+1) ∈ [x(0) + Kk ]
που ικανοποιεί τα δύο παραπάνω κριτήρια. Επίσης x(k) συγκλίνει στο x = A−1 b σε n το πολύ βήματα.
Απόδειξη. Θα δείξουμε καταρχάς ότι οι δύο παραπάνω ιδιότητες 1-2 είναι ισοδύναμες και ορίζουν με μοναδικό
τρόπο το x(k+1) . Για κάθε y ∈ Kk , θέτουμε
1
g(y) = f (x(0) + y) = (Ay, y) − (r(0) , y) + f (x(0) ).
2
Το να ελαχιστοποιήσουμε τη f (x) στο [x(0) + Kk ] είναι ισοδύναμο με το ελαχιστοποιήσουμε την g στο Kk .
Σύμφωνα με την Παρατήρηση 3.7, η g λαμβάνει ένα μοναδικό ελάχιστο στο Kk το οποίο συμβολίζουμε με
x(k+1) − x(0) . Συνεπώς η δεύτερη ιδιότητα ορίζει με μοναδικό τρόπο το x(k+1) .
Επιπλέον, από την Παρατήρηση 3.7 έχουμε ότι
(Ax(k+1) − b, y) = 0, ∀y ∈ Kk ,
οπότε r(k+1) ⊥ Kk . Άρα οι ιδιότητες 1-2 είναι ισοδύναμες.
Θέλουμε ακόμα να δείξουμε ότι ολοκληρώνεται σε n το πολύ βήματα. Αν η κρίσιμη διάσταση του χώρου
Kk , k0 είναι ίση με n − 1, τότε dim Kk0 = n και ο χώρος [x(0) + Kk0 ] ταυτίζεται με τον Rn . Επιπλέον
x(k0 +1) = x(n) είναι το ελάχιστο της f στο Rn και σύμφωνα με τo Θεώρημα 3.10, Ax(n) = b. Συνεπώς η
μέθοδος θα έχει ολοκληρωθεί σε n βήματα.
Αν τώρα k0 < n − 1, τότε για κάθε k ≥ k0 , dim Kk = k0 + 1. Οπότε Ak0 +1 r(0) ∈ Kk0 και άρα
υπάρχουν σταθερές ai , i = 0, . . . , k0 , τέτοιες ώστε
X
k0
k0 +1 (0)
A r = ai Ai r(0)
i=0
Είναι απλό να δούμε ότι η σταθερά a0 6= 0, γιατί διαφορετικά θα είχαμε ότι Ak0 r(0) ∈ Kk0 −1 , οπότε
Kk0 = Kk0 −1 το οποίο είναι άτοπο, σύμφωνα με τον ορισμό της κρίσιμης διάστασης k0 . Χρησιμοποιώντας
τώρα το γεγονός ότι r(0) = b − Ax(0) έχουμε
1 k0 (0) X 0 k
ai i−1 (0)
A( A r − A r + x(0) ) = b.
a0 a
i=1 0
Οπότε βλέπουμε ότι η λύση του Ax = b ανήκει στον χώρο [x(0) + Kk0 ]. Συνεπώς με την k0 + 1 επανάληψη,
όπου παίρνουμε το ελάχιστο της f στο [x(0) + Kk0 ], παίρνουμε και το ελάχιστο στο Rn , δηλαδή τη λύση του
Ax = b. Οπότε η μέθοδος έχει ολοκληρωθεί σε k0 + 1 ≤ n βήματα.
Θεώρημα 3.14. Έστω A ∈ Rn×n συμμετρικός και θετικά ορισμένος και (x(k) )k≥0 ⊂ Rn οι προσεγγίσεις με τη
μέθοδο των συζυγών κλίσεων και (r(k) )k≥0 ⊂ Rn η ακολουθία των αντίστοιχων υπολοίπων, r(k) = b − Ax(k)
και d(k) = x(k+1) − x(k) . Τότε
1. Ο χώρος Krylov Kk ο οποίος ορίζεται Kk = span{r(0) , Ar(0) , . . . , Ak r(0) } ικανοποιεί
Kk = span{r(0) , . . . , r (k) } = span{d(0) , . . . , d(k) }. (3.77)
2. Η ακολουθία (r(k) )k≥0 ⊂ Rn είναι ορθογώνια, δηλαδή
(r(k) , r(j) ) = 0, για 0 ≤ j < k ≤ n − 1. (3.78)
3. Η ακολουθία (d(k) )k≥0 ⊂ Rn είναι A-ορθογώνια, δηλαδή
(Ad(k) , d(j) ) = 0 ∀0 ≤ j < k ≤ n − 1. (3.79)
Απόδειξη. Εξετάζουμε πρώτα την περίπτωση όπου k ≥ k0 + 1, οπότε θα έχουμε r(k) = 0 και x(k) =
x(k0 +1) , δηλαδή d(k) = 0. Οπότε r(k) είναι ορθογώνια ως προς το εσωτερικό γινόμενο (·, ·) και τα d(k) είναι
ορθογώνια ως προς (A·, ·), δηλαδήA-ορθογώνια για k ≥ k0 + 1.
Αν k ≤ k0 , από τον ορισμό της ακολουθίας των συζυγών κλίσεων, r(k+1) ∈ Kk+1 και r(k+1) ⊥Kk .
Επίσης Kk ⊂ Kk+1 , dim Kk = k + 1 για k ≤ k0 . Άρα η οικογένεια (r(k) )0≤k≤k0 είναι ορθογώνια. Οπότε
Kk = span{r(0) , r(1) , . . . , r (k) }, k ≥ 0. Επίσης αφού d(k) = x(k+1) − x(k) , με x(k+1) ∈ [x(0) + Kk ],
x(k) ∈ [x(0) + Kk−1 ], έχουμε d(k) ∈ Kk , k ≥ 1. Άρα span{d(0) , d(1) , . . . , d(k) } ⊂ Kk .
Για να δείξουμε ότι τα d(k) είναι A-ορθογώνια, παρατηρούμε
(Ad(k) , d(j) ) = (A(x(k+1) − x(k) ), d(j) ) − (r(k) − r(k+1) , d(j) ) = 0. (3.80)
Αυτό γιατί d(j) ∈ Kj = span{r(0) , r(1) , . . . , r (j) } και τα r(0) , . . . , r (k+1) είναι ορθογώνια. Επίσης d(k) 6=
0 για k ≤ k0 , διαφορετικά θα έχουμε x(k+1) = x(k) και αντίστοιχα r(k+1) = r(k) 6= 0 το οποίο ισχύει γιατί
r(k+1) ∈ Kk+1 και r(k+1) ⊥Kk . Μια ορθογώνια οικογένεια μη μηδενικών διανυσμάτων θα είναι γραμμικά
ανεξάρτητη, άρα Kk = span{d(0) , d(1) , . . . , d(k) }.
Λήμμα 3.6. Έστω (a(i) ), 1 ≤ i ≤ p, μια οικογένεια γραμμικών ανεξάρτητων διανυσμάτων του Rn , (b(i) ) και
(c(i) ), 1 ≤ i ≤ p, δύο ορθογώνιες οικογένειες ως προς το ίδιο εσωτερικό γινόμενο του Rn τέτοιες ώστε για κάθε
1 ≤ i ≤ p,
span{a(1) , . . . , a(i) } = span{b(1) , . . . , b(i) } = span{c(1) , . . . , c(i) }.
Τότε κάθε διάνυσμα b(i) είναι παράλληλο στο c(i) για 1 ≤ i ≤ p.

Απόδειξη. Χρησιμοποιώντας τη διαδικασία της ορθοκανονικοποίησης Gram-Schmidt, βλέπε Θεώρημα 2.7,
υπάρχει μοναδική (ως προς το πρόσημο) ορθοκανονική οικογένεια (d(i) ), 1 ≤ i ≤ p, τέτοια ώστε
span{a(1) , . . . , a(i) } = span{d(1) , . . . , d(i) }.
Αφού τα {a(1) , . . . , a(p) } είναι γραμμικώς ανεξάρτητα, τα (b(i) ) και (c(i) ), 1 ≤ i ≤ p, δεν μπορεί να είναι
μηδέν. Οπότε θεωρούμε τις ορθοκανονικές οικογένειες (b(i) /kb(i) k) και (c(i) /kc(i) k), 1 ≤ i ≤ p. Αυτές
σύμφωνα με το Θεώρημα 2.7 θα διαφέρουν το πολύ ως προς το πρόσημο κάθε στοιχείου, δηλαδή b(i) /kb(i) k =
±c(i) /kc(i) k. Συνεπώς τα b(i) και c(i) είναι παράλληλα.
Θεώρημα 3.15. Έστω A ∈ Rn×n συμμετρικός και θετικά ορισμένος και (x(k) )k≥0 ⊂ Rn οι προσεγγίσεις με τη
μέθοδο των συζυγών κλίσεων και (r(k) )k≥0 ⊂ Rn η ακολουθία των αντίστοιχων υπολοίπων, r(k) = b − Ax(k) .
Τότε υπάρχει μια ακολουθία (p(k) )k≥0 ⊂ Rn τα οποία είναι A-ορθογώνια ανά δύο και ορίζονται σύμφωνα με τον
ακόλουθο αναδρομικό τύπο


x
(k+1)
= x(k) + αk p(k) ,
p(0) = r(0) = b − Ax(0) , r(k+1) = r(k) − αk Ap(k) , για 0 ≤ k ≤ k0 , (3.81)

 (k+1)
p = r(k+1) + βk p(k) ,
με
kr(k) k22 kr(k+1) k22
αk = και βk = .
(Ap(k) , p(k) ) kr(k) k2
Αν τώρα (x(k) , r(k) , p(k) ) οι τρεις ακολουθίες που ορίζονται από τις παραπάνω σχέσεις, τότε η (x(k) )k≥0 ⊂ Rn
είναι η ακολουθία των προσεγγίσεων με τη μέθοδο των συζυγών κλίσεων.
Απόδειξη. Αν η ακολουθία (x(k) ) που ορίζεται αναδρομικά από τις (3.81) είναι η ακολουθία των συζυγών
κλίσεων που δίνεται από το Θεώρημα 3.13, τότε x(k) = x(k0 +1) και r(k) = 0, για κάθε k ≥ k0 + 1.
Θέτουμε k0 να είναι ο μικρότερος δείκτης για τον οποίο r(k0 +1) = 0 και εύκολα παρατηρούμε ότι για
k ≥ k0 + 1, x(k) = x(k0 +1) και p(k) = r(k) = 0. Επομένως στην απόδειξη περιοριζόμαστε για k ≤ k0 .
Έστω τώρα (x(k) ) η ακολουθία των προσεγγίσεων με τη μέθοδο των συζυγών κλίσεων του Θεωρήματος
3.13. Θα δείξουμε επαγωγικά ότι ικανοποιεί τις σχέσεις της εκφώνησης.
Κατασκευάζουμε μια ακολουθία γραμμικών ανεξάρτητων διανυσμάτων, ορθογώνιων ως προς το εσωτερικό
γινόμενο (A·, ·) εφαρμόζοντας τον αλγόριθμο Gramm-Schmidt για τα διανύσματα r(k) . Επομένως
X
k−1
p(k) = r(k) + βj,k p(j) , (3.82)
j=0
με
(Ar(k) , p(j) )
βj,k = − . (3.83)
(Ap(j) , p(j) )
Σύμφωνα με το Θεώρημα 3.14, η ακολουθία d(k) = x(k+1) − x(k) είναι A− ορθογώνια. Από το Λήμμα 3.6
έχουμε ότι εφόσον οι ακολουθίες p(k) και d(k) = x(k+1) − x(k) είναι A− ορθογώνιες για 0 ≤ k ≤ k0 θα
υπάρχει μια σταθερά αk τέτοια ώστε
x(k+1) = x(k) + αk p(k) . (3.84)

1 (k+1)
Οπότε έχουμε p(k) = (x − x(k) ) για 0 ≤ k ≤ k0 . Συνεπώς, επειδή r(k) − r(k+1) = A(x(k+1) −
αk
x(k) ) για 0 ≤ k ≤ k0 , προκύπτει ότι
1 (k) (j)
(Ar(k) , p(j) ) = (r(k) , Ap(j) ) = (r , r − r(j+1) ), j = 0, . . . , k. (3.85)
αj
Επειδή η ακολουθία r(k) είναι ορθογώνια, και χρησιμοποιώντας τις (3.83) και (3.85) παίρνουμε

0, για 0 ≤ j ≤ k − 2,
βj,k = kr k2
(k) 2
 , για j = k − 1.
αk−1 (Ap(k−1) , p(k−1) )
Επομένως ισχύει
p(k) = r(k) + βk−1 p(k−1) , (3.86)
όπου βk−1 = βk−1,k . Επιπλέον, λόγω της (3.84)
r(k+1) = r(k) − αk Ap(k−1) . (3.87)
Άρα έχουμε δείξει επαγωγικά τις σχέσεις (3.81). Για να ολοκληρώσουμε την απόδειξη του θεωρήματος χρειά-
ζεται να βρούμε την τιμή του αk .
Επειδή το r(k+1) είναι ορθογώνιο ως προς το r(k) έχουμε ότι
0 = (r(k+1) , r(k) ) = kr(k) k2 − αk (Ap(k) , r(k) ). (3.88)
Οπότε λόγω της (3.86), και της A-ορθογωνιότητας των p(k) , p(k−1) ,
(Ap(k) , r(k) ) = (Ap(k) , p(k) − βk−1 p(k−1) ) = (Ap(k) , p(k) ). (3.89)
Επομένως
kr(k) k2
αk = , (3.90)
(Ap(k) , r(k) )
και παρόμοια
kr(k) k2
βk = . (3.91)
kr(k−1) k2
Μένει να δείξουμε το αντίστροφο. Υποθέτουμε ότι υπάρχουν οι τρεις ακολουθίες (x(k) , r(k) , p(k) ) που
ορίζονται από τις σχέσεις (3.81). Χρησιμοποιώντας επαγωγή εύκολα βλέπουμε ότι r(k+1) = b − Ax(k+1) .
Πράγματι, λόγω των (3.81) έχουμε ότι r(0) = b − Ax(0) . Επιπλέον, αν υποθέσουμε ότι r(k) = b − Ax(k) ,
τότε λόγω των (3.81) ισχύει ότι
r(k+1) = r(k) − αk Ap(k) = b − A(x(k) + αk p(k) ) = b − Ax(k+1) . (3.92)
Επίσης μπορούμε να δείξουμε επαγωγικά ότι p(k) , r(k) ∈ Kk . Από τις (3.81) έχουμε ότι x(k+1) = x(k) +
αk p(k) οπότε εύκολα προκύπτει ότι x(k+1) ∈ [x(0) + Kk ]. Για να δείξουμε τέλος οτι η ακολουθία (xk ) είναι
αυτή που δίνεται από τη μέθοδο συζυγών κλίσεων αρκεί να δείξουμε ότι r(k+1) είναι ορθογώνιο ως προς το
Kk , σύμφωνα με τον ορισμό της μεθόδου, βλέπε Θεώρημα 3.13.
Θα δείξουμε επαγωγικά ότι r(k+1) είναι ορθογώνιο στα r(j) , j = 0, . . . , k και ότι (Ap(k+1) , p(j) ) = 0,
kr(0) k2
j = 0, . . . , k. Από τις (3.81) έχουμε ότι α0 = οπότε
(Ap(0) , p(0) )
(r(1) , r(0) ) = kr(0) k2 − α0 (Ap(0) , r(0) ) = kr(0) k2 − α0 (Ap(0) , p(0) ) = 0
kr(1) k2
Επίσης, επειδή r(1) = r(0) − α0 Ap(0) , (r(1) , r(0) ) = 0 και β0 = , παίρνουμε
kr(0) k2
1
(Ap(1) , p(0) ) = ((r(1) + β0 p(0) , Ap(0) ) = ((r(1) + β0 p(0) , r(1) − r(0) ) = 0.
α0
Υποθέτουμε τώρα ότι
(r(k) , r(j) ) = 0 και (Ap(k) , p(j) ) = 0, j = 0, . . . , k − 1.
Θα δείξουμε ότι
(r(k+1) , r(j) ) = 0 και (Ap(k+1) , p(j) ) = 0, j = 0, . . . , k.
Λόγω των (3.81) έχουμε r(j) = p(j) − βj−1 p(j−1) οπότε
(r(k+1) , r(j) ) = (r(k) , r(j) )−αk (Ap(k) , r(j) ) = (r(k) , r(j) )−αk (Ap(k) , p(j) )+αk βj−1 (Ap(k) , p(j−1) ).
Συνεπώς από την επαγωγική υπόθεση έχουμε ότι (r(k+1) , r(j) ) = 0, για j = 0, . . . , k − 1. Επίσης λόγω
του ορισμού του αk
(r(k+1) , r(k) ) = (r(k) , r(k) ) − αk (Ap(k) , p(k) ) + αk βj−1 (Ap(k) , p(k−1) )
= (r(k) , r(k) ) − αk (Ap(k) , p(k) ) = 0.
Ακόμα, έχουμε ότι
(Ap(k+1) , p(j) ) = (p(k+1) , Ap(j) ) = (r(k+1) + βk p(k) , Ap(j) ),
και επειδή Ap(j) = (r(j) − r(j+1) )/αj παίρνουμε
1 (k+1) (j)
(Ap(k+1) , p(j) ) = (r , r − r(j+1) ) + bek (p(k) , Ap(j) ).
αj
Επομένως λόγω της επαγωγικής υπόθεσης για j = 0, . . . , k − 1, έχουμε (Ap(k+1) , p(j) ) = 0. Επίσης
εύκολα βλέπουμε ότι (Ap(k+1) , p(k) ) = 0. Συνεπώς έχουμε ολοκληρώσει την επαγωγή.
Τέλος, αφού τα r(k) είναι ορθογώνια, είναι και γραμμικά ανεξάρτητα, και παίρνουμε ότι x(k+1) ∈ [x(0) +
Kk ] και r(k+1) ⊥ Kk , δηλαδή ότι η ακολουθία x(k) είναι αυτή που δίνει η μέθοδος συζυγών κλίσεων.
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε πολλά βιβλία Αριθμητικής Γραμμικής Άλ-
γεβρας. Παραθέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμβουλευτεί: [1], [2], [3], [4],
[5], [6], [8].
3.5.1 Θεωρούμε A ∈ Rn×n με det(A) 6= 0, b ∈ R και το αντίστοιχο γραμμικό σύστημα Ax = b. Επίσης

θεωρούμε μια διάσπαση του A σε A = P − N με P αντιστρέψιμο και το επαναληπτικό σχήμα
P x(k+1) = N x(k) + b, k ≥ 0, x(0) ∈ Rn .
Αν k · k, μια φυσική νόρμα πινάκων και kA−1 N k < 1/2 να δειχθεί ότι x(k) → x, k → ∞.
3.5.2 Έστω T ο πίνακας επανάληψης μιας μεθόδου. Υπολογίστε την kT k∞ . Τι μπορούμε να πούμε για τη
σύγκλιση της μεθόδου από την τιμή της kT k∞ ;
1.
1/2 1/4
T =
1/3 1/6
2.
5/3 4/3
T =
−7/6 −5/6
3.5.3 Για τη λύση του γραμμικού συστήματος Ax = b με

1 2 3
A= , b=
2 3 5
θεωρούμε την ακόλουθη επαναληπτική μέθοδο
x(k+1) = B(θ)x(k) + g(θ), k ≥ 0,
με x(0) ∈ Rn δοσμένο και θ ∈ R. Αν

1 2θ2 + 2θ + 1 −2θ2 + 2θ + 1 1
2
−θ
B(θ) = , g(θ) =
4 −2θ2 + 2θ + 1 2θ2 + 2θ + 1 1
2
−θ
1. Δείξτε ότι για κάθε θ ∈ R, αν x ∈ R η λύση του γραμμικού συστήματος Ax = b τότε
x = B(θ)x + g(θ).
2. Βρείτε για ποιες τιμές του θ η μέθοδος συγκλίνει καθώς και τη βέλτιστη τιμή θ για την οποία
έχουμε την ταχύτερη σύγκλιση.
3.5.4 Έστω  
1 α α
A =  α 1 α .
α α 1
Δείξτε ότι για 1 ≤ 2α < 2 η μέθοδος Gauss-Seidel συγκλίνει ενώ η Jacobi αποκλίνει.
3.5.5 Δίνεται το γραμμικό σύστημα Ax = b με

 
1 2 −2
A= 1 1 1 .
−1 −1 2
Να εξεταστούν ως προς τη σύγκλιση οι αντίστοιχες μέθοδοι Jacobi και Gauss-Seidel.

 
1 −2 2
A = −1 1 −1 .
−2 −2 1
3.5.7 Δίνεται το γραμμικό σύστημα Ax = b, με

 
3 2 1
A = 2 3 2  .
1 2 3

   
2 −1 0 3
A = −1 2 −1 και b = −5
0 −1 2 5
Να εξεταστούν ως προς τη σύγκλιση οι αντίστοιχες μέθοδοι Jacobi και Gauss-Seidel και να εκτελε-
στούν δύο επαναλήψεις καθεμιάς με αρχικό διάνυσμα x(0) = (1, 1, 1)T .
3.5.9 Δίνεται ο πίνακας 

1 α α
A = α 1 0  .
α 0 1
Να βρεθούν όλες οι δυνατές τιμές του α ∈ R ώστε
1. Η αντίστοιχη μέθοδος Jacobi να συγκλίνει

2. Η αντίστοιχη μέθοδος Gauss-Seidel να συγκλίνει
3.5.10 Δίνεται ο πίνακας  

1 α α
A = α 1 α  .
α α 1
Να βρεθούν όλες οι δυνατές τιμές του α ∈ R ώστε η αντίστοιχη μέθοδος Jacobi να συγκλίνει.
3.5.11 1. Να αποδειχθεί ότι ο επαναληπτικός πίνακας της μεθόδου Gauss-Seidel έχει τουλάχιστον μια
ιδιοτιμή ίση με το μηδέν.
2. Να αποδειχθεί ότι αν ο επαναληπτικός πίνακας της μεθόδου Gauss-Seidel έχει μια ιδιοτιμή ίση
με τη μονάδα, τότε ο αρχικός πίνακας A του γραμμικού συστήματος είναι μ h αντιστρέψιμος.
3.5.12 Δίνεται το γραμμικό σύστημα Ax = b όπου

1 4
A= .
−4 1
Να αποδειχθεί ότι η μέθοδος Jacobi αποκλίνει.
3.5.13 Δίνεται το γραμμικό σύστημα Ax = b, όπου

1 2
A= .
−1 2
Να εξεταστούν ως προς τη σύγκλιση οι μέθοδοι Jacobi και Gauss-Seidel.

 
2 1 0 0
1 2 0 0
A=
0
.
0 4 1
0 0 1 4
Να εξεταστούν ως προς τη σύγκλιση οι μέθοδοι Jacobi και Gauss-Seidel.

 
1 −1 0
A = −1 2 −2 .
0 −2 −2
Να εξεταστούν ως προς τη σύγκλιση οι μέθοδοι Jacobi και Gauss–Seidel.

   
2 −1 0 2
A = −1 2 −1 
και b = 1
0 −1 2 0
.
1. Δείξτε ότι η μέθοδος Jacobi συγκλίνει χωρίς να βρείτε τις ιδιοτιμές του πίνακα επανάληψης.
2. Να εκτελέσετε μια επανάληψη της μεθόδου SOR με ω = 1.25 και x(0) = (1, 1, 1)T .
3.5.17 Έστω A ∈ Rn×n ένας θετικά ορισμένος και συμμετρικός πίνακας και f (x) = 12 (Ax, x) − (b, x),
x ∈ Rn . Αν x(0) ∈ Rn και r = b − Ax(0) , τότε δείξτε η συνάρτηση g : R → R, με g(α) =
krk2
f (x(0) + αr) λαμβάνει ελάχιστη τιμή στο α0 = .
(Ar, r)
3.5.18 Δείξτε ότι δύο διαδοχικά υπόλοιπα της μεθόδου απότομης καθόδου για τη λύση του Ax = b είναι
ορθογώνια, δηλαδή (r(k) , r(k+1) ) = 0, k ≥ 0. Επίσης ότι τα διανύσματα x(k+1) −x(k) , x(k) −x(k−1)
είναι ορθογώνια.
0-89871-487-7.
Κρήτης, 2017.
[8] B. A. Δουγαλής, Δ. Νούτσος και Α. Χατζηδήμος. Αριθμητική Γραμμική Άλγεβρα. Ιωάννινα: Τμήμα Μα-
θηματικών, Πανεπιστήμιο Ιωαννίνων, 2016.
ΚΕΦΑΛΑΙΟ 4
ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ

Περίληψη
Αν A ∈ Rm×n με m > n, το γραμμικό σύστημα Ax = b με b ∈ Rm δεν έχει λύση εκτός και αν το b
ανήκει στο πεδίο τιμών του τελεστή A το οποίο είναι γνήσιο υποσύνολο του Rm . Έτσι αναζητούμε εκείνα τα
x για τα οποία το Ax είναι όσο το δυνατόν «πιο κοντά» στο b. Εξετάζουμε δηλαδή τη λύση του προβλήματος
ελαχιστοποίησης
kb − Axk = minn kb − Azk,
z∈R
όπου k · k = k · k2 είναι η ευκλείδεια νόρμα στον R .n
Προαπαιτούμενη γνώση: Βασικές γνώσεις Γραμμικής Άλγεβρας. Διανυσματικοί χώροι. Εσωτερικό γινόμενο
σε διανυσματικούς χώρους. Νόρμες πινάκων και διανυσμάτων. Ιδιοτιμές και ιδιοδιανύσματα πινάκων. Μέγι-
στο και ελάχιστο διανυσματικών συναρτήσεων.
4.1 Το πρόβλημα ελαχίστων τετραγώνων
Έστω A ∈ Rm×n με m > n και b ∈ Rm . Αναζητούμε x ∈ Rn τέτοιο ώστε Ax = b. Επειδή m > n το

σύστημα, συνήθως, δεν έχει λύση εκτός και αν b ∈ R(A) = {y ∈ Rm | y = Ax για κάποιο x ∈ Rn }.
Προσπαθούμε λοιπόν να ελαχιστοποιήσουμε την ποσότητα kAx − bk2 , δηλαδή να βρούμε z ∈ Rn τέτοιο
ώστε
minn kAx − bk2 = kAz − bk2 , A ∈ Rm×n , b ∈ Rm .
x∈R
Θα αναφερόμαστε στο διάνυσμα r = Ax − b ως το υπόλοιπο του προβλήματος ελαχίστων τετραγώνων.

64 ΕΛΑΧΙΣΤΑ ΤΕΤΡΑΓΩΝΑ
Θεώρημα 4.1. Έστω X = {x ∈ Rn | kAx − bk2 = min}. Τότε
x ∈ X ⇐⇒ AT (b − Ax) = 0. (4.1)
To Xείναι κυρτό σύνολο. (4.2)
Υπάρχει μοναδικό xLS στοιχείο του Xμε ελάχιστη 2-νόρμα. (4.3)
X = {xLS } ⇐⇒ rank(A) = n. (4.4)
Απόδειξη. Για α ∈ R και w ∈ Rn έχουμε την ταυτότητα
kA(x + αw) − bk22 = kAx − bk22 + 2αwT AT (Ax − b) + α2 kAwk22 ,
από την οποία προκύπτει εύκολα ο πρώτος ισχυρισμός του θεωρήματος. Πράγματι, αν x ∈ Rn είναι λύση
του προβλήματος ελαχίστων τετραγώνων, τότε αναγκαστικά AT (Ax − b) = 0. Διαφορετικά, αν w =
−AT (Ax − b) 6= 0 και α αρκετά μικρό παίρνουμε την αντιφατική ανισότητα kA(x + αw) − bk2 <
kAx − bk2 .
Ορίζουμε τώρα την απεικόνιση ϕ : X → R με ϕ(x) = kAx − bk22 . Δείχνουμε ότι η ϕ είναι κυρτή,
δηλαδή ότι ϕ(tx + (1 − t)y) ≤ tϕ(x) + (1 − t)ϕ(y) για κάθε t ∈ [0, 1] και x, y ∈ X. Γράφουμε
ϕ(tx + (1 − t)y) = kt(Ax − b) + (1 − t)(Ay − b)k22 έτσι ώστε μετά από λίγες πράξεις
ϕ(tx + (1 − t)y) − tϕ(x) − (1 − t)ϕ(y) = −t(1 − t)kA(x − y)k22 ≤ 0,
το οποίο αποδεικνύει την (4.2).

Για την ύπαρξη μοναδικού στοιχείου του X με ελάχιστη 2-νόρμα ας υποθέσουμε ότι τα x, y ∈ X ικανο-
ποιούν x 6= y και minz∈X kzk2 = kxk2 = kyk2 . Προφανώς τα x, y είναι γραμμικά ανεξάρτητα ¹, γιατί σε
αντίθετη περίπτωση δεν θα μπορούσε να ισχύει kxk2 = kyk2 . Από την κυρτότητα του συνόλου X έχουμε
ότι (x + y)/2 ∈ X και
x+y
2
1 1 1 1
= kxk22 + kyk22 + xT y = kxk22 + xT y.
2 2 4 2 2 2
Από την ανισότητα Cauchy–Schwartz και το γεγονός ότι x, y είναι γραμμικά ανεξάρτητα έχουμε
2
x+y 1 1
< kxk22 + kxk2 k yk2 = kxk22 ,
2 2 2 2
δηλαδή k(x + y)/2k2 < minz∈X kzk2 , το οποίο είναι προφανώς αδύνατο. Συνεπώς υπάρχει μοναδικό
στοιχείο του X με ελάχιστη 2-νόρμα. Τέλος η σχέση (4.4) προκύπτει εύκολα από το Λήμμα 1.15.
Παρατήρηση. Από το Θεώρημα 4.1 συμπεραίνουμε ότι το x ∈ Rn είναι λύση του προβλήματος ελαχίστων
τετραγώνων αν και μόνο αν
AT (b − Ax) = 0. (4.5)
Το σύστημα (4.5) ονομάζεται σύστημα των κανονικών εξισώσεων. Ο πίνακας του συστήματος των κανονικών
εξισώσεων AT A ∈ Rn×n είναι συμμετρικός και θετικά ημι-ορισμένος γιατί
xT AT Ax = (Ax)T (Ax) = kAxk22 ≥ 0.
Ακόμα, AT b ∈ R(AT ) = R(AT A), όπου R(A) είναι η εικόνα του πίνακα A, άρα το σύστημα των κανο-
νικών εξισώσεων έχει τουλάχιστον μία λύση. Αν rank(A) = n, τότε ο πίνακας AT A είναι θετικά ορισμένος
όπως εύκολα βλέπουμε χρησιμοποιώντας το Λήμμα 1.15. Σε αυτήν την περίπτωση η λύση του προβλήματος
των ελαχίστων τετραγώνων είναι x = (AT A)−1 AT b.
¹Υποθέτουμε ότι 0 6∈ X, διαφορετικά αυτό είναι το στοιχείο με την ελάχιστη 2-νόρμα.
Θα γράψουμε τη λύση του προβλήματος ελαχίστων τετραγώνων χρησιμοποιώντας την ανάλυση SVD του
πίνακα A. Αν rank(A) = r έχουμε, εξ’ ορισμού, ότι σ1 ≥ · · · ≥ σr > 0. Αν τώρα Σr = diag(σ1 , . . . , σr ),

Σr 0
A=U VT
0 0
είναι ανάλυση SVD του A. Γράφουμε

U = Ur Um−r , V = Vr Vn−r ,
με Ur = [u1 , . . . , ur ] ∈ Rm×r και Vr = [v1 , . . . , vr ] ∈ Rn×r . Αν x είναι λύση του προβλήματος ελαχί-
στων τετραγώνων τότε

Σr 0 Σr VrT x − UrT b
Ax − b = U V x−b=U
T
.
0 0 −Um−rT
b
Επειδή η 2-νόρμα είναι αναλλοίωτη κάτω από ορθογώνιους μετασχηματισμούς έχουμε
kAx − bk22 = kΣr VrT x − UrT bk22 + kUm−r

T
bk22 .
Ο δεύτερος όρος στο παραπάνω άθροισμα είναι ανεξάρτητος του x και επομένως το άθροισμα ελαχιστοποιεί-
ται όταν ο πρώτος όρος είναι ίσος με μηδέν. Αν γράψουμε
T
T Vr x y
V x= T = ,
Vn−r x z
βλέπουμε ότι μπορούμε να εκφράσουμε τη λύση του προβλήματος ελαχίστων τετραγώνων στη μορφή x =
Vr Σ−1
r Ur b + Vn−r z. Όμως Vn−r z ∈ N (A) για κάθε z ∈ R
T n−r
, συνεπώς οι λύσεις του προβλήματος
ελαχίστων τετραγώνων είναι της μορφής
−1
−1 T Σr 0
x = Vr Σr Ur b + Vn−r z = V U T b + Vn−r z, z ∈ Rn−r .
0 0
Ορισμός 4.1. Έστω ότι ο A ∈ Rm×n έχει rank(A) = r ≥ 1 και

Σr 0
A=U VT
0 0
είναι η ανάλυση SVD του A με Σr αντιστρέψιμο. Ο m × n πίνακας

−1
† Σr 0
A =V UT
0 0
ονομάζεται ψευδο-αντίστροφος ή αντίστροφος κατά Moore-Penrose του A, δείτε, π.χ. [5], [6].
Για τον ψευδο-αντίστροφο A† μπορούμε εύκολα να δούμε ότι:
• Αν A ∈ Rn×n είναι αντιστρέψιμος, τότε A† = A−1 .
• Αν A ∈ Rm×n με rank(A) = n, τότε A† = (AT A)−1 AT . Αυτό σημαίνει ότι A† A = In , άρα ο

A† είναι αριστερός αντίστροφος του A.
• Αν A ∈ Rm×n με rank(A) = m, τότε A† = AT (AAT )−1 . Αυτό σημαίνει ότι AA† = Im , άρα ο
A† είναι δεξιός αντίστροφος του A.
Μπορούμε τώρα να εκφράσουμε τη λύση του προβλήματος ελαχίστων τετραγώνων χρησιμοποιώντας τον
ψευδο-αντίστροφο.
Λήμμα 4.1. ΄Εστω A ∈ Rm×n και b ∈ Rm . Τότε:
1. Οι λύσεις του προβλήματος ελαχίστων τετραγώνων είναι της μορφής x = A† b + q, όπου q ∈ N (A).
2. Όλες οι λύσεις του προβλήματος ελαχίστων τετραγώνων έχουν το ίδιο υπόλοιπο Ay − b = (I − AA† )b.
3. Αν x ∈ Rn είναι λύση του προβλήματος ελαχίστων τετραγώνων, τότε AT (b − Ax) = 0.
4. Η λύση του προβλήματος ελαχίστων τετραγώνων με την ελάχιστη 2-νόρμα είναι η x = A† b.
4.2 Η ανάλυση QR για μη τετραγωνικούς πίνακες
Έστω τώρα A ∈ Rm×n με m ≥ n. Αν b ∈ Rm το σύστημα Ax = b μπορεί να μην έχει πάντοτε λύση και
ακόμα όταν υπάρχει λύση αυτή μπορεί να μην είναι μοναδική. Για παράδειγμα, το σύστημα Ax = b με
   
1 b1
A = 1  , b = b 2  ,
1 b3
έχει λύση μόνο αν b1 = b2 = b3 = β και η λύση αυτή είναι η x = β.

Όμως το σύστημα Ax = b έχει πάντοτε λύση αν b = 0 (τη μηδενική λύση), αλλά αυτή μπορεί να μην
είναι μοναδική. Για παράδειγμα, αν
 
1 −1
A = −1 1
1 −1
το σύστημα Ax = 0 έχει άπειρες λύσεις x = [x1 x2 ]T με x1 = x2 .
Ορισμός 4.2. Έστω A ∈ Rm×n . Οι στήλες του A είναι γραμμικά ανεξάρτητες αν Ax = 0 συνεπάγεται
x = 0. Αν το σύστημα Ax = 0 έχει άπειρες λύσεις, τότε οι στήλες του A είναι γραμμικά εξαρτημένες.
Ο ορισμός αυτός έχει πολλές άμεσες συνέπειες:
• Αν A ∈ Rn×n είναι αντιστρέψιμος, τότε οι στήλες του είναι γραμμικά ανεξάρτητες.

A
• Αν A ∈ R n×n
είναι αντιστρέψιμος, τότε ο πίνακας έχει γραμμικά ανεξάρτητες στήλες.
0
• Το μηδενικό διάνυσμα είναι γραμμικά εξαρτημένο, ενώ κάθε μη μηδενικό διάνυσμα x ∈ Rn είναι
γραμμικά ανεξάρτητο.
• Αν A ∈ Rm×n ικανοποιεί AT A = In τότε οι στήλες του A είναι γραμμικά ανεξάρτητες, γιατί Ax =

0 συνεπάγεται AT Ax = 0, δηλαδή x = 0.

• Αν το γραμμικό σύστημα Ax
= b έχει λύση, τότε ο πίνακας B = A b έχει γραμμικά εξαρτημένες
x
στήλες. Αυτό γιατί B = 0.
−1
Μπορούμε να διαπιστώσουμε αν οι στήλες ενός πίνακα A ∈ Rm×n με m ≥ n είναι γραμμικά ανεξάρτη-

τες χρησιμοποιώντας την ανάλυση QR. Ο παρακάτω αλγόριθμος υπολογίζει έναν ορθογώνιο πίνακα Q ∈
Rm×m και έναν άνω τριγωνικό πίνακα R ∈ Rn×n με μη αρνητικά διαγώνια στοιχεία τέτοιους ώστε

R
A=Q .
0
Βήμα 1. Αν n = 1, τότε Q είναι ένας ορθογώνιος πίνακας (γινόμενο μετασχηματισμών Givens) που μηδε-
νίζουν τα στοιχεία στις θέσεις 2, . . . , m, του πίνακα A και R = kAk2 .
Βήμα 2. Αν n > 1 τότε, όπως στην ανάλυση QR για τετραγωνικούς πίνακες, προσδιορίζουμε Qm ∈ Rm×m
ορθογώνιο ο οποίος μηδενίζει τα στοιχεία στις γραμμές 2, . . . , m, της πρώτης στήλης του A, δηλαδή

T r11 rT
Qm A = ,
0 Â
με r11 ≥ 0 και Â ∈ R(m−1)×(n−1) .

Βήμα 3. Προσδιορίζουμε Qm−1 ∈ R(m−1)×(m−1) ορθογώνιο και Rn−1 ∈ R(n−1)×(n−1) άνω τριγωνικό με
μη αρνητικά διαγώνια στοιχεία τέτοιους ώστε

Rn−1
Â = Qm−1 .
0
Βήμα 4. Τότε,
1 0 r11 rT
Q = Qm , R= .
0 Qm−1 0 Rn−1
Μπορούμε τώρα να αποδείξουμε:

R
Λήμμα 4.2. ΄Εστω A ∈ R m×n
, m ≥ n και A = Q με Q ∈ Rm×m ορθογώνιο και R ∈ Rn×n άνω
0
τριγωνικό. Τότε, ο A έχει γραμμικά ανεξάρτητες στήλες αν και μόνο αν ο R έχει μη μηδενικά διαγώνια στοιχεία.

R
Απόδειξη. Αφού ο Q είναι αντιστρέψιμος, Ax = Q x = 0 συνεπάγεται ότι x = 0 αν και μόνο αν η
0
σχέση Rx = 0 συνεπάγεται ότι x = 0. Επειδή ο R είναι άνω τριγωνικός, αυτό συμβαίνει αν και μόνο αν τα
διαγώνια στοιχεία του είναι μη μηδενικά.
Λήμμα 4.3. («Οικονομική» ανάλυση QR) ΄Εστω A ∈ Rm×n , m ≥ n. Υπάρχει Q1 ∈ Rm×n με QT1 Q = In
και άνω τριγωνικός πίνακας R ∈ Rn×n με μη αρνητικά διαγώνια στοιχεία τέτοιοι ώστε A = Q1 R.

R
Απόδειξη. Έστω A = Q η ανάλυση QR του A από το Λήμμα 4.2. Γράφουμε Q = Q1 Q2 με
0
Q1 ∈ R m×n
. Τότε προφανώς A = Q1 R.
Λύση του προβλήματος ελαχίστων τετραγώνων με την ανάλυση QR.
΄Εστω A ∈ Rm×nκαι b ∈ Rm . Ξέρουμε από το Λήμμα 4.2 ότι αν A ∈ Rm×n με m ≥ n, τότε μπορούμε
R
να γράψουμε A = Q με Q ∈ Rm×m ορθογώνιο και R ∈ Rn×n άνω τριγωνικό. Χρησιμοποιώντας το
0
T c
γεγονός ότι η 2-νόρμα είναι αναλλοίωτη κάτω από ορθογώνιους μετασχηματισμούς έχουμε, με Q b = ,
d
kAx − bk22 = kQT Ax − QT bk22 = kRx − ck22 + kdk22 ,

για οποιοδήποτε x ∈ Rn . Αν rank(A) = rank(R) = n, τότε η μοναδική λύση του προβλήματος ελαχίστων
τετραγώνων είναι η λύση του άνω τριγωνικού συστήματος Rx = c με υπόλοιπο kAx−bk22 = kdk22 . Έχουμε
ήδη δει ότι ο υπολογισμός της ανάλυσης QR μπορεί να γίνει με χρήση των μετασχηματισμών Givens. Άλλοι
τρόποι υπολογισμού της ανάλυσης QR, βλ. π.χ. [5], περιλαμβάνουν τους μετασχηματισμούς Householder,
τους οποίους περιγράφουμε παρακάτω.
Μετασχηματισμοί Householder.
Έστω v ∈ Rn ένα μη μηδενικό διάνυσμα. Ένας n × n πίνακας της μορφής
P = I − 2vv T /v T v, (4.6)
ονομάζεται μετασχηματισμός Householder. Όπως και οι μετασχηματισμοί Givens, βρίσκουν χρησιμότητα
στην εισαγωγή μηδενικών στοιχείων σε συγκεκριμένες θέσεις διανυσμάτων ή πινάκων. Αν, για παράδειγμα,
θέλουμε το διάνυσμα P x να είναι πολλαπλάσιο του μοναδιαίου διανύσματος e1 τότε επειδή
2v T x
Px = x − v,
vT v
είναι αρκετό να επιλέξουμε v = x + αe1 για κατάλληλο α ∈ R. Με αυτήν την επιλογή έχουμε

xT x + αx1 vT x
Px 1 − 2 T x − 2α T e1 ,
x x + 2αx1 + α2 v v
συνεπώς διαλέγουμε α ∈ R έτσι ώστε ο συντελεστής του x να είναι μηδέν. Αρκεί να πάρουμε α = ±kxk2 ,
έτσι ώστε v = x ± kxk2 e1 στη σχέση (4.6) και P x = ±kxk2 e1 . Για την επιλογή του προσήμου σκεφτόμα-
στε ως εξής: Αν το x είναι σχεδόν πολλαπλάσιο του e1 τότε το διάνυσμα v = x − sign(x1 )kxk2 e1 έχει μικρή
νόρμα και επομένως περιμένουμε μεγάλα σχετικά σφάλματα στον υπολογισμό του όρου 2/v T v. Επιλέγουμε
λοιπόν
v = x + sign(x1 )kxk2 e1 ,
δηλαδή το πρόσημο του α να είναι αυτό του όρου x1 .
Παράδειγμα 4.1. Έστω x = (1, 7, 2, 3, −1)T . Έχουμε kxk2 = 8, συνεπώς με
v = x + 8e1 = (9, 7, 2, 3, −1)T
παίρνουμε  
−9 −63 −18 −27 9
−63 13 −14 −21 7
1  
P = I − 2vv T /v T v = −18 −14 68 −6 2 
72 
−27 −21 −6

63 3
9 7 2 3 71
και, βέβαια, P x = (−7, 0, 0, 0, 0)T .
Είναι φανερό ότι ο πίνακας P στη σχέση (4.6) είναι συμμετρικός και ορθογώνιος. Επειδή

2 2
PA = I − T A = A − T v(AT v)T , A ∈ Rn×n ,
v v v v
δεν είναι ποτέ απαραίτητο να υπολογίσουμε τον πίνακα P αν, βέβαια, το διάνυσμα v και ο πραγματικός αριθ-
μός 2/v T v είναι διαθέσιμοι. Είμαστε τώρα σε θέση να περιγράψουμε τον αλγόριθμο υπολογισμού της ανά-
λυσης QR: Για k = 1, . . . , n, προσδιορίζουμε έναν πίνακα Householder Pk τάξης m − k + 1 τέτοιον ώστε
Pk [akk , . . . , amk ]T = [rkk , . . . , 0]T και θέτουμε A = diag(Ik−1 , Pk )A. Έτσι, οι στήλες του άνω τρι-
γώνου του A περιέχουν τις στήλες του πίνακα R. Για να λύσουμε το πρόβλημα των ελαχίστων τετραγώνων
εφαρμόζουμε διαδοχικά τους πίνακες Householder στο δεξιό μέλος b και λύνουμε ένα άνω τριγωνικό σύστημα
με πίνακα R και δεξί μέλος b (τις πρώτες n συνιστώσες του).
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε πολλά βιβλία Αριθμητικής Βελτιστοποίη-
σης. Παραθέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμβουλευτεί: [1], [2], [3], [4],
[5], [7].
4.3.1 Έστω x = (1, 2, 3, 4)T . Βρείτε τον μετασχηματισμό Givens Q έτσι ώστε η τελευταία συνιστώσα του
Qx να είναι ίση με μηδέν.
4.3.2 Βρείτε την ανάλυση QR του πίνακα
5 9
.
12 7
4.3.3 Έστω A = QR η «οικονομική» ανάλυση QR του πίνακα A ∈ Rm×n με m ≥ n. Αποδείξτε ότι
kAk2 = kRk2 .
4.3.4 Έστω ϕ : Rn → R με ϕ(x) = 12 kAx − bk22 . Αποδείξτε ότι ∇ϕ(x) = AT (Ax − b).
4.3.5 Έστω A ένας m × n πίνακας της μορφής

A1
A=
A2
όπου A1 είναι ένας αντιστρέψιμος πίνακας n × n και A2 ένας πίνακας (m − n) × n. Δείξτε ότι
kA† k2 ≤ kA−11 k2 .
4.3.6 Βρείτε τη λύση του προβλήματος ελαχίστων τετραγώνων με

   
1 2 1

A= 3 4 ,  
b = 1 ,
5 6 1
χρησιμοποιώντας τις κανονικές εξισώσεις.
   
1 0 1 1
1 0 −1 1 
A= 0 1 1  ,
 b= 
1  ,
0 1 −1 1
i.) χρησιμοποιώντας τις κανονικές εξισώσεις.
ii.) με την ανάλυση QR.
   
1 1 1 1
1 1 1 1 
A= 0 1 1 ,
 b= 
1  ,
0 0 1 1
   
1 3 4 1
1 3 2   
A= , b = 1  ,
1 1 0 1 
−1 −1 2 1

4.3.10 Αποδείξτε το Λήμμα 4.1.
[4] J. E. Dennis και R. B. Schnabel. Numerical Methods for Unconstrained Optimization and Nonlinear
Equations. English. Τόμ. 16. Philadelphia, PA: SIAM, 1996, σσ. xv + 378.
Κρήτης, 2017.
ΚΕΦΑΛΑΙΟ 5
ΠΡΟΒΛΗΜΑΤΑ ΙΔΙΟΤΙΜΩΝ

Περίληψη
Ασχολούμαστε με το πρόβλημα των ιδιοτιμών για γενικούς, μιγαδικούς πίνακες. Συζητάμε τον εντοπισμό
των ιδιοτιμών μέσω των δίσκων του Gershgorin και την ευστάθεια του υπολογισμού τους ως προς μικρές
διαταραχές των στοιχείων τους. Παρουσιάζουμε τη μέθοδο των δυνάμεων και αναλύουμε τη σύγκλισή της.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Γραμμικής Άλγεβρας. Ιδιοτιμές και ιδιοδιανύσματα. Νόρμες δια-
νυσμάτων και πινάκων. Το θεώρημα Schur.
Έστω A ∈ Cn×n . Θυμόμαστε ότι λ ∈ C είναι ιδιοτιμή του πίνακα A αν υπάρχει μη μηδενικό διάνυσμα
x ∈ Cn τέτοιο ώστε Ax = λx. Θα συμβολίζουμε με σ(A) το σύνολο των ιδιοτιμών του πίνακα A. Αφού
(A − λI)x = 0 έχουμε ότι det(A − λI) = 0. Αν
χA (t) = det(A − tI),
είναι το χαρακτηριστικό πολυώνυμο του A, είναι προφανές ότι λ ∈ σ(A) αν και μόνο αν χA (λ) = 0. Συ-
νεπώς για να βρούμε τις ιδιοτιμές ενός πίνακα αρκεί να βρούμε τις ρίζες του χαρακτηριστικού πολυωνύμου
του. Η εύρεση όμως των ριζών ενός πολυωνύμου είναι, βέβαια, μια μη γραμμική διαδικασία και συνεπώς μπορεί
να γίνει μόνο με επαναληπτικές μεθόδους (εξαιρούμε τα πολυώνυμα μικρού βαθμού για τα οποία υπάρχουν
αναλυτικές εκφράσεις των ριζών τους). Εξαιτίας αυτού του γεγονότος, η εύρεση των ριζών του χαρακτηρι-
στικού πολυωνύμου ποτέ δεν αποτελεί τη βάση πρακτικών μεθόδων για την προσέγγιση των ιδιοτιμών ενός
πίνακα. Ένα δεύτερο πρόβλημα αποτελεί η ευαισθησία των ιδιοτιμών ενός πίνακα ως προς τις μεταβολές των

72 ΠΡΟΒΛΗΜΑΤΑ ΙΔΙΟΤΙΜΩΝ
στοιχείων του. Αν, για παράδειγμα, θεωρήσουμε τον πίνακα

 
1 20
 2 20 
 
 . . 
A= . . . . 
 
 9 20
10
τότε είναι προφανές ότι σ(A) = {1, 2, . . . , 10}. Αν τώρα θεωρήσουμε τη διαταραχή Aϵ , 0 < ϵ 1, του
πίνακα A
 
1 20
 2 20 
 
 ... ... 
Aϵ =  
 
 9 20
ϵ 10
τότε εύκολα βλέπουμε ότι kAϵ k ≈ kAk για όλες τις p-νόρμες που ορίσαμε στο Κεφάλαιο 1. Όμως,
   
2 20 20
 .. ..   2 20 
 . .   
det(Aϵ ) = det   − ϵ det  .. ..  = 10! − 209 ϵ.
 9 20   . . 
10 9 20
Αυτό σημαίνει ότι για ϵ = 10!/209 ≈ 7 × 10−6 ο πίνακας Aϵ έχει μια μηδενική ιδιοτιμή! Θεωρούμε τέλος
τον πίνακα
 
c1 c2 · · · cn−1 cn
1 0 ... 0 0
 .. 
 .. .. .. 
M = 0 . . . .
. . 
 .. .. 1 0 0
0 ··· 0 1 0
του οποίου το χαρακτηριστικό πολυώνυμο είναι
χM (t) = (−1)n (tn − c1 tn−1 − · · · − cn−1 t − cn ).
Βλέπουμε μέσω του πίνακα M ότι για κάθε πολυώνυμο μπορούμε να συσχετίσουμε ένα πρόβλημα ιδιοτιμών
και αντίστροφα. Αφού δεν υπάρχει άμεση μέθοδος για την εύρεση των ριζών πολυωνύμων τάξης μεγαλύτερης
του πέντε, δεν υπάρχει άμεση μέθοδος για τον υπολογισμό των ιδιοτιμών ενός πίνακα.
Υπάρχουν, βέβαια, πίνακες για τους οποίους οι ιδιοτιμές είναι εύκολο να υπολογιστούν, για παράδειγμα,
οι διαγώνιοι ή οι τριγωνικοί πίνακες. Γνωρίζουμε ακόμα, από το Θεώρημα 1.4, το θεώρημα Schur, ότι για
κάθε πίνακα A ∈ Cn×n υπάρχει μοναδιαίος πίνακας U ∈ Cn×n τέτοιος ώστε A = U T U H , όπου T εί-
ναι (άνω) τριγωνικός. Αν υπήρχε άμεση μέθοδος για τον υπολογισμό του πίνακα U , τότε θα μπορούσαμε
να βρούμε τις ιδιοτιμές του A (από τα διαγώνια στοιχεία του T ) σε πεπερασμένο αριθμό βημάτων, το οποίο
γνωρίζουμε ότι δεν είναι δυνατόν. Προτού αναφερθούμε σε πρακτικές, επαναληπτικές μεθόδους για την προ-
σέγγιση των ιδιοτιμών ενός πίνακα παρουσιάζουμε την ανισότητα του Gershgorin, ένα αποτέλεσμα αδρού
εντοπισμού ιδιοτιμών.
5.1 Εντοπισμός ιδιοτιμών. Η ανισότητα του Gershgorin
Η ανισότητα του Gershgorin αποτελεί ένα αποτέλεσμα εντοπισμού των ιδιοτιμών ενός πίνακα στο μιγαδικό
επίπεδο. Αν A ∈ Cn×n γράφουμε
X
n
Di = {z ∈ C |z − aij | ≤ Ri }, Ri = |aij |, i = 1, . . . , n.
j=1
j̸=i
Τα σύνολα Di , i = 1, . . . , n, ονομάζονται δίσκοι Gershgorin.
Θεώρημα 5.1 (Ανισότητα του Gershgorin). Έστω A ∈ Cn×n . Τότε
[
n
σ(A) ⊂ Di (5.1)
i=1
Απόδειξη. Έστω λ ιδιοτιμή του A και w ένα αντίστοιχο ιδιοδιάνυσμα. Έστω δείκτης k, 1 ≤ k ≤ n, τέτοιος
ώστε |wk | = max1≤i≤n |wi |. Προφανώς wk 6= 0, αφού w 6= 0 ως ιδιοδιάνυσμα που αντιστοιχεί στην
ιδιοτιμή λ. Από τη σχέση (A − λI)w = 0 έχουμε
X
n
0 = [(A − λI)w]k = (akk − λ)wk + akj wj ,
j=1
j̸=k
επομένως
X
n X
n
|akk − λ| |wk | ≤ |akj | |wj | ≤ |wk | |akj | = Rk |wk |.
j=1 j=1
j̸=k j̸=k
Επειδή wk 6= 0 έχουμε |akk − λ| ≤ Rk , δηλαδή λ ∈ Dk .
Παράδειγμα 5.1. Οι δίσκοι του Gershgorin που αντιστοιχούν στον πίνακα

 
5/4 1 3/4 1/2 1/4
 1 0 0 0 0 
 
 −1 1 0 0 0  (5.2)
 
 0 0 1 3 0 
0 0 0 1/2 5
φαίνονται στο Σχήμα 5.1. Οι ιδιοτιμές του πίνακα σημειώνονται με μαύρες κουκίδες.
5.2 Η ευστάθεια του προβλήματος των ιδιοτιμών
Έχουμε ήδη αναφέρει ότι οι μέθοδοι προσδιορισμού των ιδιοτιμών ενός πίνακα είναι επαναληπτικές. Έχοντας
υπ’ όψιν το θεώρημα του Schur, θα εξετάσουμε μεθόδους που βασίζονται σε μετασχηματισμούς του πίνακα με
κατάλληλους μετασχηματισμούς ομοιότητας: Ανάγουμε έναν αρχικό πίνακα A σ’ έναν «απλούστερο» πίνακα
B μέσω των μετασχηματισμών ομοιότητας:
A = A0 → A1 → · · · → Am = B,
ℑz
−2 −1 0 1 2 4 ℜz
Σχήμα 5.1: Οι δίσκοι του Gershgorin για τον Πίνακα 5.2
όπου Ai = Pi−1 Ai−1 Pi , i = 1, . . . , m. Τότε B = Am = P −1 AP με P = P1 P2 · · · Pm . Στη συνέχεια

προσδιορίζουμε τις ιδιοτιμές λ και τα ιδιοδιανύσματα y του B, By = λy. Με x = P y, έχουμε λόγω της
σχέσης ομοιότητας B = P −1 AP ότι Ax = λx, δηλαδή ότι στην ιδιοτιμή λ αντιστοιχεί το ιδιοδιάνυσμα
x. Είναι προφανές ότι πρέπει να διαλέξουμε τους μετασχηματισμούς ομοιότητας έτσι ώστε οι ιδιοτιμές και τα
τα ιδιοδιανύσματα του B να μπορούν να υπολογισθούν εύκολα και έτσι ώστε το πρόβλημα ιδιοτιμών για τον
πίνακα B να μην έχει χειρότερη κατάσταση από το αντίστοιχο πρόβλημα για τον A. Με τον όρο κατάσταση
εννοούμε την ευαισθησία των ιδιοτιμών ως προς μεταβολές των στοιχείων του πίνακα. Μπορούμε να δούμε
πώς επηρεάζεται η κατάσταση του προβλήματος ιδιοτιμών ως εξής: Αν B = P −1 AP , τότε B + ∆B =
P −1 (A + ∆A)P με ∆A = P ∆BP −1 . Αν k · k είναι μια φυσική νόρμα πινάκων και κ(·) είναι ο δείκτης
κατάστασης ως προς αυτήν τότε
kBk ≤ κ(P ) kAk, k∆Ak ≤ κ(P )k∆Bk,
από τις οποίες βλέπουμε ότι

k∆Ak k∆Bk
≤ (κ(A))2 . (5.3)
kAk kBk
Η σχέση (5.3) λέει ότι μια μικρή μεταβολή k∆Bk/kBk στον B μπορεί να μεταβάλλει τις ιδιοτιμές τόσο όσο
και μια μεγάλη μεταβολή (κ(A))2 k∆Bk/kBk στον A, όταν ο δείκτης κατάστασης κ(P ) είναι μεγάλος.
Συνεπώς, επιδιώκουμε να επιλέγουμε τους πίνακες Pi , i = 1, . . . , m, των μετασχηματισμών ομοιότητας
έτσι ώστε να μην έχουν μεγάλο δείκτη κατάστασης, γιατί τότε
κ(P ) = κ(P1 P2 · · · Pm ) ≤ κ(P1 )κ(P2 ) · · · κ(Pm ),
δεν θα είναι πολύ μεγάλος. Αν, για παράδειγμα, οι πίνακες Pi είναι ορθογώνιοι, τότε κ(Pi ) = 1, όπου κ(·)
είναι ο δείκτης κατάστασης ως προς τη νόρμα k · k2 , γιατί
kPi xk22 = (Pi x, Pi x) = (PiT Pi x, x) = (x, x) = kxk22 , i = 1, . . . , m.

Αν ο πίνακας Pi είναι πίνακας απαλοιφής, δηλαδή,

 
1 0
 .. 
 . 
 
 1 
Pi =    |mk,i | ≤ 1, k = i + 1, . . . n,
... 
 mi+1,i 
 . . 
 .
. . . 
0 mn,i 0 1
τότε  
1 0
 .. 
 . 
 
 1 
Pi−1 =
 ... ,

 −mi+1,i 
 .. .. 
 . . 
0 −mn,i 0 1
και για τη νόρμα k · k∞ έχουμε κ(Pi ) ≤ 4.
Θεώρημα 5.2. Υποθέτουμε ότι ο A ∈ Cn×n είναι διαγωνοποιήσιμος, δηλαδή υπάρχει αντιστρέψιμος πίνακας
P ∈ Cn×n και διαγώνιος πίνακας D = diag(λ1 , . . . , λn ) τέτοιοι ώστε A = P DP −1 . Υποθέτουμε ότι
λ 6∈ σ(A) = {λ1 , . . . , λn } είναι ιδιοτιμή του διαταραγμένου πίνακα πίνακα A + ∆A, με ∆A ∈ Cn×n . Τότε
min |λ − λi | ≤ κ(P )k∆Ak, (5.4)

1≤i≤n
όπου k · k είναι μια φυσική νόρμα πινάκων και κ(·) είναι ο αντίστοιχος δείκτης κατάστασης.
Απόδειξη. Έστω x ∈ Cn m x 6= 0, ένα ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή λ του πίνακα A + ∆A.
Από τη σχέση (A + ∆A)x = λx την οποία γράφουμε ισοδύναμα ως (λI − A)x = ∆Ax, έχουμε

P (λI − D) P −1 x = ∆A P P −1 x .
Επειδή λ 6∈ σ(A), o πίνακας λI − D είναι αντιστρέψιμος συνεπώς
kP −1 xk ≤ k(λI − D)−1 k kP −1 ∆A P k kP −1 xk.
Από την Άσκηση 1.7.25 έχουμε

1 1
k(λI − D)−1 k = max = ,
1≤i≤n |λ − λi | min1≤i≤n |λ − λi |
επομένως
min |λ − λi | ≤ kP −1 ∆A P k ≤ κ(P )k∆Ak,
1≤i≤n
το οποίο ολοκληρώνει την απόδειξη του θεωρήματος.
Παρατήρηση 5.1. Αν ο πίνακας A ∈ Cn×n είναι ερμιτιανός, τότε υπάρχει μοναδιαίος πίνακας P τέτοιος
ώστε A = P DP −1 με D = diag(λ1 , . . . , λn ), δείτε, για παράδειγμα, [3]. Όπως έχουμε δει, kP k2 = 1
και το προηγούμενο θεώρημα δίνει
min |λ − λi | ≤ k∆Ak2 .
1≤i≤n
Το θεώρημα που ακολουθεί δείχνει ότι ο υπολογισμός ιδιοτιμών ερμιτιανών πινάκων είναι ευσταθής διαδι-
κασία ως προς διαταραχές των αντίστοιχων ιδιοδιανυσμάτων.
Θεώρημα 5.3. Έστω A ∈ Cn×n ερμιτιανός και σ(A) = {λ1 , . . . , λn }. Για δεδομένα x ∈ Cn , x 6= 0, και
λ ∈ C, θέτουμε w = Ax − λx. Τότε
kwk2
min |λ − λi | ≤ . (5.5)
1≤i≤n kxk2
Απόδειξη. Έστω {w1 , . . . , wn } μια ορθοκανονική βάση του Cn αποτελούμενη

Pn από ιδιοδιανύσματα
Pn που2 αντι-
στοιχούν στις (πραγματικές) ιδιοτιμές λi , i = 1, . . . , n. Αν x = i=1 ci wi τότε kxk2 = i=1 |ci | > 0
2
και
Xn X
n
w = (A − λI)x = ci (A − λI)wi = ci (λi − λ)wi .
i=1 i=1
Επομένως Pn
kwk22 |c |2 |λi − λ|2
= Pni
i=1
≥ min |λ − λi |2 ,
kxk22 i=1 |ci |
2 1≤i≤n
από την οποία προκύπτει το ζητούμενο αποτέλεσμα παίρνοντας τετραγωνικές ρίζες.
5.3 Πηλίκα Rayleigh για ερμιτιανούς πίνακες
Υπενθυμίζουμε τα πηλίκα Rayleigh από το Κεφάλαιο 1 και συνοψίζουμε τις ιδιότητές τους στην πρόταση που
ακολουθεί:
Ορισμός 5.1. Έστω A ∈ Cn×n ερμιτιανός πίνακας. Το πηλίκο Rayleigh του x ∈ Cn , x 6= 0, είναι
(Ax, x)
R(x) = .
(x, x)
Πρόταση 5.1. Έστω A ∈ Cn×n ερμιτιανός πίνακας και σ(A) = {λ1 , . . . , λn } ⊂ R με
λ 1 ≤ λ 2 ≤ · · · ≤ λn .
Τότε ισχύουν τα παρακάτω:
1. R(x) ∈ R για κάθε x ∈ Cn , x 6= 0.
2. Για κάθε x ∈ Cn , x 6= 0
λ1 = min λj ≤ R(x) ≤ max λj = λn .

1≤j≤n 1≤j≤n
3. R(x) = λk αν και μόνο αν x είναι ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή λk .
4. Για κάθε x ∈ Cn , x 6= 0, η συνάρτηση
Q(α) = kAx − αxk22 , α ∈ C,
έχει μοναδικό ολικό ελάχιστο

R(x) = arg min kAx − αxk22 .
α∈C
Απόδειξη. Οι ισχυρισμοί 1 και 3 αφήνονται ως ασκήσεις, δείτε, επίσης το Κεφάλαιο 1. Για τον δεύτερο ισχυ-
ρισμό της πρότασης παρατηρούμε ότι αν x1 , xn είναι ιδιοδιανύσματα του A ως προς τις ιδιοτιμές λ1 , λn ,
αντίστοιχα, τότε
(Ax1 , x1 ) (λ1 , x1 )
R(x1 ) = = = λ1 ,
(x1 , x1 ) (x1 , x1 )
και όμοια
(Axn , xn ) (λn , xn )
R(xn ) = = = λn .
(xn , xn ) (xn , xn )
Συνεπώς για να ολοκληρωθεί η απόδειξη, αρκεί να δείξουμε ότι για κάθε x ∈ Cn , x 6= 0,
λ1 ≤ R(x) ≤ λn . (5.6)
Για να αποδείξουμε την (5.6) θεωρούμε μια ορθομοναδιαία βάση {x1 , . . . , xn } του Cn αποτελούμενη από
ιδιοδιανύσματα του A, Axi = λi xi , i = 1, . . . , n. Γράφουμε x = c1 x1 + · · · cn xn για κάποια ci ∈ C,
i = 1, . . . , n, έτσι ώστε
X
n X
n X
n X
n
(Ax, x) = ci (Axi , x) = ci (λi xi , x) = ci (λi xi , c1 x1 + · · · cn xn ) = λi c2i
i=1 i=1 i=1 i=1
Pn 2
και βέβαια, (x, x) = i=1 ci . Τότε
Pn
λi c2i
λ1 ≤ Pi=1
n 2
≤ λn ,
i=1 ci
το οποίο αποδεικνύει την (5.6). Για τον τέταρτο ισχυρισμό της πρότασης υποθέτουμε χωρίς περιορισμό της
γενικότητας ότι kxk2 = 1. Τότε R(x) = (Ax, x) και
kAx − αxk22 = (Ax − αx, Ax − αx) = kAxk22 − 2(Ax, x)α + α2 = kAxk22 − 2R(x)α + α2 .
Συνεπώς
kAx − αxk22 = kAxk22 − [R(x)]2 + [α − R(x)]2 ,
το οποίο αποδεικνύει αμέσως τον τέταρτο ισχυρισμό της πρότασης.
Θεώρημα 5.4. Έστω A ∈ Cn×n ερμιτιανός πίνακας και σ(A) = {λ1 , . . . , λn } ⊂ R. Έστω ακόμα S =
{w1 , . . . , wn } μια ορθομοναδιαία βάση του Cn αποτελούμενη από ιδιοδιανύσματα του A, Awi = λi wi , i =
1, . . . , n. Αν x ∈ Cn , x 6= 0, έχει την ιδιότητα
kx − wk k2 < ϵ, kxk2 = 1,
για κάποιο ϵ > 0, τότε
|R(x) − λk | ≤ 2ρ(A)ϵ2 . (5.7)
Pn P
Απόδειξη. Έστω x 6= wk . Γράφουμε x = j=1 αj wj έτσι ώστε kxk2 =
2
j=1 |αj | = 1. Από την
n 2
ορθογωνιότητα των ιδιοδιανυσμάτων έχουμε

X
n
0 < kx − wk k22 = |αj |2 + |αk − 1|2 < ϵ2 .
j=1
j̸=k
Επειδή kxk22 = 1 έχουμε από την προηγούμενη σχέση ότι

X
n
0≤ |αj |2 = 1 − |αk |2 < ϵ2 .
j=1
j̸=k
Τέλος
Pn Xn
i=1 λi |αi
2
R(x) = P = λk |αk | +
2
λj |αj |2 ,
i=1 |αi |
n 2
j=1
j̸=k
έτσι ώστε
X
n
|R(x) − λk | ≤ λk (|αk | − 1) + 2
λj |αj |2
j=1
j̸=k
X
n
≤ |λk |(1 − |αk |2 ) + |λj | αj |2
j=1
j̸=k
X
n
≤ max |λj |(1 − |αk |2 ) + max |λj | |αj |2
1≤j≤n 1≤j≤n
j=1
j̸=k
≤ ρ(A)ϵ2 + ρ(A)ϵ2 = 2ρ(A)ϵ2 ,
5.4 Η μέθοδος των δυνάμεων
Έστω A ∈ Cn×n και q ∈ Cn , q 6= 0. Η μέθοδος των δυνάμεων παράγει μια ακολουθία μη μηδενικών
διανυσμάτων vk , k ≥ 0, ως εξής:
1. v0 = q/kqk2 .
2. Για k ≥ 1 υπολογίζουμε qk = Avk−1 και αν qk 6= 0 θέτουμε vk = qk /kqk k2 .
3. Αν qk = 0 η μέθοδος τερματίζεται.
Το γεγονός ότι
1 1
vk = qk = Avk−1 = · · · = ck Ak v0 ,
kqk k2 kqk k2
δικαιολογεί το όνομα αυτής της επαναληπτικής διαδικασίας. Για τη σύγκλισή της, στην περίπτωση ενός πί-
νακα για τον οποίο η μέγιστη κατ’ απόλυτο τιμή είναι πραγματική και απλή, έχουμε το ακόλουθο αποτέλεσμα:
Θεώρημα 5.5. Έστω A ∈ Cn×n και q ∈ Cn , q 6= 0. Διατάσσουμε τις ιδιοτιμές λ1 , . . . , λn του A έτσι ώστε
0 ≤ |λ1 | ≤ |λ2 | ≤ · · · |λn−1 | < |λn |.
Έστω ακόμα S = {w1 , . . . , wn } μια ορθομοναδιαία βάση του Cn αποτελούμενη από ιδιοδιανύσματα του A,
Awi = λi wi , i = 1, . . . , n. Αν q ∈ Cn είναι τέτοιο ώστε (q, wn ) 6= 0, τότε υπάρχει σταθερά C > 0 και
k0 > 0 τέτοια ώστε για k ≥ k0
k 2k
λn−1 λn−1
kvk − sk wn k2 ≤ C , |R(vk ) − λn | ≤ 2C 2 |λn | , (5.8)
λn λn
όπου (sk )k≥0 ⊂ C με |sk | = 1, k ≥ 0.

Pn
Απόδειξη. Γράφουμε v0 = α w για αj ∈ C, j = 1, . . . , n, τα οποία λόγω των υποθέσεών μας
Pn j=1 2j j
ικανοποιούν αn 6= 0 και j=1 |αj | = 1. Έχουμε
X
n
q1 = Av0 = λj α j w j ,
j=1
επομένως
1 X
n
v1 = qP λj α j w j .
j=1 |αj | λj
n 2 2
j=1
Με τον ίδιο τρόπο έχουμε ότι για k ≥ 1 ισχύει
1 X
n
vk = qP λjk αj wj (5.9)
j=1 |αj | λj
n 2 2k
j=1
!
1 X
n−1
= qP λkn αn wn + λkj αj wj (5.10)
j=1 |αj | λj
n 2 2k
j=1
X
n−1 k !
αn λkn 1 α j λj
= s 2k wn + wj . (5.11)
|αn λkn | P αj
2
λj α
j=1 n
λn
1 + n−1
j=1
αn λn
Θέτουμε sk = αn λkn /|αn λkn |. Από τις υποθέσεις μας για τις ιδιοτιμές του A έχουμε για j = 1, . . . , n − 1,
ότι k
λj
→ 0 καθώς k → ∞.
λn
Εύκολα βλέπουμε από τη σχέση (5.9) ότι
1
vk − w n → 0 καθώς k → ∞,
sk
και
k
λn−1
kvk − sn wn k2 ≤ C ,
λn
για κάποια σταθερά C > 0 και k αρκετά μεγάλο. Η τετραγωνική σύγκλιση των R(vk ) στην ιδιοτιμή λn
προκύπτει τώρα από το Θεώρημα 5.4.
Αν µ ∈ C είναι κοντά σε μια ιδιοτιμή λr του πίνακα A, τότε |(λr − µ)−1 | |(λj − µ)−1 | για δείκτες
j 6= r. Επομένως θα μπορούσαμε να εφαρμόσουμε τη μέθοδο των δυνάμεων στον πίνακα (A − µI)−1 για
να προσεγγίσουμε την ιδιοτιμή λr (ο πίνακας A − µI είναι αντιστρέψιμος, δείτε την Άσκηση 5.7.4). Αυτή
είναι η ιδέα της μεθόδου της αντίστροφης επανάληψης: Έστω A ∈ Cn×n και q ∈ Cn , q 6= 0. Υποθέτουμε
ακόμα ότι µ ∈ C είναι τέτοιο ώστε ο πίνακας A − µI να είναι αντιστρέψιμος. Η μέθοδος της αντίστροφης
επανάληψης παράγει μια ακολουθία μη μηδενικών διανυσμάτων vk , k ≥ 0, ως εξής:
1. v0 = q/kqk2 .
2. Για k ≥ 1 υπολογίζουμε qk = (A − µI)−1 vk−1 και αν qk 6= 0 θέτουμε vk = qk /kqk k2 .
3. Αν qk = 0 η μέθοδος τερματίζεται.
Οι ιδιότητες σύγκλισης της μεθόδου της αντίστροφης επανάληψης συνοψίζονται στο παρακάτω θεώρημα, η
απόδειξη του οποίου ακολουθεί αυτή του Θεωρήματος 5.5 και γι’ αυτό παραλείπεται.
Θεώρημα 5.6. Έστω A ∈ Cn×n ερμιτιανός και σ(A) = {λ1 , . . . , λn } ⊂ R. Έστω ακόμα S = {w1 , . . . ,
wn } μια ορθομοναδιαία βάση του Cn αποτελούμενη από ιδιοδιανύσματα του A, Awi = λi wi , i = 1, . . . , n.
Υποθέτουμε ότι µ ∈ C είναι τέτοιο ώστε µ 6∈ σ(A) και ορίζουμε
λr = arg min |λj − µ|, λs = arg min |λj − µ|.
1≤j≤n 1≤j≤n
j̸=r
Υποθέτουμε ακόμα ότι

|λr − µ| < |λs − µ| ≤ |λj − µ|, j ∈ {1, . . . , n} \ {r, s}.
Αν q ∈ Cn είναι τέτοιο ώστε (q, wr ) 6= 0, τότε η μέθοδος της αντίστροφης επανάληψης συγκλίνει. Υπάρχει
σταθερά C > 0, ακολουθία (sk )k≥0 ⊂ C με |sk | = 1, k ≥ 0 και k0 > 0 τέτοια ώστε
k 2K
µ − λr µ − λr
kvk − sk wr k2 ≤ C , |R(vk ) − λr | ≤ 2C 2 ρ(A) , (5.12)
µ − λs µ − λs
για k ≥ k0 .
Δείχνουμε τώρα πώς μπορούμε να υπολογίσουμε την αμέσως μικρότερη κατά μέτρο ιδιοτιμή του ερμιτιανού
πίνακα A ∈ Cn×n δεδομένης της κυρίαρχης ιδιοτιμής, δείτε [5].
Θεώρημα 5.7. Έστω A ∈ Cn×n ερμιτιανός και σ(A) = {λ1 , . . . , λn } ⊂ R. Έστω ακόμα S = {w1 , . . . ,
wn } μια ορθομοναδιαία βάση του Cn αποτελούμενη από ιδιοδιανύσματα του A, Awi = λi wi , i = 1, . . . , n.
Υποθέτουμε για τις ιδιοτιμές του A ότι
0 ≤ |λ1 | ≤ |λ2 | ≤ · · · ≤ |λn−2 | < |λn−1 | < |λn |,
και ότι η ιδιοτιμή λn είναι γνωστή. Αν
H
αn−1 = wn−1 v0 6= 0, vk+1 = Avk , yk+1 = vk+1 − λn vk , k ≥ 0,
τότε
H
yk+1 yk
H
→ λn−1 καθώς k → ∞. (5.13)
yk yk
Pn
Απόδειξη. Γράφουμε v0 = j=1 αj wj . Από τις υποθέσεις μας αn−1 6= 0, αφού αj = wjH v0 . Έχουμε
vk = Ak v0 , επομένως
X
n
y k = A v 0 − λn A
k k−1
v0 = A k−1
(A − λn I)v0 = αj λjk−1 (λj − λn )wj .
j=1
Τότε
Pn−1
j=1 |αj | λj (λj − λn )2
H 2 2k−1
yk+1 yk
= Pn−1
ykH yk 2 2(k−1) (λ − λ )2
j=1 |αj | λj j n
2(k−1) 2
Pn−1 αj 2
λj λj − λ n
λj
j=1
αn−1 λn−1 λn−1 − λn
2 2(k−1) 2
=
Pn−1 αj λj λ j − λn
j=1
2(k−1) 2
Pn−2 αj 2 λj λ j − λn
λn−1 + j=1 λj
= 2 2(k−1) 2 → λn−1
Pn−1 αj λj λ j − λn
1 + j=1
καθώς k → ∞, αφού (λj /λn−1 )2 < 1 για j = 1, 2, . . . , n − 2.
5.5 Μετασχηματισμός σε μορφή Hessenberg
Έχουμε ήδη δει ότι, εν γένει, δεν είναι δυνατόν να μετασχηματίσουμε έναν τετραγωνικό πίνακα σε τριγω-
νική ή διαγώνια μορφή με μετασχηματισμούς ομοιότητας χρησιμοποιώντας άμεσες μεθόδους. Σε αυτήν την
ενότητα περιγράφουμε τον μετασχηματισμό ενός πίνακα A ∈ Cn×n σε πίνακα άνω Hessenberg χρησιμο-
ποιώντας ερμιτιανούς μετασχηματισμούς ομοιότητας. Δείχνουμε επίσης ότι, αν ο πίνακας A είναι ερμιτιανός,
το αποτέλεσμα είναι ένας τριδιαγώνιος πίνακας.
Ένας πίνακας A ∈ Cn×n λέγεται άνω Hessenberg αν aij = 0 για όλα τα i ≥ j + 2, 1 ≤ i, j, ≤ n.
Θα δείξουμε ότι είναι δυνατόν να βρούμε έναν μετασχηματισμό ομοιότητας ο οποίος μετασχηματίζει τον A
σε μορφή άνω Hessenberg, δηλαδή,
 
× × × ··· ×
 . .
× × × . . .. 
 
A → QH AQ =   0 × ×
..
. × .

. . 
 .. . . . . . . . . ×
0 ··· 0 × ×
Η απόδειξη γίνεται επαγωγικά. Ας υποθέσουμε ότι Hn−1 είναι μοναδιαίος πίνακας, γινόμενο πινάκων Givens
ή πινάκων Householder (δείτε το Κεφ. 5) ο οποίος αφήνει αναλλοίωτη την πρώτη γραμμή του A αλλά μηδε-
νίζει τα στοιχεία ai,1 , i = 3, . . . , n.
 
× × × ··· ×
⊗ ⊗ ⊗ · · · ⊗ 
 .
 . 
A → Hn−1
H
A =  0 ⊗ ⊗ . . ..  ,
. . . . 
 .. .. .. . . ⊗
0 ⊗ ⊗ ··· ⊗
όπου ⊗ συμβολίζει στοιχεία του A τα οποία άλλαξαν λόγω του πολλαπλασιασμού με τον Hn−1
H
. Τώρα ο πολ-
H H H
λαπλασιασμός του Hn−1 A από δεξιά με τον H αφήνει αναλλοίωτη την πρώτη στήλη του Hn−1 A, αλλάζει
όμως τα στοιχεία της πρώτης γραμμής, εκτός του a11 :
 
× ⊗ ⊗ ··· ⊗
⊗ ⊕ ⊕ · · · ⊕ 
 
 . . . .. 
Hn−1 AHn−1 =  0 ⊕ ⊕
H
. ,
. . . . 
 .. .. .. . . ⊕
0 ⊕ ⊕ ··· ⊕
όπου το σύμβολο ⊕ συμβολίζει τα στοιχεία του A τα οποία άλλαξαν δύο φορές. Χρησιμοποιώντας επανει-
λημμένα αυτήν την ιδέα μπορούμε να μετασχηματίσουμε τον πίνακα A σε πίνακα με μορφή άνω Hessenberg
χρησιμοποιώντας τον παρακάτω αλγόριθμο:
για k = 1, . . . , n − 2
x = Ak+1:n,k
vk = x + sgn(x1 )kxk2 e1
vk = vk /kvk k2
Ak+1:n,k:n = Ak+1:n,k:n − 2vk (vkH Ak+1:n,k:n )
A1:n,k+1:n = A1:n,k+1:n − 2(A1:n,k+1:n vk )vkH
Στο βήμα k χρησιμοποιούμε τον πίνακα Householder Hk = I − 2vk vkH , k = 1, . . . , n − 2. Δείχνουμε

τώρα ότι αν A ∈ Cn×n είναι ερμιτιανός, τότε ο παραπάνω αλγόριθμος μετασχηματίζει τον πίνακα A σε έναν
τριδιαγώνιο πίνακα όμοιο με τον A.
Θεώρημα 5.8. Έστω A ∈ Cn×n ερμιτιανός. Τότε υπάρχει μοναδιαίος πίνακας Q ∈ Cnn, γινόμενο n − 2
πινάκων Householder, Q = Hn−1 · · · H2 , όπου Hk ∈ Cn×n είναι πίνακας Householder τέτοιος ώστε
QH AQ = T,
όπου T ∈ Cn×n είναι ερμιτιανός τριδιαγώνιος πίνακας.
Απόδειξη. Γράφουμε
α bH
A= ,
b C
όπου α ∈ C, b ∈ C n−1 και C(n−1)×(n−1) ερμιτιανός πίνακας. Έστω
E1k = {v ∈ Ck | v = λe1 , λ ∈ C}.
Αν b ∈ Cn−1 , b 6= 0, τότε υπάρχει πίνακας Householder Hn−1 ∈ C(n−1)×(n−1) τέτοιος ώστε
Hn−1 b ∈ E1n−1 .
Αν b = 0 αρκεί Hn−1 = I. Ορίζουμε τώρα

1 0
Hn,n−1 = ∈ Cn×n . (5.14)
0 Hn−1
Εύκολα βλέπουμε ότι Hn,n−1 είναι πίνακας Householder και

H 1 0 α bH 1 0 α dH
Hn,n−1 AHn,n−1 = H = ,
0 Hn−1 b C 0 Hn−1 d D
H
όπου d = Hn−1 b = Hn−1 b ∈ E1n−1 και D = Hn−1 H
CHn−1 ∈ C(n−1)×(n−1) , προφανώς ένας ερμιτιανός
πίνακας. Η απόδειξη τώρα γίνεται μέσω επαγωγής. Για k = 3 και A ∈ C3×3 , ο πίνακας
H
H3,2 AH3,2 ∈ C3×3
είναι ήδη τριδιαγώνιος, γιατί H3,2 b = d ∈ E12 . Αρκεί λοιπόν να πάρουμε Q3 = H3,2 . Υποθέτουμε τώρα ότι
για οποιονδήποτε ερμιτιανό πίνακα B ∈ C(l−1)×(l−1) υπάρχει μοναδιαίος πίνακας Ql−1 ∈ C(l−1)×(l−1) ,
γινόμενο πινάκων Householder,
Ql−1 = Hl−1,l−2 · · · Hl−1,2 ,
τέτοιος ώστε το γινόμενο
l−1 BQl−1 = Tl−1 ∈ C
QH (l−1)×(l−1)
,
είναι ερμιτιανός τριδιαγώνιος. Αν A ∈ Cl×l είναι ερμιτιανός, τριδιαγώνιος θέτουμε

1 0
Hl,k = ∈ Cl×l ,
0 Hl−1,k
για k = 2, . . . , l − 2 και ορίζουμε τον πίνακα Hl,l−1 όπως στην (5.14). Θέτουμε
Ql = Hl,l−1 Hl,l−2 · · · Hl,2 ,

και παρατηρούμε ότι
l AQl = Hl,2 · · · Hl,l−2 Hl,l−1 AHl,l−1 Hl,l−2 · · · Hl,2

QH

1 0 α dH 1 0
=
0 QH d D 0 Ql−1
l−1

α dH Ql−1
= H
Ql−1 d Tl−1
= Tl .
l−1 d ∈ E1 , o Tl πρέπει να είναι τριδιαγώνιος. Αυτό ολοκληρώνει την επαγωγική απόδειξη.

l−1
Αφού QH
Θεώρημα 5.9. Έστω A ∈ Cn×n ερμιτιανός, τριδιαγώνιος πίνακας με ai,i±1 6= 0. Τότε οι ιδιοτιμές του A είναι
διακριτές.
Απόδειξη. Γράφουμε  
α1 β̄2 0
 β2 α2 β̄3 
 
 .. .. .. 
A= . . . ,
 
 βn−1 αn−1 β̄n 
0 βn αn
με α1 , . . . , αn πραγματικούς αριθμούς και β2 , . . . , βn 6= 0. Συμβολίζουμε με pi το χαρακτηριστικό πολυώ-
νυμο του πίνακα  
α1 β̄2 0
 β2 α2 β̄3 
 
 ... ... ... 
Ai =  , i = 1, . . . , n.
 
 βi−1 αi−1 β̄i 
0 βi αi
Αναπτύσσοντας την ορίζουσα det(Ai − λI) ως προς την τελευταία στήλη βλέπουμε ότι
α1 − λ β̄2 0
β2 α2 − λ β̄3
pi = −β̄i .. .. .. + (αi − λ) + det(Ai−1 − λI),
. . .
βi−2 αi−2 − λ β̄i−1
0 0 βi
δηλαδή
pi (λ) = −|βi |2 det(Ai−2 − λI) + (αi − λ) det(Ai−1 − λI).
Συνεπώς
pi (λ) = (αi − λ)pi−1 (λ) − |βi |2 pi−2 (λ), i = 3, . . . , n.
Η σχέση αυτή ισχύει και για i = 2 αν ορίσουμε p0 (λ) = 1. Έχουμε λοιπόν
(
p1 (λ) = α1 − λ,
(5.15)
pi (λ) = (αi − λ)pi−1 (λ) − |βi |2 pi−2 (λ), i = 2, . . . , n.
Από την (5.15) προκύπτει ότι τα πολυώνυμα pi έχουν πραγματικούς συντελεστές. Ορίζουμε τώρα
1
q0 (λ) = 1, qi (λ) = (−1)i pi (λ), i = 1, . . . , n,
β̄2 · · · β̄i+1
όπου βn+1 = 1 και θεωρούμε το διάνυσμα q(λ) ∈ Cn

q(λ) = (q0 (λ), . . . , qn−1 (λ))T .
Εύκολα βλέπουμε ότι η (5.15) γράφεται ισοδύναμα στη μορφή
 
0
 .. 
 
(A − λI)q(λ) =  .  . (5.16)
 0 
−qn (λ)
Αφού τα πολυωνύμα qi είναι πολλαπλάσια των pi , αν λ = λi είναι μια ιδιοτιμή του A, τότε η (5.16) δίνει
(A − λi I)q(λi ) = 0, (5.17)
δηλαδή το q(λi ) είναι ιδιοδιάνυσμα του A ως προς την ιδιοτιμή λi . Παραγωγίζοντας την (5.16) παίρνουμε
 
0
 .. 
 
−q(λ) + (A − λI)q (λ) = −  .  .
′
 0 
qn′ (λ)
Θέτοντας λ = λi στην προηγούμενη σχέση, παίρνοντας το εσωτερικό γινόμενο με το διάνυσμα q(λi ) και
χρησιμοποιώντας το γεγονός ότι
q(λi )T (A − λI) = ((A − λi I)q(λi ))T = 0,
λαμβάνουμε
kq(λi )k2 = qn′ (λi )qn−1 (λi ).
Από την προηγούμενη σχέση συμπεραίνουμε ότι
pn−1 (λi )p′n (λi )
− > 0,
|β2 |2 · · · |βn |2
δηλαδή
pn−1 (λi )p′n (λi ) < 0. (5.18)
Άρα το λi είναι απλή ρίζα του pn , δηλαδή ο A έχει n ανά δύο διαφορετικές μεταξύ τους ιδιοτιμές.
5.6 Ο αλγόριθμος QR
Η επανάληψη QR είναι μια επαναληπτική διαδικασία για τον υπολογισμό του τριγωνικού πίνακα T της ανά-
λυσης Schur για τον πίνακα A ∈ Cn×n
A = QH T Q,
για κάποιον μοναδιαίo πίνακα Q ∈ Cn×n . Η επαναληπτική αυτή διαδικασία έχει τη μορφή
A0 = A
για k = 1, 2, . . . ,
Qk Rk = Ak−1
Ak = Rk Qk
Για την ελαχιστοποίηση του κόστους της αλγόριθμου QR, πρώτα μετασχηματίζουμε τον πίνακα A σε μορφή
Hessenberg. Η πρόταση που ακολουθεί δείχνει ότι η ανάλυση QR διατηρεί τη μορφή Hessenberg.
Πρόταση 5.2. Έστω A ∈ Cn×n . Στον αλγόρθμο QR ο πίνακας Ak είναι όμοιος με τον Ak−1 . Αν ο Ak−1 είναι
ερμιτιανός, το ίδιο ισχύει για τον Ak . Αν ο Ak−1 είναι Hessenberg, το ίδιο ισχύει για τον Ak . Τέλος, αν Ak−1 είναι
τριδιαγώνιος, το ίδιο ισχύει για τον Ak .
Απόδειξη. Αφού Rk = QH
k Ak−1 και Ak = Rk Qk έχουμε
Ak = Rk Qk = QH
k Ak−1 Qk .
Από τη σχέση Ak = Rk Qk λαμβάνουμε
Qk Ak = Qk Rk Qk = Ak−1 Qk ,
από την οποία προκύπτει ότι Ak = QH k Ak−1 Qk . Συνεπώς, αν Ak−1 είναι ερμιτιανός το ίδιο ισχύει για τον
Ak . Οι υπόλοιποι ισχυρισμοί της πρότασης αποδεικνύονται όμοια.
Το θεώρημα που ακολουθεί δείχνει ότι η ακολουθία πινάκων Ak , k ≥ 1, συγκλίνει υπό προϋποθέσεις, σε
άνω τριγωνική μορφή.
Θεώρημα 5.10. Έστω A ∈ Cn×n αντιστρέψιμος με διακριτές ιδιοτιμές
|λ1 | > |λ2 | > · · · > |λn |,
και P ∈ Cn×n αντιστρέψιμος πίνακας έτσι ώστε
A = P DP −1 ,
όπου D = diag(λ1 , . . . , λn ). Αν ο P −1 έχει ανάλυση LU, δηλαδή P −1 = LU με L ∈ Cn×n κάτω τριγωνικό

πίνακα με μονάδες στη διαγώνιο και U ∈ Cn×n άνω τριγωνικό, τότε η ακολουθία πινάκων Ak , k ≥ 1, που
υπολογίζει η διαδικασία QR ικανοποιεί
lim [Ak ]ii = λi , 1 ≤ i ≤ n. (5.19)

k→∞
και
lim [Ak ]ij = 0, 1 ≤ j < i ≤ n. (5.20)
k→∞
Απόδειξη. Γράφουμε P = QR με Q ∈ Cn×n μοναδιαίο και R ∈ Cn×n άνω τριγωνικό με θετικά διαγώνια
στοιχεία. Τότε,
Ak = P Dk P −1 = QR(Dk LD−k )Dk U.
Τώρα ο L είναι κάτω τριγωνικός με μονάδες στη διαγώνιο, συνεπώς


 0 αν i < j,


1 αν i = j,
[Dk LD−k ]i,j = k

 λi

 αν i > j.
λj
Επομένως
lim (Dk LD−k ) = I.
k→∞
Γράφουμε Dk LD−k = I + Fk , όπου limk→∞ Fk = 0. Τότε R(Dl LD−k ) = (I + RFk R−1 )R. Επειδή
Fk → 0, υπάρχει k0 ≥ 1 τέτοιο ώστε για k ≥ k0 , ο I + RFk R−1 είναι αντιστρέψιμος και γράφεται
μοναδικά στη μορφή
I + RFk R−1 = Q̃k R̃k ,
όπου Q̃k ∈ Cn×n μοναδιαίος και R̃k ∈ Cn×n άνω τριγωνικός με θετικά διαγώνια στοιχεία. Αφού η ακολου-
θία (Q̃k )k≥1 είναι φραγμένη (kQ̃k2 = 1), υπάρχει συγκλίνουσα υπακολουθία (Q̃kl )l≥1 . Έστω
Q̃ = lim Q̃kl .
l→∞
Εύκολα βλέπουμε ότι ο Q̃ είναι μοναδιαίος. Επιπλέον

−1
kl (I + RFkl R ) → R̃,
R̃kl = Q̃H
με R̃ άνω τριγωνικό με μη αρνητικά διαγώνια στοιχεία. Παίρνοντας το όριο όταν l → ∞ συμπεραίνουμε ότι
Q̃R̃ = I, σχέση από την οποία έχουμε ότι τα διαγώνια στοιχεία του R̃ είναι θετικά. Από τη μοναδικότητα
της διάσπασης QR συμπεραίνουμε ότι Q̃ = R̃ = I. Θέτουμε τώρα
Q k = Q1 · · · Qk , R k = R1 · · · Rk . (5.21)
Ο Qk είναι, προφανώς, μοναδιαίος και ο Rk άνω τριγωνικός. Εύκολα βλέπουμε ότι
Ak+1 = QH
k AQk , Ak = (QQ̃k )(R̃k RDk U ) = Qk Rk ,
με QQ̃k μοναδιαίο και R̃k RDk U άνω τριγωνικό. Έστω τώρα Sk = diag(s1 , . . . , sn ) με |si | = 1, i =
1, . . . , n, και τέτοιος ώστε
Qk = QQ̃k Sk .
Από τη σχέση αυτή και την (5.21) έχουμε
Ak+1 = QH H H
k AQk = Sk Q̃K RD Q̃k Sk .
Αφού limk→∞ Q̃k = I συμπεραίνουμε ότι

 
λ1 × ··· ×
 ... .. 
−1 0 λ2 . 
lim Q̃H RD Q̃ k = RDR = . .
k→∞
k
 .. ..
.
..
. ×
0 ··· 0 λn
Με Dk = Q̃H
k RD Q̃k και χρησιμοποιώντας το γεγονός ότι ο Sk είναι διαγώνιος πίνακας έχουμε
[Ak+1 ]i,j = s̄i sj [Dk ]i,j .
Συνεπώς
[Ak+1 ]i,i = [Dk ]i,i → λi καθώς k → ∞,
Παρατήρηση 5.2. Αν ο πίνακας A είναι ερμιτιανός τότε είναι διαγωνοποιήσιμος και υπάρχει Q ∈ Cn×n
μοναδιαίος τέτοιος ώστε A = QΛQH με Λ = diag(λ1 , . . . , λn ). Ακολουθώντας τα βήματα της απόδειξης
του θεωρήματος 5.10 είναι δυνατόν να αποδείξουμε ότι οι πίνακες Ak συγκλίνουν γραμμικά σε άνω τριγωνική
μορφή και το ίδιο ισχύει για τους πίνακες Qk , [5], [6].
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε πολλά βιβλία Αριθμητικής Γραμμικής Άλ-
γεβρας. Παραθέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμβουλευτεί: [1], [2], [3], [5],
[6], [7], [8].
5.7.1 Έστω A ∈ Cn×n . Αποδείξτε ότι

 
[
n 
 X 

σ(A) ⊂ z ∈ C |z − ajj | ≤ |aij | .
 
j=1  i=1 
i̸=j
5.7.2 Αποδείξτε τους ισχυρισμούς 1 και 3 της Πρότασης 5.1.
5.7.3 Ένας πίνακας της μορφής

 
pn−1 pn−2 · · · p1 p0
 1 0 ··· 0 0
 .. 
 .. .. 
F = 0 1 . . .
 . 
 .. . .. . .. 0 0
0 ··· 0 1 0
ονομάζεται συνοδός πίνακας Frobenius (companion Frobenius matrix). Βρείτε το χαρακτηριστικό πο-
λυώνυμο χF του πίνακα F .
5.7.4 Έστω A ∈ Cn×n . Δείξτε ότι αν µ 6∈ σ(A), τότε ο (A − µI)−1 υπάρχει και αν λ ∈ σ(A) τότε
(λ − µ)−1 ∈ σ ((A − µI)−1 ). Ποιο είναι το αντίστοιχο ιδιοδιάνυσμα;
5.7.5 Ak , k ≥ 1, οι πίνακες που υπολογίζει η διαδικασία QR. Δείξτε ότι αν ο Ak−1 είναι Hessenberg, το
ίδιο ισχύει και για τον Ak−1 . Δείξτε επίσης ότι αν ο Ak−1 είναι τριδιαγώνιος, το ίδιο ισχύει για τον Ak .
5.7.6 Έστω    
1 1 0 0
A = 1 0 1  και x(0) = 1 
0 1 1 0
Κάντε 3 επαναλήψεις με τον αλγόριθμο των δυνάμεων για να προσεγγίσετε τη μεγαλύτερη κατ’ από-
λυτο τιμή του πίνακα A.
5.7.7 Έστω    
0 0 1 1
A = 1 0 −1 και x(0) = 1 
1 −1 0 1
Κάντε 3 επαναλήψεις με τον αλγόριθμο των αντιστρόφων δυνάμεων για να προσεγγίσετε τη μικρότερη
κατ’ απόλυτο τιμή του πίνακα A.
[5] B. N. Parlett. The Symmetric Eigenvalue Problem. Society for Industrial και Applied Mathematics,
1998. doi: 10.1137/1.9781611971163.
[6] G. W. Stewart. Introduction to Matrix Computations. Computer science and applied mathematics.
New York: Academic Press, 1973. isbn: 0-126-70350-7.
0-89871-487-7.
ΚΕΦΑΛΑΙΟ 6
ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ

Περίληψη
Στο κεφάλαιο αυτό ασχολούμαστε με μεθόδους για την επίλυση μη γραμμικών εξισώσεων. Ξεκινάμε με τα
κλασικά θεωρήματα ύπαρξης ριζών μη γραμμικών εξισώσεων και το θεώρημα της συστολής. Στη συνέχεια
ορίζουμε και αναλύουμε τη μέθοδο Newton-Raphson και τις παραλλαγές της. Ο λόγος για τον οποίο μελε-
τάμε προβλήματα στη μία διάσταση χωριστά είναι ότι μας επιτρέπουν να δούμε τις αρχές για την κατασκευή
καλών τοπικών και ολικών μεθόδων προσέγγισης ριζών, οι οποίες θα χρησιμεύουν ως βάση για αντίστοιχες
μεθόδους σε περισσότερες διαστάσεις.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Απειροστικού λογισμού σε μία διάσταση. Συνέχεια και παραγώ-
γιση πραγματικών συναρτήσεων. Μέγιστη και ελάχιστη τιμή πραγματικών συναρτήσεων.
6.1 Αριθμητική λύση μη γραμμικών εξισώσεων
Έστω f : [a, b] → R συνεχής συνάρτηση. Αναζητούμε έναν πραγματικό αριθμό ξ ∈ [a, b] έτσι ώστε
f (ξ) = 0. Ένας τέτοιος αριθμός, αν υπάρχει, ονομάζεται λύση της εξίσωσης f (x) = 0. Μια ικανή συνθήκη
για την ύπαρξη λύσης αυτής της εξίσωσης στο [a, b] παρέχει το θεώρημα της ενδιάμεσης τιμής ¹, το οποίο με
τη σειρά του οδηγεί στη μέθοδο της διχοτόμησης για την προσέγγισή της.
Μια εναλλακτική ικανή συνθήκη για την ύπαρξη λύσης της εξίσωσης f (x) = 0 προκύπτει γράφοντάς την
ισοδύναμα στη μορφή x − g(x) = 0, για κατάλληλη συνάρτηση g ορισμένη και συνεχής στο [a, b]. Έτσι η
λύση της εξίσωσης f (x) = 0 ανάγεται στην εύρεση κάποιου πραγματικού αριθμού ξ ∈ [a, b] τέτοιου ώστε
ξ − g(ξ) = 0.
¹Αν f : [a, b] → R είναι συνεχής με f (a)f (b) ≤ 0, τότε υπάρχει ξ ∈ [a, b] τέτοιο ώστε f (ξ) = 0.

90 ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ
Έστω g πραγματική συνάρτηση ορισμένη και συνεχής στο [a, b] και τέτοια ώστε g(x) ∈ [a, b] για κάθε
x ∈ [a, b]. Τότε υπάρχει ξ ∈ [a, b] τέτοιο ώστε ξ = g(ξ). Ο πραγματικός αριθμός ξ ονομάζεται σταθερό σημείο
της g.
Απόδειξη. Έστω f (x) = x − g(x). H f είναι συνεχής στο [a, b] και f (a) = a − g(a) ≤ 0, f (b) =
b − g(b) ≥ 0, γιατί g(x) ∈ [a, b] για κάθε x ∈ [a, b]. Από το θεώρημα της ενδιάμεσης τιμής προκύπτει ότι
υπάρχει ξ ∈ [a, b] τέτοιο ώστε 0 = f (ξ) = ξ − g(ξ).
Αν και το θεώρημα του σταθερού σημείου του Brouwer είναι σημαντικό εργαλείο για την απόδειξη της
ύπαρξης μιας λύσης της εξίσωσης f (x) = 0 δεν παρέχει πληροφορίες για τον υπολογισμό της. Προς αυτήν
την κατεύθυνση παρατηρούμε ότι αν μια συνάρτηση g ικανοποιεί τις υποθέσεις του θεωρήματος του Brouwer
και x0 ∈ [a, b], τότε η ακολουθία (xk ), k ≥ 0, με xk+1 = g(xk ), k ≥ 0, είναι καλά ορισμένη και xk ∈ [a, b]
για κάθε k ≥ 0. Αν η ακολουθία (xk ) συγκλίνει, τότε το όριό της είναι σταθερό σημείο της g. Πράγματι, αν
ξ = limk→∞ xk , η συνέχεια της g στο κλειστό διάστημα [a, b] δίνει

ξ = lim xk+1 = lim g(xk ) = g lim xk = g(ξ).
k→∞ k→∞ k→∞
Το θεώρημα της συστολής το οποίο αποδεικνύουμε παρακάτω, παρέχει ικανές συνθήκες για τη σύγκλιση της
ακολουθίας (xk ) υπό την επιπλέον υπόθεση ότι η g είναι συστολή.
Ορισμός 6.1. Έστω g μια πραγματική συνάρτηση, ορισμένη και συνεχής στο κλειστό διάστημα [a, b]. Λέμε
ότι η g είναι συστολή στο [a, b] αν υπάρχει σταθερά 0 < L < 1 τέτοια ώστε
|g(x) − g(y)| ≤ L |x − y|, ∀ x, y ∈ [a, b]. (6.1)
Γενικότερα, αν L είναι οποιοσδήποτε θετικός αριθμός, η (6.1) ονομάζεται συνθήκη Lipschitz.
Θεώρημα 6.2 (Θεώρημα της συστολής). Έστω g : [a, b] → [a, b] συστολή. Τότε η g έχει μοναδικό σταθερό
σημείο στο [a, b]. Επιπλέον η ακολουθία (xk ) με xk+1 = g(xk ), k ≥ 0, συγκλίνει στο ξ για κάθε x0 ∈ [a, b].
Απόδειξη. Η ύπαρξη σταθερού σημείου έπεται από το θεώρημα σταθερού σημείου. Αν υποθέσουμε ότι η g έχει
ένα ακόμα σταθερό σημείο η ∈ [a, b] τότε
|ξ − η| = |g(ξ) − g(η)| ≤ L |ξ − η|,
οπότε (1 − L)|ξ − η| ≤ 0. Επειδή 1 − L > 0 έχουμε αναγκαστικά ξ = η. Έστω τώρα x0 ∈ [a, b] και
xk+1 = g(xk ), k ≥ 0. Από τη σχέση (6.1) έχουμε
|xk − ξ| = |g(xk−1 ) − g(ξ)| ≤ L |xk−1 − ξ|, k ≥ 1,
από την οποία προκύπτει επαγωγικά ότι
|xk − ξ| ≤ Lk |x0 − ξ|, k ≥ 1. (6.2)
Αφού 0 < L < 1 έχουμε limk→∞ Lk = 0, οπότε limk→∞ |xk − ξ| = 0.
Παράδειγμα 6.1. Έστω f (x) = 1 + 2x − ex . Εύκολα βλέπουμε ότι η εξίσωση f (x) = 0 έχει τη λύση
x = 0, αλλά και κάποια λύση ξ ∈ [1, 2]. Η συνάρτηση g(x) = ln(1 + 2x) είναι συνεχής στο [1, 2]. Από το
θεώρημα της μέσης τιμής, για κάθε x, y ∈ [1, 2] έχουμε
|g(x) − g(y)| = |g ′ (η)(x − y)|
για κάποιο η μεταξύ των x και y. Όμως g ′ (x) = 2/(1 + 2x) και g ′′ (x) = −4/(1 + 2x)2 άρα η g ′ φθίνει
μονότονα στο [1, 2]. Έχουμε λοιπόν g ′ (1) ≥ g ′ (η) ≥ g ′ (2), δηλαδή g ′ (η) ∈ [2/5, 2/3]. Επομένως
|g(x) − g(y)| ≤ L |x − y|, ∀x, y ∈ [1, 2]
με L = 2/3. Από το θεώρημα της συστολής προκύπτει ότι η ακολουθία (xk ) με xk+1 = g(xk ), k ≥ 0,
συγκλίνει στο ξ για οποιαδήποτε αρχική τιμή x0 ∈ [1, 2].
Εναλλακτικά μπορούμε να αποδείξουμε:

Θεώρημα 6.3. Έστω I ⊂ R ένα διάστημα και f : I → R συνεχής συνάρτηση τέτοια ώστε f (ξ) = 0 και
f ′ (ξ) 6= 0, για κάποιο ξ ∈ I. Υποθέτουμε ακόμα, ότι για κάποιο δ > 0, η f είναι συνεχώς παραγωγίσιμη στο
διάστημα Iδ = [ξ − δ, ξ + δ] ⊆ I. Τότε υπάρχουν πραγματικοί αριθμοί λ και h ∈ (0, δ) τέτοιοι ώστε η
ακολουθία xk+1 = xk − λf (xk ), k = 0, 1, . . ., να συγκλίνει στο ξ για κάθε x0 ∈ Ih = [ξ − h, ξ + h].
Απόδειξη. Υποθέτουμε ότι f ′ (ξ) = α > 0. Η περίπτωση α < 0 είναι εντελώς ανάλογη. Από τη συνέχεια
της f μπορούμε να υποθέσουμε ότι
α 3α
∀x ∈ Iδ , 0< < f ′ (x) < .
2 2
Αν αυτό δεν συμβαίνει, παίρνουμε μικρότερο δ και ορίζουμε εκ νέου το διάστημα Iδ . Αν
M = max |f ′ (x)|,
x∈Iδ
τότε α2 ≤ M ≤ 3α
2
. Για λ > 0 έχουμε τότε
λα
∀x ∈ Iδ , 1 − λM ≤ 1 − λf ′ (x) ≤ 1 − .
2
Επιλέγουμε τώρα λ > 0 έτσι ώστε
λα
1 − λM = −θ, 1− = θ.
2
Εύκολα διαπιστώνει κανείς ότι οι παραπάνω σχέσεις ικανοποιούνται αν
4 2M − α
λ= , θ= .
2M + α 2M + α
Ορίζουμε τώρα
4f (x)
g(x) = x − λf (x) = x − .
2M + α
Από το θεώρημα της συστολής προκύπτει εύκολα ότι η ακολουθία xk+1 = g(xk ) συγκλίνει στο ξ για x0
αρκετά κοντά στο ξ.
6.2 Η μέθοδος Newton-Raphson για μη γραμμικές εξισώσεις
Ας υποθέσουμε ότι θέλουμε να βρούμε μια ρίζα της εξίσωσης f (x) = x2 −3, δείτε το Σχήμα 6.1. Αν η αρχική
πρόβλεψη της ρίζας της f (x) = 0 είναι η xc = 2, τότε μπορούμε να πάρουμε μια βελτιωμένη εκτίμηση ως
το σημείο που η εφαπτομένη της f (x) στο (xc , f (xc )) = (2, 1) τέμνει τον x-άξονα. Εύκολα βλέπουμε ότι
η εξίσωση της εφαπτομένης στο σημείο (xc , f (xc )) είναι η
y − f (xc ) = f ′ (xc )(x − xc ),
και η οποία τέμνει τον άξονα στο σημείο 0 − f (xc ) = f ′ (xc )(x − x+ ), δηλαδή όταν
f (xc )
x+ = xc − . (6.3)
f ′ (xc )
Στην περίπτωσή μας έχουμε x+ = 2 − 14 = 1.75. Είναι λογικό ότι μπορούμε να επαναλάβουμε την ίδια
διαδικασία ξεκινώντας αυτήν τη φορά με την εκτίμηση xc = 1.75. Χρησιμοποιώντας πάλι τη σχέση (6.3)
(2, 1)
x∗
xc x
x+
−3
Σχήμα 6.1: Ένα βήμα της μεθόδου Newton-Raphson για την f (x) = x2 − 3.
√
παίρνουνε τώρα x+ = 9956
= 1.7321428571 . . ., η οποία συμφωνεί με την 3 σε τέσσερα ψηφία. Μια ακόμα
επανάληψη της ίδιας διαδικασίας δίνει x+ = 1.73205081001472 . . ., η οποία έχει οκτώ σωστά ψηφία!
Η μέθοδος (6.3) ονομάζεται μέθοδος Newton-Raphson ή μέθοδος Newton-Raphson². Για να δικαιολογή-
σουμε την αποτελεσματικότητά της, τουλάχιστον στο προηγούμενο παράδειγμα, είναι χρήσιμο να υιοθετή-
σουμε μια διαφορετική οπτική. Σε κάθε βήμα της μεθόδου Newton-Raphson κατασκευάζουμε ένα τοπικό
μοντέλο της f (x) χρησιμοποιώντας την εφαπτομένη στο γράφημα της f (x) στο σημείο (xc , f (xc )) και βρί-
σκουμε τη ρίζα αυτού του τοπικού μοντέλου. Πράγματι αν
Mc (x) = f (xc ) + f ′ (xc )(x − xc ), (6.4)
τότε η ρίζα της εξίσωσης Mc (x) = 0 είναι η x+ της σχέσης (6.3). Θα μπορούσαμε ακόμα να πούμε ότι
αντλήσαμε τη μέθοδο Newton-Raphson προσεγγίζοντας την f (x) σε μια γειτονιά του xc από το ανάπτυγμα
Taylor
X∞
f (k) (xc )
f (x) = (x − xc )k = f (xc ) + f ′ (xc )(x − xc ) + · · ·
k=0
k!
και διατηρώντας τους δύο πρώτους όρους. Είναι όμως απαραίτητο σε αυτήν την περίπτωση να υποθέσουμε
ότι η f (x) έχει παραγώγους τάξης μεγαλύτερης του ένα, πράγμα το οποίο δεν χρησιμοποιείται στη μέθοδο.
Θα μπορούσαμε ακόμα να χρησιμοποιήσουμε το θεμελιώδες θεώρημα του απειροστικού λογισμού
Z x
f (x) = f (xc ) + f ′ (s) ds
xc
και να προσεγγίσουμε το ολοκλήρωμα στο δεξιό μέλος με

Z x
f ′ (s) ds ≈ f ′ (xc )(x − xc )
xc
έτσι ώστε να καταλήξουμε πάλι στη σχέση (6.4).

Η μέθοδος Newton-Raphson είναι αντιπροσωπευτικό παράδειγμα μεθόδων επίλυσης μη γραμμικών προ-
βλημάτων: Είναι μια επαναληπτική διαδικασία η οποία παράγει μια ακολουθία η οποία, ελπίζουμε, ότι συγκλί-
νει στη ρίζα της εξίσωσης. Για την περίπτωση f (x) = x2 −3 ή πιο γενικά, όταν f (x) = x2 −α για δεδομένο
²Joseph Raphson (1648–1715). Άγγλος μαθηματικός. Η πιο σημαντική του εργασία, Analysis Aequationum Universalis, η
οποία περιείχε τη μέθοδο που σήμερα καλούμε μέθοδο των Newton-Raphson δημοσιεύτηκε το 1690.
xk f (xk )
2.000000000000 1.000000000000
1.750000000000 0.062500000000
1.732142857143 0.000318877551
1.732050810015 0.000000008473
1.732050807569 0.000000000000
Πίνακας 6.1: Η μέθοδος Newton-Raphson για τη λύση της εξίσωσης x2 − 3 = 0. Με έντονο χρώμα τα
σωστά ψηφία της κάθε προσέγγισης.
α > 0, μπορούμε εύκολα να δούμε τη συμπεριφορά του σφάλματος της μεθόδου Newton-Raphson. Αν η αρ-
χική εκτίμηση της ρίζας της f (x) = 0 είναι η xc 6= 0 τότε, από τη σχέση (6.3) έχουμε
f (xc ) x2c − α xc α
x+ = xc − ′
= x c − = + ,
f (xc ) 2xc 2 2xc
από το οποίο προκύπτει ότι
√
√ xc α √ (xc − α)2
x+ − α= + − α= .
2 2xc 2xc
Επιπλέον για το σχετικό σφάλμα εύκολα προκύπτει από την προηγούμενη σχέση ότι
√ √ 2 √
x+ − α xc − α α
√ = √ · .
α α 2xc
√
Επομένως, αν το αρχικό σφάλμα |xc − α| είναι μικρότερο από την ποσότητα |2xc | το σφάλμα της προ-
σέγγισης x+ θα είναι μικρότερο από αρχικό σφάλμα. Μάλιστα το σφάλμα της προσέγγισης x+ φαίνεται να
είναι ανάλογο με το τετράγωνο του σφάλματος της προσέγγισης xc . Προτού αποδείξουμε ένα γενικό θεώρημα
σύγκλισης της μεθόδου Newton-Raphson, υπενθυμίζουμε την έννοια της ταχύτητας σύγκλισης:
Ορισμός 6.2. Έστω x∗ ∈ R. Λέμε ότι η ακολουθία {xk }k≥0 συγκλίνει στο x∗ αν
lim |xk − x∗ | = 0.
k→∞
Αν επιπλέον υπάρχει σταθερά c ∈ [0, 1) και ακέραιος k0 ≥ 0 τέτοιοι ώστε για k ≥ k0 να ισχύει
|xk+1 − x∗ | ≤ c |xk − x∗ |, (6.5)
τότε λέμε ότι η ακολουθία {xk } συγκλίνει γραμμικά στο x∗ . Αν για κάποια ακολουθία {ck } η οποία συγκλίνει
στο μηδέν ισχύει
|xk+1 − x∗ | ≤ ck |xk − x∗ |, (6.6)
τότε λέμε ότι η ακολουθία {xk } συγκλίνει υπεργραμμικά στο x∗ . Τέλος αν υπάρχουν σταθερές c > 0, p > 1
και k0 ≥ 0 τέτοιες ώστε για k ≥ k0 να ισχύει
|xk+1 − x∗ | ≤ ck |xk − x∗ |p , (6.7)
τότε λέμε ότι η ακολουθία {xk } συγκλίνει στο x∗ με τάξη τουλάχιστον p. Αν p = 2 ή p = 3, τότε λέμε ότι η
σύγκλιση είναι τετραγωνική, αντίστοιχα, κυβική.
Παράδειγμα 6.2. Η ακολουθία xk = 1+2−k , k ≥ 0, συγκλίνει γραμμικά στο x∗ = 1 με c = 12 . Πράγματι

για k ≥ 0,
1 1
|xk+1 − x∗ | = 2−(k+1) = 2−k = |xk − x∗ |.
2 2
Αντίθετα η ακολουθία zk = 1 + 2−2 , k ≥ 0, συγκλίνει τετραγωνικά στο z∗ = 1 με c = 1, γιατί
k
|zk+1 − z∗ | = 2−2 = 2−2·2 = |zk − z∗ |2 .

(k+1) k
Για να εκτιμήσει κανείς τη διαφορά στην ταχύτητα σύγκλισης, σημειώνουμε ότι σε ένα υπολογιστικό σύστημα
το οποίο εκτελεί υπολογισμούς με διπλή ακρίβεια, κατά το πρότυπο IEEE 754, έχουμε fl(xk ) = 1 όταν
k = 53 και fl(zk ) = 1 όταν k = 7. Εδώ, με fl(x) συμβολίζουμε τον αριθμό μηχανής που αντιστοιχεί στον
πραγματικό αριθμό x.
6.3 Σύγκλιση της μεθόδου Newton-Raphson για μη γραμμικές εξισώσεις
Θα δείξουμε ότι η μέθοδος Newton-Raphson συγκλίνει τετραγωνικά στη ρίζα της μη γραμμικής εξίσωσης
f (x) = 0 αν η αρχική εκτίμηση είναι «αρκετά κοντά». Η απόδειξη στηρίζεται στην εκτίμηση του σφάλματος
μεταξύ της f (x) και του τοπικού μοντέλου Mc (x) της σχέσης (6.4)
Z x
f (x) − Mc (x) = [f ′ (s) − f ′ (xc )] ds.
xc
Ορισμός 6.3. Λέμε ότι η συνάρτηση g είναι Lipschitz συνεχής με σταθερά γ σε ένα σύνολο X και θα γρά-
φουμε g ∈ Lipγ (X) αν για κάθε x, y ∈ X
|g(x) − g(y)| ≤ L |x − y|.
Λήμμα 6.1. Έστω D ένα ανοιχτό σύνολο και f : D → R με f ′ ∈ Lipγ (D). Τότε για κάθε x, y ∈ D,
γ(y − x)2
|f (y) − f (x) − f ′ (x)(y − x)| ≤ . (6.8)
2
Απόδειξη. Από το θεμελιώδες θεώρημα του απειροστικού λογισμού έχουμε
Z y
′
f (y) − f (x) − f (x)(y − x) = [f ′ (s) − f ′ (x)] ds (6.9)
x
Με την αλλαγή μεταβλητής s = x + t(y − x) η (6.9) γίνεται

Z 1
′
f (y) − f (x) − f (x)(y − x) = [f ′ (x + t(y − x)) − f ′ (x)] (y − x) dt,
0
και με χρήση της τριγωνικής ανισότητας και της υπόθεσης f ′ ∈ Lipγ (D) έχουμε
Z
′
1
γ(y − x)2
|f (y) − f (x) − f (x)(y − x)| ≤ |y − x| γ|t(y − x)| dt = ,
0 2
το οποίο ολοκληρώνει την απόδειξη.³

³Η εκτίμηση (6.8) είναι παρόμοια με την εκτίμηση του σφάλματος από το ανάπτυγμα Taylor με υπόλοιπο, αλλά τώρα η
σταθερά Lipschitz αντικαθιστά το απαιτούμενο φράγμα για την ποσότητα |f ′′ (ξ)| για ξ ∈ D.
Πίνακας 6.2: Η μέθοδος Newton-Raphson για το σύστημα f (x) = x2 −1 = 0 και g(x) = x2 −2x+1 =
0.
f (x) g(x)
2.000000000000 x0 2.000000000000
1.250000000000 x1 1.500000000000
1.025000000000 x2 1.250000000000
1.000304878049 x3 1.125000000000
1.000000046461 x4 1.062500000000
1.000000000000 x5 1.031250000000
Θεώρημα 6.4. Έστω D ένα ανοιχτό διάστημα και f : D → R για την οποία ισχύει f ′ ∈ Lipγ (D). Υποθέ-
τουμε ότι για κάποιο ρ > 0, |f ′ (x)| ≥ ρ για κάθε x ∈ D. Αν η εξίσωση f (x) = 0 έχει λύση x∗ ∈ D, τότε
υπάρχει η > 0 τέτοιο ώστε αν |x0 − x∗ | < η, η ακολουθία που παράγει η μέθοδος Newton-Raphson είναι καλά
ορισμένη και συγκλίνει στο x∗ . Επιπλέον
γ
|xk+1 − x∗ | ≤ |xk − x∗ |2 , k = 0, 1, . . . . (6.10)
2ρ
Απόδειξη. ’Εστω 2η̂ το μήκος του μεγαλύτερου ανοιχτού διαστήματος με κέντρο το x∗ το οποίο περιέχεται
στο D και τ ∈ (0, 1). Θέτουμε η = min{η̂, τ (2ρ/γ)}. Θα αποδείξουμε επαγωγικά ότι για k ≥ 0 ισχύει η
σχέση (6.10) και επιπλέον
|xk+1 − x∗ | ≤ τ |xk − x∗ | < η.
Πράγματι, για k = 0 έχουμε
f (x0 ) f (x0 ) − f (x∗ )

x1 − x∗ = x0 − x∗ − ′
= x0 − x∗ −
f (x0 ) f ′ (x0 )
1
= [f (x∗ ) − f (x0 ) − f ′ (x0 )(x∗ − x0 )] .
f ′ (x0 )
Από τη σχέση (6.8) και τις υποθέσεις μας για την f ′ έχουμε τότε
γ γ
|x1 − x∗ | ≤ |x0 − x∗ |2 ≤ |x0 − x∗ |2 .
2|f ′ (x 0 )| 2ρ
Όμως |x0 − x∗ | ≤ η ≤ τ (2ρ/γ) και επομένως
|x1 − x∗ | ≤ τ |x0 − x∗ |2 < η.
Η απόδειξη για το επαγωγικό βήμα είναι εντελώς όμοια.
Παρατήρηση. Στην απόδειξη του Θεωρήματος 6.4 χρησιμοποιήθηκε ουσιαστικά το γεγονός ότι η f ′ έχει ένα
μη μηδενικό κάτω φράγμα στο D και ειδικότερα ότι f ′ (x∗ ) 6= 0. Μπορεί να δειχθεί ότι αν f ′ (x∗ ) = 0,
δηλαδή αν το x∗ είναι ρίζα πολλαπλότητας μεγαλύτερης του ένα, τότε η ταχύτητα σύγκλισης της μεθόδου
Newton-Raphson είναι γραμμική.
Παράδειγμα 6.3. Η διαφορά μεταξύ της γραμμικής και της τετραγωνικής σύγκλισης είναι φανερή στον Πί-
νακα 6.2 όπου η μέθοδος Newton-Raphson εφαρμόζεται στις συναρτήσεις f (x) = x2 − 1 και g(x) =
x2 − 2x + 1 χρησιμοποιώντας την αρχική εκτίμηση x0 = 2.
Παρατήρηση. Το Θεώρημα 6.4 εγγυάται τη σύγκλιση της μεθόδου Newton-Raphson μόνο όταν η αρχική
εκτίμηση x0 της ρίζας είναι αρκετά καλή. Αν η ποσότητα |x∗ − x0 | είναι μεγάλη, τότε η μέθοδος Newton-
Raphson μπορεί να μην συγκλίνει. Για παράδειγμα, η εξίσωση f (x) = arctan x = 0 έχει την προφανή ρίζα
x = 0. Εύκολα βλέπουμε ότι για κάποιο xc ∈ [1.39, 1.40] η μέθοδος των Newton-Raphson παράγει την
ακολουθία xc , −xc , xc , −xc , . . .. Αν |x0 | < xc η μέθοδος συγκλίνει στη ρίζα x∗ = 0, ενώ αποκλίνει αν
|x0 | > xc .
6.4 Ολική σύγκλιση της μεθόδου Newton-Raphson
Η υπόθεση του τοπικού θεωρήματος σύγκλισης 6.4, ότι η αρχική εκτίμηση x0 της λύσης της εξίσωσης f (x) =
0 είναι αρκετά κοντά σε αυτή, είναι περισσότερο από μαθηματική αναγκαιότητα. Είναι απαραίτητη και στην
πράξη. Ας δούμε, για παράδειγμα, τη λύση της εξίσωσης f (x) = arctan x = 0 με αρχική εκτίμηση της
λύσης την x0 = 10. Η αρχική εκτίμηση «διορθώνεται» στο πρώτο βήμα από την ποσότητα
f (x0 ) 1.5
s=− ′
≈− = −150.
f (x0 ) 0.01
Αν και η διόρθωση είναι προς τη σωστή κατεύθυνση, το μέτρο της είναι εξαιρετικά μεγάλο. Μάλιστα, οι πρώτες
τέσσερις προσεγγίσεις της ρίζας x∗ = 0 τις οποίες παράγει η μέθοδος Newton-Raphson είναι
10, −138.6, 29892.3, −1.41 × 109 , 3.09 × 1018 .
Παρατηρούμε ότι σε κάθε επανάληψη η μέθοδος διορθώνει προς τη σωστή κατεύθυνση αλλά υπερβαίνει όλο
και περισσότερο τον στόχο. Η απλή ιδέα του υποδιπλασιασμού της διόρθωσης μέχρι να μειωθεί η ποσότητα
|f (x)| συνήθως δουλεύει. Για παράδειγμα, σε κάθε βήμα της μεθόδου Newton-Raphson βρίσκουμε τον μι-
κρότερο ακέραιο m ≥ 0 για τον οποίο
|f (xc + 2−m d)| < (1 − α2−m )|f (xc )|. (6.11)
Εδώ d = −f ′ (xc )−1 f (xc ) είναι η διόρθωση και α ∈ (0, 1) μια μικρή παράμετρος με σκοπό την ευκολότερη
ικανοποίηση της σχέσης (6.11). Τυπικά, α = 10−4 .
Στο Σχήμα 6.2 έχουμε απεικονίσει την ποσότητα log |f (xn )| για κάθε επανάληψη της μεθόδου Newton-
Raphson για τη λύση της εξίσωσης f (x) = arctan x = 0 με αρχική εκτίμηση την x0 = 10. Οι ακέραιοι
που εμφανίζονται κάτω από τα κόκκινα σημεία είναι οι τιμές της μεταβλητής m, δηλαδή ο αριθμός των υπο-
διπλασιασμών της διόρθωσης σε κάθε βήμα.
6.5 Η μέθοδος της τέμνουσας
Η μέθοδος Newton-Raphson για τη λύση της εξίσωσης f (x) = 0 μπορεί να τροποποιηθεί έτσι ώστε να
απαιτεί μόνο υπολογισμούς τιμών της συνάρτησης f . Αντικαθιστούμε την ποσότητα f ′ (xc ) από την κλίση
της ευθείας η οποία διέρχεται από τα σημεία (xc , f (xc )) και (xc + hc , f (xc + hc )) για κάποιο |hc | 1,
δηλαδή από την ποσότητα
f (xc + hc ) − f (xc )
ac = .
hc
Με άλλα λόγια χρησιμοποιούμε τώρα το τοπικό μοντέλο (συγκρίνετε με τη σχέση (6.4))
cc (x) = f (xc ) + ac (x − xc ),
M
οπότε το βήμα της τροποποιημένης μεθόδου Newton-Raphson είναι
f (xc )
x+ = xc − . (6.12)
ac
Σχήμα 6.2: Η μέθοδος Newton-Raphson για τη λύση της f (x) = arctan x = 0 με αρχική εκτίμηση
x0 = 10.
Τα ερωτήματα που προκύπτουν αμέσως έχουν να κάνουν τόσο με την επιλογή της ποσότητας hc όσο και με
τη σύγκλιση της νέας αυτής μεθόδου. Γνωρίζουμε βέβαια από τον απειροστικό λογισμό ότι όταν hc → 0
τότε η ποσότητα ac συγκλίνει στην τιμή f ′ (xc ) και έχουμε βάσιμους λόγους να πιστεύουμε ότι η μέθοδος
συγκλίνει. Σημειώνουμε, όμως ότι απαιτεί έναν επιπλέον υπολογισμό της f (x) σε σύγκριση με τη μέθοδο
Newton-Raphson και αυτό μπορεί να είναι ακριβό υπολογιστικά. Αν αυτό όντως συμβαίνει, μπορούμε να
θέσουμε hc = x− − xc όπου x− είναι η προηγούμενη εκτίμηση της ρίζας έτσι ώστε
f (x− ) − f (xc )
ac = .
x− − xc
Με αυτόν τον τρόπο αποφεύγουμε τον επιπλέον υπολογισμό της f (x). Για προφανείς λόγους, η μέθοδος
αυτή ονομάζεται μέθοδος της τέμνουσας (secant method). Μπορεί να δειχθεί, κάτω από κατάλληλες υποθέσεις,
ότι η μέθοδος της τέμνουσας συγκλίνει αλλά η ταχύτητα σύγκλισης είναι μικρότερη από αυτήν της μεθόδου
Newton-Raphson, βλέπε [6], [7].
Για την εκτίμηση του σφάλματος της τροποποιημένης μεθόδου Newton-Raphson, ξεκινώντας από τη σχέ-
ση (6.12) έχουμε διαδοχικά
f (xc )
x+ − x∗ = xc − x∗ −
ac
−1
= ac [f (x∗ ) − f (xc ) − ac (x∗ − xc )]
= a−1 ′
c [f (x∗ ) − f (xc ) − f (xc )(x∗ − xc )
+ (f ′ (xc ) − ac )(x∗ − xc )]
Z x∗
−1 ′ ′ ′
= ac (f (s) − f (xc )) ds + (f (xc ) − ac )(x∗ − xc ) .
xc
Θέτοντας ec = |xc − x∗ | και e+ = |x+ − x∗ | και υποθέτοντας όπως στη μέθοδο Newton-Raphson ότι
f ′ ∈ Lipγ (D) για κάποιο ανοιχτό διάστημα D τέτοιο ώστε x∗ ∈ D, έχουμε, όπως στο Λήμμα 6.1 ότι
γ
e+ ≤ |a−1c | e 2
+ |f ′
(x c ) − a c |e c . (6.13)
2 c
Πάλι από το Λήμμα 6.1 έχουμε
γ
|f (xc + hc ) − f (xc ) − hc f ′ (xc )| ≤ |hc |2 ,
2
δηλαδή
γ
|ac − f ′ (xc )| ≤ |hc |. (6.14)
2
Χρησιμοποιώντας την (6.14) στην (6.13) παίρνουμε την εκτίμηση
γ
e+ ≤ (ec + |hc |)ec .
2|ac |
Όπως στο Θεώρημα 6.4 μπορούμε να δείξουμε ότι για |hc | αρκετά μικρό έχουμε |a−1 −1
c | ≤ 2ρ , οπότε η
προηγούμενη εκτίμηση δίνει τελικά
γ
e+ ≤ (ec + |hc |)ec . (6.15)
ρ
Παράδειγμα 6.4. Συγκρίνουμε τη μέθοδο Newton-Raphson, την τροποποιημένη μέθοδο Newton-Raph-

son και τη μέθοδο της τέμνουσας για την προσέγγιση της ρίζας της εξίσωσης f (x) = x2 − 1 = 0 με αρχική
τιμή x0 = 2. Για την τροποποιημένη μέθοδο Newton-Raphson χρησιμοποιήσαμε hc = 10−7 xc , ενώ για τη
μέθοδο της τέμνουσας χρησιμοποιήσαμε x1 ίσο με αυτό της τροποποιημένης μεθόδου Newton-Raphson. Τα
αποτελέσματα φαίνονται στον Πίνακα 6.3.
Newton-Raphson Mod-Newton Τέμνουσα

2.000000000000 2.000000000000 2.000000000000
1.250000000000 1.250000037908 1.250000037908
1.025000000000 1.025000018028 1.076923087690
1.000304878049 1.000304879710 1.008264465047
1.000000046461 1.000000046477 1.000304878172
1.000000000000 1.000000000000 1.000001254453
1.000000000000 1.000000000000 1.000000000191
1.000000000000 1.000000000000 1.000000000000
Πίνακας 6.3: Η Newton-Raphson, η τροποποιημένη Newton-Raphson και η μέθοδος της τέμνουσας για τη
λύση της f (x) = x2 − 1 = 0.
Η σύγκλιση της μεθόδου της τέμνουσας φαίνεται, για το συγκεκριμένο παράδειγμα, να είναι ελάχιστα πιο
αργή από αυτήν της τροποποιημένης μεθόδου Newton-Raphson αλλά, από την άλλη, πιο οικονομική σε
σχέση με τον αριθμό των υπολογισμών της συνάρτησης f (x) για την εξασφάλιση της ίδιας ακρίβειας προσέγ-
γισης της ρίζας. Η μάλλον απλοϊκή τεχνική επιλογής της διόρθωσης (6.11) μπορεί να βελτιωθεί με πολλούς
τρόπους. Παραπέμπουμε τον ενδιαφερόμενο αναγνώστη στο βιβλίο του Kelley [3] για περισσότερες πληρο-
φορίες.
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε πολλά βιβλία Αριθμητικής Ανάλυσης. Πα-
ραθέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμβουλευτεί: [1], [2], [3], [4], [5], [6],
[7].
6.6.1 Αποδείξτε ότι αν f (x∗ ) = f ′ (x∗ ) = 0, f ′′ (x∗ ) 6= 0 και f, f, f ′′ είναι συνεχής και φραγμένη γύρω
από το x∗ , τότε η μέθοδος Newton-Raphson συγκλίνει γραμμικά με limk→∞ ek+1 /ek = 1/2, όπου
ek = |xk − x∗ |, (xk )k≥0 η ακολουθία των προσεγγίσεων με τη μέθοδο Newton-Raphson.
6.6.2 Αποδείξτε ότι αν f (x∗ ) = f ′ (x∗ ) = f ′′ (x∗ ) = 0, f ′′′ (x∗ ) 6= 0 και f, f, f ′′ , f ′′′ είναι συνεχής και
φραγμένη γύρω από το x∗ , τότε η μέθοδος Newton-Raphson συγκλίνει γραμμικά με
lim ek+1 /ek = 2/3,

k→∞
όπου ek = |xk − x∗ |, (xk )k≥0 η ακολουθία των προσεγγίσεων με τη μέθοδο Newton-Raphson.
6.6.3 Ποια είναι η ταχύτητα σύγκλισης της μεθόδου Newton-Raphson για τη λύση της εξίσωσης x3 = 0;
Για την εξίσωση x + x4 = 0;
6.6.4 Εκτελέστε μερικά βήματα της μεθόδου Newton-Raphson για τη συνάρτηση f (x) = x4 − 12x3 +
47x2 −60x με x0 = 2. Σε ποια ρίζα φαίνεται να συγκλίνει η μέθοδος Newton-Raphson; Τι συμβαίνει
αν x0 = 1;
6.6.5 Βρείτε την ταχύτητα σύγκλισης της ακολουθίας xk = 1 + (0.9)k , k = 0, 1, . . .. Είναι η σύγκλιση
γραμμική;
6.6.6 Ποια είναι η ταχύτητα σύγκλισης της ακολουθίας xk = 1 + 1/k!, k = 0, 1, . . .;
6.6.7 Χρησιμοποιήστε τη μέθοδο Newton-Raphson για να υπολογίσετε τον αριθμό 1/a, για δεδομένο a >
0. Εκτελέστε μερικά βήματα της μεθόδου για a = 9, ξεκινώντας με x0 = 0.1. Ποια βλέπετε να είναι
η ταχύτητα σύγκλισης; Υπόδειξη: Σκεφτείτε τη συνάρτηση f (x) = ax − 1.
6.6.8 Υλοποιήστε τη μέθοδο Newton-Raphson σε ένα υπολογιστικό σύστημα που εκτελεί αριθμητική δι-
πλής ακρίβειας και δοκιμάστε το πρόγραμμά σας στις παρακάτω συναρτήσεις με τις δεδομένες αρχικές
τιμές:
1. f (x) = sin x − cos x, με x0 = 1

2. f (x) = sin x − cos 2x, με x0 = 1
3. f (x) = x3 − 7x2 + 11x − 5, με x0 = 2
6.6.9 Βρείτε (υπολογιστικά) μια αρχική τιμή x0 για την οποία η μέθοδος Newton-Raphson για τη συνάρ-
τηση f (x) = arctan x παράγει την ακολουθία προσεγγίσεων x1 = −x0 , x2 = x0 , x3 = −x0 , . . ..
6.6.10 Έστω f (x) = (x − 3)3 για x ∈ [1, 5]. Χρησιμοποιήστε τη μέθοδο Newton-Raphson με αρχική τιμή
x0 = 4 για να προσεγγίσετε την προφανή ρίζα ξ = 3. Δείξτε ότι η σύγκλιση είναι γραμμική.
√
6.6.11 Βρείτε μια προσέγγιση του a, a > 0, χρησιμοποιώντας τη μέθοδο Newton-Raphson. Δείξτε ότι
συγκλίνει για οποιαδήποτε αρχική τιμή x0 > 0.
6.6.12 Για a > 0 και δεδομένες αρχικές τιμές x0 , x1 ορίζουμε την ακολουθία
a + xk−1 xk
xk+1 = , k = 1, 2, . . .
xk−1 + xk
√
Χρησιμοποιήστε τη μέθοδο της τέμνουσας για να δείξετε ότι η ακολουθία αυτή συγκλίνει στο a.
6.6.13 Έστω f ∈ C 2 (R) με f ′ (x) > 0 και f ′′ (x) > 0 για κάθε x ∈ R. Βρείτε μια συνάρτηση με τις
συγκεκριμένες ιδιότητες η οποία δεν έχει ρίζα στο R. Δείξτε ότι αν η f έχει μια ρίζα ξ, τότε αυτή είναι
μοναδική. Τέλος, δείξτε ότι για κάθε x0 ∈ R η μέθοδος Newton-Raphson συγκλίνει και η σύγκλιση
είναι τετραγωνική.
6.6.14 Υποθέστε ότι η f ′ είναι μονότονη και δεν αλλάζει πρόσημο. Δείξτε ότι η ακολουθία της μεθόδου New-
ton-Raphson για την προσέγγιση της ρίζας ξ είναι είτε μονότονα φθίνουσα, δηλαδή ξ < xk+1 < xk ,
είτε μονότονα αύξουσα, δηλαδή xk < xk+1 < ξ.
6.6.15 Η μέθοδος Steffensen. Έστω I ⊂ R ένα διάστημα και f : I → R τέτοια ώστε f (ξ) = 0 για
κάποιο ξ ∈ I. Υποθέστε ότι η f είναι δύο φορές συνεχώς παραγωγίσιμη σε μια γειτονιά Iδ ⊂ I και
f ′ (ξ) 6= 0, f ′′ (ξ) 6= 0. Αποδείξτε ότι αν η αρχική τιμή x0 της μεθόδου
f (xk ) f (xk + f (xk )) − f (xk )

xk+1 = xk − , sk =
sk f (xk )
είναι αρκετά κοντά στη ρίζα ξ τότε η ακολουθία {xk } συγκλίνει τετραγωνικά στη ρίζα ξ.
[1] K. Atkinson και W. Han. Theoretical Numerical Analysis. A Functional Analysis Framework. English.
3rd ed. Τόμ. 39. Texts Appl. Math. Berlin: Springer, 2009. isbn: 978-1-4419-0457-7. doi: 10 .
1007/978‐1‐4419‐0458‐4.
[2] W. Gautschi. Numerical Analysis. English. 2nd ed. Boston, MA: Birkhäuser, 2012. isbn: 978-0-
8176-8258-3. doi: 10.1007/978‐0‐8176‐8259‐0.
[3] T. Kelley. Iterative Methods for Solving Linear and Nonlinear Equations. Vol. 16, Frontiers in Applied
Mathematics, SIAM, 1995.
[4] L. R. Scott. Numerical Analysis. English. Princeton, NJ: Princeton University Press, 2011. isbn:
978-0-691-14686-7.
[5] J. Stoer και R. Bulirsch. Introduction to Numerical Analysis. English. 3rd ed. Τόμ. 12. Texts Appl.
Math. New York, NY: Springer, 2002. isbn: 0-387-95452-X.
[6] E. Süli και D. F. Mayers. An Introduction to Numerical Analysis. Cambridge University Press, 2003.
isbn: 0-521-00794-1.
Κρήτης, 2017.
ΚΕΦΑΛΑΙΟ 7
ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ

Περίληψη
Στο κεφάλαιο αυτό μελετούμε αριθμητικές μεθόδους για τη λύση ενός μη γραμμικού συστήματος n εξισώσεων
σε n αγνώστους. Προβλήματα που οδηγούν στην επίλυση μη γραμμικών συστημάτων εμφανίζονται πολύ συ-
χνά στις εφαρμογές. Σημαντική πηγή προβλημάτων αποτελούν, για παράδειγμα ο υπολογισμός ακροτάτων
κάποιου συναρτησιακού ή η βελτιστοποίηση, θέματα τα οποία εξετάζουμε αλλού. Η παράθεση των αποτελε-
σμάτων ακολουθεί το κλασικό βιβλίο των [5], ενώ η απόδειξη του θεωρήματος του Kantorovich τις σημειώ-
σεις [8].
Προαπαιτούμενη γνώση: Βασικές γνώσεις Απειροστικού λογισμού σε πολλές διάστασεις. Συνέχεια και πα-
ραγώγιση πραγματικών συναρτήσεων. Μέγιστη και ελάχιστη τιμή πραγματικών συναρτήσεων. Νόρμες δια-
νυσμάτων και πινάκων.
7.1 Αριθμητική λύση μη γραμμικών συστημάτων
Εξετάζουμε μεθόδους για την αριθμητική επίλυση μη γραμμικών συστημάτων εξισώσεων της μορφής
fi (x1 , . . . , xn ) = 0, i = 1, . . . , n, (7.1)
τα οποία συνήθως γράφουμε στη μορφή F (x) = 0, όπου F είναι μια μη γραμμική, εν γένει, απεικόνιση
ενός συνόλου D του Rn στον Rn , με συνιστώσες F (x) = (f1 (x), f2 (x), . . . , fn (x))T και, ως συνήθως,
x = (x1 , x2 , . . . , xn )T .
Ορισμός 7.1. Λέμε ότι η απεικόνιση F : D ⊂ Rn → Rn είναι παραγωγίσιμη σ’ ένα σημείο x ∈ Int(D)

102 ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΜΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ
αν υπάρχει γραμμικός τελεστής A(x) : Rn → Rn τέτοιος ώστε για κάποια νόρμα k · k του Rn να ισχύει
kF (x + h) − F (x) − A(x)hk
lim = 0. (7.2)
h→0 khk
Λόγω της ισοδυναμίας των νορμών στον Rn , η ύπαρξη του A(x) είναι ανεξάρτητη της νόρμας k·k. Εύκολα
βλέπουμε ότι αν η F είναι παραγωγίσιμη στο σημείο x, τότε ο τελεστής A(x) είναι μοναδικός. Πράγματι, αν
A1 (x) και A2 (x) είναι τέτοιοι ώστε για τον κάθε ένα να ισχύει η (7.2), τότε για 0 6= y ∈ Rn έχουμε
k(A1 (x) − A2 (x))yk kF (x + ty) − F (x) − tA1 (x)yk
≤
kyk ktyk
kF (x + ty) − F (x) − tA2 (x)yk
+ .
ktyk
Θέτοντας h = ty και παίρνοτας t → 0 έχουμε, λόγω της (7.2), ότι A1 (x)y = A2 (x)y για κάθε y ∈ Rn ,
δηλαδή ότι A1 (x) = A2 (x). Αν λοιπόν η F είναι παραγωγίσιμη στο x, θα λέμε ότι ο τελεστής A(x) είναι η
παράγωγος της F (ακριβέστερα η παράγωγος της F με της έννοια του Fréchet στο σημείο x) και θα γράφουμε
A(x) = F ′ (x).
Γενικά λέμε ότι F : D ⊂ Rn → Rn είναι παραγωγίσιμη σ’ ένα σύνολο D0 ⊂ D αν D0 ⊂ Int(D) και
η F είναι παραγωγίσιμη για κάθε x ∈ D0 . Τότε η F ′ μπορεί να θεωρηθεί ως απεικόνιση του D0 στο σύνολο
L(Rn ) των γραμμικών τελεστών από τον Rn στον εαυτό του. Η γραμμικότητα της πράξης της παραγώγισης
είναι εύκολο να αποδειχθεί: Αν οι απεικονίσεις F1 , F2 : D ⊂ Rn → Rn είναι παραγωγίσιμες στο x ∈
Int(D), τότε για α, β ∈ R η απεικόνιση αF1 + βF2 είναι παραγωγίσιμη στο x και (αF1 + βF2 )′ (x) =
αF1′ (x) + βF2′ (x).
Αν η παράγωγος F ′ (x) υπάρχει στο σημείο x ∈ Int(D) τότε υπάρχουν όλες οι μερικές παράγωγοι ∂x ∂fi
j
,
′
1 ≤ i, j ≤ n, και ο n × n πίνακας που παριστάνει τον γραμμικό τελεστή F (x) ως προς την κανονική
βάση {ej }, 1 ≤ j ≤ n, του Rn είναι ο Ιακωβιανός πίνακας J(x), Jij (x) = ∂x∂fi
j
, 1 ≤ i, j ≤ n. Πράγματι,
θέτοντας h = tej στην (7.2) με k · k = k · k2 και υποθέτοντας ότι στο σημείο x η F ′ (x) παριστάνεται από
τον πίνακα A = (aij ), έχουμε για 1 ≤ i, j ≤ n,
fi (x + tej ) − fi (x)
lim − aij (x) = 0,
t→0 t
∂fi
δηλαδή aij = ∂x j
= Jij (x). Η ύπαρξη όμως των μερικών παραγώγων δεν εγγυάται ότι η F είναι παραγω-
γίσιμη στο x και αυτό φαίνεται από το ακόλουθο αποτέλεσμα:
Λήμμα 7.1. Έστω ότι η F : D ⊂ Rn → Rn είναι παραγωγίσιμη στο σημείο x ∈ Int(D). Τότε η F είναι
συνεχής στο x.
Απόδειξη. Επειδή x ∈ Int(D), υπάρχει δ1 > 0 τέτοιο ώστε x+h ∈ D αν khk < δ1 . Η παραγωγισιμότητα
της F στο x συνεπάγεται τώρα ότι για δεδομένο ϵ > 0 υπάρχει δ > 0, το οποίο μπορούμε να πάρουμε
μικρότερο από δ1 , τέτοιο ώστε kF (x + h) − F (x) − F ′ (x)hk ≤ ϵkhk αν khk < δ. Συνεπώς kF (x +
h) − F (x)k ≤ (kF ′ (x)k + ϵ)khk αν khk < δ, ένα αποτέλεσμα ισχυρότερο μάλιστα από τη συνέχεια της
F στο x.
Παρατήρηση 7.1. Ο ορισμός της παραγώγου γενικεύεται εύκολα σε απεικονίσεις F : D ⊂ Rn → Rm . Η
παράγωγος F ′ είναι ένας γραμμικός τελεστής από τον Rn στον Rm , δηλαδή ′
F ∈ L(R , R ) και παριστά-
n m
νεται πάλι από τον m × n Ιακωβιανό πίνακα¹ J(x) = (Jij (x)) = ∂x ∂fi
j
, 1 ≤ i ≤ m, 1 ≤ j ≤ n. Στην
περίπτωση που m = 1, δηλαδή μιας απεικόνισης f : D ⊂ Rn → R, η παράγωγος f ′ (x) παριστάνεται
από το διάνυσμα ∇f (x) = ( ∂x∂f
, ∂f , . . . , ∂x
1 ∂x2
∂f T
n
) .
¹Ο πίνακας J(x) ονομάζεται Ιακωβιανός πίνακας από το όνομα του Γερμανού μαθηματικού Carl Gustav Jacob Jacobi (1804–
1851) με θεμελειώδεις συνεισφορές στις ελλειπτικές εξισώσεις, στις διαφορικές εξισώσεις και στη θεωρία αριθμών.
Ορισμός 7.2. Μια συνεχής συνάρτηση f : Rn → R λέγεται συνεχώς παραγωγίσιμη στο σημείο x ∈ Rn αν
∂f
οι μερικές παράγωγοι ∂x i
(x), i = 1, . . . , n, υπάρχουν και είναι συνεχείς συναρτήσεις. Θα γράφουμε
∂f ∂f ∂f
∇f (x) = ( (x), (x), . . . , (x))T . (7.3)
∂x1 ∂x2 ∂xn
Αν η f είναι συνεχώς παραγωγίσιμη σε κάθε σημείο του ανοιχτού συνόλου D ⊂ Rn θα γράφουμε f ∈

C 1 (D).
Λήμμα 7.2. Έστω f : Rn → R συνεχώς παραγωγίσιμη σε ένα κυρτό σύνολο D ⊂ Rn . Τότε για x ∈ D και
οποιοδήποτε μη μηδενικό διάνυσμα p ∈ Rn η παράγωγος της f στο x στην κατεύθυνση του p,
∂f f (x + ϵp) − f (x)
(x) = lim ,
∂p ϵ→0 ϵ
υπάρχει και είναι ίση με ∇f (x)T p. Ακόμα, για κάθε x, x + p ∈ D έχουμε

Z 1
f (x + p) = f (x) + ∇f (x + tp)T p dt, (7.4)
0
και υπάρχει z ∈ (x, x + p)² τέτοιο ώστε
f (x + p) = f (x) + ∇f (z)T p. (7.5)
Απόδειξη. Ορίζουμε τη συνάρτηση g(t) = f (x + tp), t ∈ [0, 1] και γράφουμε x(t) = x + tp. Από τον
κανόνα της αλυσίδας έχουμε για 0 ≤ α ≤ 1,
Xn
∂f dx(t)i Xn
∂f
′
g (α) = (x(α)) (α) = (x(α)) · pi = ∇f (x + αp)T p,
i=1
∂x i dt i=1
∂x i
οπότε για α = 0 έχουμε

∂f (x)
= ∇f (x)T p.
∂p
Από το θεμελιώδες θεώρημα του Απειροστικού Λογισμού έχουμε
Z 1
g(1) = g(0) + g ′ (t) dt,
0
η οποία από τον ορισμό της g είναι ισοδύναμη με

Z 1
f (x + p) = f (x) + ∇f (x + tp)T p dt,
0
δηλαδή, τη σχέση (7.4). Τέλος από το θεώρημα της μέσης τιμής έχουμε g(1) = g(0) + g ′ (ξ) για κάποιο
ξ ∈ (0, 1), ισοδύναμα,
f (x + p) = f (x+ ∇f (x + ξp)T p, ξ ∈ (0, 1),
το οποίο αποδεικνύει τη σχέση (7.5)

²Αν x, p ∈ Rn τότε (x, x + p) θα συμβολίζει το ανοιχτό ευθύγραμμο τμήμα {x + tp : 0 < t < 1}.
Ορισμός 7.3. Έστω f : Rn → R μια συνεχώς παραγωγίσιμη συνάρτηση. Θα λέμε ότι η f είναι δύο φορές
2f
συνεχώς παραγωγίσιμη στο x ∈ Rn αν οι μερικές παράγωγοι δεύτερης τάξης ∂x∂i ∂x j
(x), 1 ≤ i, j ≤ n,
υπάρχουν και είναι συνεχείς συναρτήσεις. Η εσσιανή³ (Hessian) της f στο x είναι ο n × n πίνακας
∂ 2 f (x)
∇2 f (x)ij = , 1 ≤ i, j ≤ n. (7.6)
∂xi ∂xj
Θα λέμε ότι f είναι δύο φορές συνεχώς παραγωγίσιμη σε κάποιο ανοιχτό σύνολο D ⊂ Rn και θα γράφουμε
f ∈ C 2 (D) αν η f είναι δύο φορές συνεχώς παραγωγίσιμη σε κάθε σημείο του συνόλου D.
Η απόδειξη του παρακάτω αποτελέσματος είναι ανάλογη με αυτή του Λήμματος 7.2.
Λήμμα 7.3. Έστω f : Rn → R δύο φορές συνεχώς παραγωγίσιμη στο ανοιχτό και κυρτό σύνολο D ⊂ Rn . Για
κάθε x ∈ D και για κάθε μη μηδενικό διάνυσμα p ∈ Rn η δεύτερη παράγωγος της f στο x στη κατεύθυνση του
p,
∂ 2f
∂f
∂p
(x + ϵp) − ∂f
∂p
(x)
(x) = lim ,
∂p2 ϵ→0 ϵ
υπάρχει και ισούται με pT ∇2 f (x)p. Επιπλέον για κάθε x, x + p ∈ D υπάρχει σημείο z στο ευθύγραμμο τμήμα
που συνδέει τα x και x + p τέτοιο ώστε
1
f (x + p) = f (x) + ∇f (x)T p + pT ∇2 f (z)p. (7.7)
2
Παρατήρηση. Η εσσιανή είναι πάντα συμμετρικός πίνακας εφόσον, βέβαια, η f είναι δύο φορές συνεχώς πα-
ραγωγίσιμη.
Παράδειγμα 7.1. Ορίζουμε f : R2 → R, f (x) = x31 x42 + x2 /x1 . Τότε

!
3x21 x42 − xx22
∇f (x) = 1 ,
4x31 x32 + x11
1 !
και
6x1 x42 + 2x2
x21
12x21 x32 − x21
∇2 f (x) = .
12x21 x32 − 1
x21
12x31 x22
Η δεύτερη παράγωγος της f στο σημείο xc = (1, 0)T στην κατεύθυνση του διανύσματος p = (−1, 1)T
ισούται με
0 −1 −1
p ∇ f (xc )p = −1 1
T 2
= 2.
−1 0 1
Θεωρούμε τώρα τη συνάρτηση F : D ⊂ Rn → Rn με συνιστώσες F (x) = (f1 (x), f2 (x), . . . ,

fn (x))T για κάθε x ∈ D, όπου D είναι ένα ανοιχτό σύνολο του Rn . Θα λέμε ότι η F είναι παραγωγίσιμη σε
ένα σημείο x ∈ D αν καθεμία από τις συνιστώσες της fi , i = 1, . . . , n, είναι παραγωγίσιμη στο ίδιο σημείο.
Η παράγωγος της F είναι ο n × n πίνακας F ′ (x) = J(x) με στοιχεία
∂fi
F ′ (x)ij = (x), 1 ≤ i, j ≤ n.
∂xj
Θα λέμε ότι η F είναι συνεχώς παραγωγίσιμη στο D και θα γράφουμε F ∈ C 1 (D) αν η F είναι συνεχώς
παραγωγίσιμη σε κάθε x ∈ D.
³Από το όνομα του Γερμανού μαθηματικού Ludwig Otto Hesse (1811–1874).
Παράδειγμα 7.2. Αν F : R3 → R3 ορίζεται ως

   
fx (x1 , x2 , x3 ) x21 + x32 − x43
F (x) = f2 (x1 , x2 , x3 ) =  x1 x2 x3 
f3 (x1 , x2 , x3 ) 2x1 x2 − 3x2 x3 + x1 x3
τότε  
2x1 3x22 −4x33
F ′ (x) =  x2 x3 x1 x3 x1 x2 
2x2 + x3 2x1 − 3x3 −3x2 + x1
Μια σημαντική διαφορά με την περίπτωση των βαθμωτών συναρτήσεων είναι η απώλεια του θεωρήματος
της μέσης τιμής με την έννοια ότι εν γένει, δεν υπάρχει z ∈ Rn τέτοιο ώστε F (x+p) = F (x)+F ′ (z)p για
δεδομένο μη μηδενικό διάνυσμα p ∈ Rn . Για παράδειγμα, αν F : R2 → R2 έχει συνιστώσες f1 (x1 , x2 ) =
ex1 − 1 και f (x2 ) = x21 − 2x2 , τότε η σχέση F (1, 1) = F (0, 0) + F ′ (z)(1, 1)T είναι ισοδύναμη με τις
z
e−1 0 e1 0 1
= + ,
−1 0 2z1 −2 1
δηλαδή ez1 = e − 1 και 2z1 = 1 οι οποίες είναι προφανώς αδύνατον να ικανοποιηθούν.

Υπάρχουν όμως άλλου τύπου αποτελέσματα όπως, για παράδειγμα, η «ολοκληρωτική» μορφή του θεωρή-
ματος της μέσης τιμής που αποδεικνύεται στο επόμενο λήμμα. Υπενθυμίζουμε ότι η διανυσματική συνάρτηση
G : [a, b] → Rn με G = (g1 , g2 , . . . , gn )T είναι Riemann ολοκληρώσιμη αν οι συνιστώσες της είναι
Riemann ολοκληρώσιμες συναρτήσεις και ορίζουμε
R b 
Z b a
g1 (t) dt
 .. 
G(t) dt =  . .
a Rb
a
gn (t) dt
Λήμμα 7.4. Υποθέτουμε ότι η F : Rn → Rn είναι συνεχώς παραγωγίσιμη σε ένα κυρτό σύνολο D. Τότε, αν
x, y ∈ D Z 1
F (y) = F (x) + F ′ (x + t(y − x))(y − x) dt. (7.8)
0
Απόδειξη. Επειδή η F ′ είναι συνεχής στο D, η απεικόνιση t 7→ F ′ (x + t(y − x)) είναι συνεχής στο [0, 1].
Τότε, οι διανυσματικές συναρτήσεις ∇fi (x + t(y − x)), i = 1, . . . , n, είναι συνεχείς συναρτήσεις του t για
t ∈ [0, 1] και συνεπώς Riemann ολοκληρώσιμες. Τώρα για x, y ∈ D έχουμε από τον κανόνα της αλυσίδας
d
fi (x + t(y − x)) = ∇fi (x + t(y − x))T (y − x), i = 1, . . . , n,
dt
και ολοκληρώνοντας ως προς t από 0 έως 1 έχουμε
Z 1
fi (y) − fi (x) = ∇fi (x + t(y − x))T (y − x) dt, i = 1, . . . , n,
0
που είναι ακριβώς η (7.8) γραμμένη κατά συνιστώσες.
Λήμμα 7.5. Έστω G : [a, b] → Rn συνεχής στο [a, b]. Τότε

Z b Z b
G(t) dt ≤ kG(t)k dt. (7.9)
a a
Απόδειξη. Λόγω της συνέχειας της x 7→ kxk και της συνέχειας της G, η απεικόνιση t 7→ kG(t)k είναι συ-
νεχής και επομένως ολοκληρώσιμη κατά Riemann στο [a, b]. Από την ολοκληρωσιμότητα των απεικονίσεων
t 7→ G(t) και t 7→ kG(t)k έχουμε ότι για οποιοδήποτε ϵ > 0 υπάρχει διαμερισμός a ≤ t0 < t1 < · · · <
ts ≤ b τέτοιος ώστε
Z b X
s
G(t) − G(tj )(tj − tj−1 ) ≤ ϵ,
a j=1
Z b X
s
kG(t)k dt − kG(tj )k (tj − tj−1 ) ≤ ϵ.
a j=1
Από την τριγωνική ανισότητα και τις δύο αυτές σχέσεις έχουμε
Z b X
s
G(t) dt ≤ G(tj )(tj − tj−1 ) + ϵ
a j=1
X
s
≤ kG(tj )k (tj − tj−1 ) + ϵ
j=1
Z b
≤ kG(t)k dt + 2ϵ.
a
Επειδή το ϵ > 0 ήταν αυθαίρετο, έπεται η (7.9).
Ορισμός 7.4. Έστω k · k μια νόρμα στον Rn και G : Rn → Rn×n . Λέμε ότι η G είναι Lipschitz συνεχής
στο σημείο x ∈ Rn αν υπάρχει ανοιχτό σύνολο D ⊂ Rn με x ∈ D και σταθερά γ τέτοια ώστε
∀v ∈ D, kG(v) − G(x)k ≤ γkv − xk. (7.10)
Η σταθερά γ ονομάζεται σταθερά Lipschitz. Αν η (7.10) ισχύει για κάθε x ∈ D, θα γράφουμε G ∈

Lipγ (D).
Λήμμα 7.6. Υποθέτουμε ότι η F : Rn → Rn είναι συνεχώς παραγωγίσιμη σε ένα κυρτό σύνολο D και ότι
F ′ ∈ Lipγ (D). Τότε αν x, y ∈ D έχουμε
γkx − yk2
′
kF (y) − F (x) − F (x)(y − x)k ≤ . (7.11)
2
Απόδειξη. Για x, y ∈ D έχουμε από το Λήμμα 7.4 ότι
Z 1
′
F (y) − F (x) − F (x)(y − x) = F ′ (x + t(y − x))(y − x) dt
0
Z 1
− F ′ (x)(y − x) dt.
0
Παίρνοντας νόρμες και χρησιμοποιώντας το Λήμμα 7.5 έχουμε

Z
′
1
γkx − yk2
kF (y) − F (x) − F (x)(y − x)k ≤ γkx − yk 2
t dt = ,
0 2
7.1.1 Επαναληπτικές μέθοδοι για μη γραμμικά συστήματα
Έστω F : D ⊂ Rn → Rn μια δεδομένη απεικόνιση. Θα μελετήσουμε επαναληπτικές μεθόδους για την

προσεγγιστική λύση του (7.1) της μορφής
xk+1 = G(xk ), k = 0, 1, . . . , x0 ∈ Rn δεδομένο, (7.12)
όπου G : D ⊂ Rn → Rn είναι μια άλλη απεικόνιση με την ιδιότητα ότι x ∈ Rn είναι λύση του (7.1)
αν και μόνο αν x = G(x), δηλαδή x είναι ένα σταθερό σημείο της απεικόνισης G. Αν η G είναι συνεχής και
η ακολουθία {xk } είναι καλά ορισμένη και συγκλίνει σε κάποιο x∗ ∈ D, τότε προφανώς x∗ είναι σταθερό
σημείο της G.
Ορισμός 7.5. Θα λέμε ότι ένα σημείο x∗ ∈ D είναι σημείο έλξης για την ακολουθία που παράγεται από την
επαναληπτική μέθοδο (7.12) αν υπάρχει ανοιχτή περιοχή S ⊂ D του x∗ τέτοια ώστε για κάθε x0 ∈ S τα
{xk } που ορίζονται από την (7.12) να βρίσκονται στην S και να συγκλίνουν στο x∗ .
Στο εξής, αν k · k είναι μια νόρμα στον Rn θα γράφουμε S(x, r) = {y ∈ Rn : kx − yk < r} για να
συμβολίσουμε την ανοιχτή μπάλα με κέντρο το σημείο x και ακτίνα r.
Λήμμα 7.7. Έστω G : D ⊂ Rn → Rn και x∗ ∈ D. Υποθέτουμε ότι υπάρχει ανοιχτή μπάλα S(x∗ , δ) ⊂ D
και σταθερά a < 1 τέτοια ώστε
∀x ∈ S(x∗ , δ) kG(x) − x∗ k ≤ a kx − x∗ k. (7.13)
Τότε για κάθε x0 ∈ S(x∗ , δ) οι όροι {xk }, k ≥ 0, της ακολουθίας που ορίζονται από την (7.12) βρίσκονται
στην S(x∗ , δ) και συγκλίνουν στο x∗ , δηλαδή το x∗ είναι σημείο έλξης της (7.12).
Απόδειξη. Έστω x0 ∈ S(x∗ , δ). Για k = 1 έχουμε από την (7.13) ότι kx1 − x∗ k = kG(x0 ) − x∗ k ≤
akx0 − x∗ k. Επειδή a < 1 και x0 ∈ S(x∗ , δ) προκύπτει ότι kx1 − x∗ k < δ, δηλαδή έχουμε ότι x1 ∈
S(x∗ , δ). Υποθέτοντας τώρα ότι για κάποιο k ≥ 1, xk ∈ S(x∗ , δ) και kxk − x∗ k ≤ ak kx0 − x∗ k έχουμε
πάλι από την (7.13) ότι kxk+1 − x∗ k = kG(xk ) − x∗ k ≤ akxk − x∗ k ≤ ak+1 kx0 − x∗ k και βεβαίως
ότι xk+1 ∈ S(x∗ , δ). Επειδή kxk − x∗ k ≤ ak kx0 − x∗ k και a < 1 έχουμε ότι xk → x∗ . Άρα το x∗ είναι
σημείο έλξης για την (7.12).
Υπενθυμίζουμε τον ορισμό της φαρματικής ακτίνας ρ(A) ενός πίνακα A που δώσαμε στον Ορισμό 1.24.
Ορισμός 7.6. Έστω A ∈ L(Cn ) και λi (A), i = 1, . . . , n, οι ιδιοτιμές του. Η φασματική ακτίνα ρ(A) του
A ορίζεται ως ρ(A) = max1≤i≤n |λi (A)|.
Το παρακάτω θεώρημα διατυπώνει μια χρήσιμη ικανή συνθήκη για την ισχύ της σχέσης (7.13).
Θεώρημα 7.1 (Ostrowski). Υποθέτουμε ότι η G : D ⊂ Rn → Rn έχει ένα σταθερό σημείο x∗ ∈ Int(D)
και η G έχει παράγωγο Fréchet στο x∗ . Τότε, αν ρ(G′ (x∗ )) ≤ σ < 1, το x∗ είναι σημείο έλξης της ακολουθίας
(7.12).
Απόδειξη. Από το Λήμμα 1.11 και τις υποθέσεις του θεωρήματος έπεται ότι για ϵ > 0 υπάρχει νόρμα k ·
k τέτοια ώστε kG′ (x∗ )k ≤ σ + ϵ. Επειδή η G είναι παραγωγίσιμη στο x∗ υπάρχει δ > 0 τέτοιο ώστε
S(x∗ , δ) ⊂ D και kG(x) − G(x∗ ) − G′ (x∗ )(x − x∗ )k ≤ ϵkx − x∗ k για κάθε x ∈ S(x∗ , δ). Επειδή το
x∗ είναι σταθερό σημείο της G, δηλαδή, G(x∗ ) = x∗ έχουμε
kG(x) − x∗ k ≤ kG(x) − G(x∗ ) − G′ (x∗ )(x − x∗ )k + kG′ (x∗ )(x − x∗ )k
≤ (σ + 2ϵ)kx − x∗ k.
Διαλέγοντας τώρα ϵ > 0 τέτοιο ώστε a = σ + 2ϵ < 1 έχουμε
kG(x) − x∗ k ≤ akx − x∗ k, ∀x ∈ S(x∗ , δ),
δηλαδή ικανοποιούνται οι υποθέσεις του Λήμματος 7.7. Συνεπώς το x∗ είναι σημείο έλξης της ακολουθίας
(7.12).
Ορισμός 7.7. Λέμε ότι η απεικόνιση G : D ⊂ Rn → Rn είναι συστολή σ’ ένα σύνολο D0 ⊂ D αν υπάρχει
νόρμα k · k του Rn και a < 1 τέτοια ώστε
kG(x) − G(y)k ≤ a kx − yk, ∀x, y ∈ D0 . (7.14)
Θεώρημα 7.2 (Συστολής). Υποθέτουμε ότι η απεικόνιση G : D ⊂ Rn → Rn είναι συστολή με σταθερά a

σε ένα κλειστό σύνολο D0 ⊂ D και ότι G(D0 ) ⊂ D0 . Τότε η G έχει μοναδικό σταθερό σημείο x∗ στο D0 .
Επιπλέον για οποιοδήποτε x0 ∈ D0 η ακολουθία {xk }, k ≥ 0, που παράγεται από την (7.12) συγκλίνει στο
x∗ και ισχύουν οι εκτιμήσεις
a
kxk − x∗ k ≤ kxk − xk−1 k, k = 1, 2, . . . , (7.15)
1−a
ak
kxk − x∗ k ≤ kG(x0 ) − x0 k, k = 1, 2, . . . . (7.16)
1−a
Απόδειξη. Έστω x0 ∈ D0 . Επειδή G(D0 ) ⊂ D0 , η ακολουθία xk+1 = G(xk ), k ≥ 0, είναι καλά ορισμένη
και ανήκει στο D0 . Επιπλέον
kxk+1 − xk k = kG(xk ) − G(xk−1 k ≤ akxk − xk−1 k, k ≥ 1,
από την οποία παίρνουμε για οποιοδήποτε m ≥ 1 και για κάθε k = 1, 2, . . . ότι
X
m
kxk+m − xk k ≤ kxk+i − xk+i−1 k (7.17)
i=1
≤ (a m−1
+ · · · + a + 1)kxk+1 − xk k
1
≤ kxk+1 − xk k
1−a
a
≤ kxk − xk−1 k
1−a
ak
≤ kx1 − x0 k.
1−a
Η (7.17) δείχνει ότι η ακολουθία {xk } είναι Cauchy στο κλειστό διάστημα D0 και συνεπώς υπάρχει x∗ ∈ D0
τέτοιο ώστε xk → x∗ καθώς k → ∞. Το όριο αυτό είναι σταθερό σημείο της G γιατί
kx∗ − G(x∗ )k ≤ kx∗ − xk+1 k + kG(xk ) − G(x∗ )k

≤ kx∗ − xk+1 k + akxk − x∗ k,
με το δεξί μέλος της παραπάνω σχέσης να συγκλίνει στο μηδέν καθώς k → ∞. Ακόμα το x∗ είναι το μοναδικό
σταθερό σημείο της G στο D0 , γιατί αν υπήρχε και ένα δεύτερο σταθερό σημείο x∗∗ θα είχαμε
kx∗ − x∗∗ k = kG(x∗ ) − G(x∗∗ )k ≤ akx∗ − x∗∗ k < kx∗ − x∗∗ k,
το οποίο είναι προφανώς άτοπο. Οι εκτιμήσεις (7.15) και (7.16) προκύπτουν από την (7.17) παίρνοντας το
όριο m → ∞.
7.1.2 Η μέθοδος Newton-Raphson για συστήματα
Μελετάμε τώρα εξειδικεύσεις της γενικής επαναληπτικής μεθόδου (7.12) στην περίπτωση που η απεικόνιση
G είναι της μορφής
G(x) = x − A(x)−1 F (x), (7.18)
Σχήμα 7.1: Βήματα της μεθόδου Newton-Raphson με αρχική τιμή x0 = (1, 5)T , x0 = (−4, 3)T και
x0 = (2, −4)T , αντίστοιχα, πάνω από τις ισοϋψείς καμπύλες της kF k2 του Παραδείγματος 7.3.
όπου A(x) ∈ L(Rn ) είναι ένας αντιστρέψιμος γραμμικός τελεστής. Μελετάμε δηλαδή, επαναληπτικές με-
θόδους της μορφής
xk+1 = xk − A(xk )−1 F (xk ), k ≥ 0, x0 ∈ Rn δεδομένο. (7.19)
Η σημαντικότερη ειδική περίπτωση των (7.18) και (7.19) είναι η μέθοδος Newton-Raphson για την οποία
A(x) = F ′ (x). Για x0 ∈ Rn ορίζουμε την ακολουθία προσεγγίσεων (xk ) της x∗ από τις σχέσεις
Λύνουμε το σύστημα F ′ (xk )sk = −F (xk ). (7.20)

Θέτουμε xk+1 = xk + sk , k = 0, 1, . . . . (7.21)
Παράδειγμα 7.3. Η εξίσωση F (x) = 0 με

x1 + x2 − 3
F (x) =
x21 + x22 − 9
έχει τις προφανείς ρίζες (3, 0)T και (0, 3)T . Αν θέσουμε x0 = (1, 5)T , τότε οι δύο πρώτες επαναλήψεις της
μεθόδου Newton-Raphson δίνουν

1 1 3 −1.625
s =− , s0 =
2 10 0 17 −1.375
x1 = x0 + s0 = (−0.625, 3.625)T
145
1 1 0 272
s1 = 145 , s1 = ,
− 45 29
4 32
− 145
272
x2 = x1 + s1 ≈ (−0.092, 3.092)T
Στο Σχήμα 7.1 φαίνεται η σύγκλιση της ακολουθίας προσεγγίσεωv της μεθόδου Newton-Raphson με αρχικές
τιμές x0 = (1, 5)T , x0 = (−4, 3)T και x0 = (2, −4)T πάνω από τις ισοϋψείς καμπύλες της kF k2 . Τα
σημεία που σημειώνονται με κόκκινα άστρα είναι οι ρίζες (3, 0)T και (0, 3)T της εξίσωσης F (x) = 0.
Η απόδειξη της τοπικά τετραγωνικής σύγκλισης της μεθόδου Newton-Raphson για συστήματα εξισώ-
σεων ακολουθεί την ιδέα της απόδειξης στην περίπτωση μιας μη γραμμικής εξίσωσης.
Θεώρημα 7.3. Υποθέτουμε ότι η απεικόνιση F : D ⊂ Rn → Rn είναι παραγωγίσιμη σ’ ένα σημείο x∗ ∈
Int(D) όπου F (x∗ ) = 0. Για x ∈ S0 , όπου S0 ⊂ D είναι μια ανοιχτή περιοχή του x∗ , θεωρούμε μια οικογένεια
γραμμικών τελεστών A(x) ∈ L(Rn ). Υποθέτουμε ότι η απεικόνιση x 7→ A(x) είναι συνεχής στο x∗ και
ότι ο A(x∗ ) είναι αντιστρέψιμος. Τότε υπάρχει κλειστή μπάλα S(x∗ , δ) ⊂ S0 στην οποία η απεικόνιση G :
S(x∗ , δ) → Rn που ορίζεται από την (7.18) είναι καλά ορισμένη. Επιπλέον η G είναι παραγωγίσιμη στο x∗ και
η παράγωγός της εκει είναι
G′ (x∗ ) = I − A(x∗ )−1 F ′ (x∗ ). (7.22)
Απόδειξη. Θα δείξουμε πρώτα ότι ο τελεστής A(x) είναι αντιστρέψιμος για x ∈ S(x∗ , δ) εξασφαλίζοντας
έτσι ότι η G είναι καλά ορισμένη στο S(x∗ , δ). Έστω β = kA(x∗ )−1 k και ϵ > 0 τέτοιο ώστε 0 < ϵ <
1/2β. Από τη συνέχεια της απεικόνισης x 7→ A(x) υπάρχει δ > 0 τέτοιο ώστε S(x∗ , δ) ⊂ S0 και
kA(x) − A(x∗ )k ≤ ϵ, ∀x ∈ S(x∗ , δ). (7.23)
Χρησιμοποιούμε τώρα την (1.35) με A = A(x∗ ), B = A(x) − A(x∗ ). Αφού υπάρχει ο A(x∗ )−1 και
kA(x∗ )−1 k kA(x) − A(x∗ )k ≤ ϵβ < 1/2 για x ∈ S(x∗ , δ), συμπεραίνουμε ότι o A(x) είναι αντιστρέ-
ψιμος για x ∈ S(x∗ , δ) και
kA(x)−1 k = k(A(x∗ ) + (A(x) − A(x∗ )))−1 k (7.24)

kA(x∗ )−1 k
≤
1 − kA(x∗ )−1 k kA(x) − A(x∗ )k
≤ 2β.
Δείχνουμε τώρα ότι η G είναι παραγωγίσιμη στο x∗ και η παράγωγός της δίνεται από την (7.22). Υποθέτω-
ντας τώρα ότι η ακτίνα της μπάλας S(x∗ , δ) είναι αρκετά μικρή έχουμε για κάθε x ∈ S(x∗ , δ),
kF (x) − F (x∗ ) − F ′ (x∗ )(x − x∗ )k ≤ ϵkx − x∗ k. (7.25)
Συνεπώς για x ∈ S(x∗ , δ) έχουμε
kG(x) − G(x∗ ) − (I − A(x∗ )−1 F ′ (x∗ ))(x − x∗ )k

= kA(x)−1 F ′ (x∗ )(x − x∗ ) − A(x)−1 F (x)k
Επειδή F (x∗ ) = 0, δηλαδή G(x∗ ) = x∗ , το δεξί μέλος της παραπάνω σχέσης μπορεί να γραφεί ως
−A(x)−1 (F (x) − F (x∗ ) − F ′ (x∗ )(x − x∗ ))

−A(x)−1 (A(x∗ ) − A(x))A(x∗ )−1 F ′ (x∗ )(x − x∗ ) .
Χρησιμοποιώντας τώρα την τριγωνική ανισότητα και τις (7.24), (7.25) και (7.23) έχουμε
kG(x) − G(x∗ ) − (I − A(x∗ )−1 F ′ (x))(x − x∗ )k ≤ 2βϵ kx − x∗ k + 2β 2 ϵ kF ′ (x∗ )k kx − x∗ k.
Συμπεραίνουμε λοιπόν ότι η G είναι παραγωγίσιμη στο x∗ και ότι όντως η παράγωγός της G′ (x∗ ) δίνεται
από την (7.22).
Χρησιμοποιώντας το Θεώρημα του Οstrowski και το Θεώρημα 7.3 έχουμε το ακόλουθο αποτέλεσμα το-
πικής σύγκλισης για την επαναληπτική μέθοδο (7.19).
Λήμμα 7.8. Έστω ότι ισχύουν οι υποθέσεις του Θεωρήματος 7.3. Επιπλέον υποθέτουμε ότι
ρ(G′ (x∗ )) = ρ(I − A(x∗ )−1 F ′ (x∗ )) = σ < 1. (7.26)
Τότε το x∗ είναι σημείο έλξης της (7.19).

Για τη μέθοδο Newton-Raphson όπου A(x) = F ′ (x) έχουμε το ακόλουθο θεώρημα τοπικής σύγκλισης:
Θεώρημα 7.4. Έστω F : D ⊂ Rn → Rn παραγωγίσιμη σε μια ανοιχτή περιοχή S0 ⊂ D του σημείου x∗
όπου F (x∗ ) = 0. Υποθέτουμε επίσης ότι η F ′ είναι συνεχής στο x∗ και ότι ο F ′ (x∗ ) είναι αντιστρέψιμος. Τότε
το x∗ είναι σημείο έλξης της μεθόδου Newton-Raphson.
Απόδειξη. Από το Θεώρημα 7.3 με A(x) = F ′ (x) συμπεραίνουμε ότι η απεικόνιση επανάληψης G(x) =
x − F ′ (x)−1 F (x) της μεθόδου Newton-Raphson είναι καλά ορισμένη σε μια μπάλα S(x∗ , δ) ⊂ S0 . Επι-
πλέον G′ (x∗ ) = I − F ′ (x∗ )−1 F ′ (x∗ )) = 0, οπότε ρ(G′ (x∗ )) = 0 και το Λήμμα 7.8 δίνει ότι το x∗ είναι
σημείο έλξης της ακολουθίας της μεθόδου Newton-Raphson.
Μπορούμε τώρα να αποδείξουμε ότι, κάτω από ορισμένες συνθήκες, η σύγκλιση της ακολουθίας προσεγ-
γίσεων της μεθόδου Newton-Raphson προς το σημείο έλξης x∗ είναι τετραγωνική.
Θεώρημα 7.5. Υποθέτουμε ότι ισχύουν όλες οι προϋποθέσεις του Θεωρήματος 7.4. Τότε για το σημείο έλξης x∗
ισχύει ότι
kxk+1 − x∗ k
lim = 0. (7.27)
k→∞ kxk − x∗ k
Αν, επιπλέον, για κάποια σταθερά c1 έχουμε

kF ′ (x) − F ′ (x∗ )k ≤ c1 kx − x∗ k, (7.28)
για κάθε x σε μια ανοιχτή περιοχή του x∗ , τότε υπάρχει φυσικός αριθμός k0 και σταθερά c2 τέτοια ώστε
kxk+1 − x∗ k ≤ c2 kxk − x∗ k2 , για k ≥ k0 , (7.29)
δηλαδή η σύγκλιση προς το σημείο έλξης είναι τετραγωνική.
Απόδειξη. Για τη μέθοδο Newton-Raphson όπου G(x) = x − F ′ (x)−1 F ′ (x) έχουμε από το Θεώρημα 7.4
ότι η G είναι καλά ορισμένη σε μια μπάλα S(x∗ , δ) όπου G(x∗ ) = x∗ και όπου η G είναι παραγωγίσιμη με
G′ (x∗ ) = 0. Τότε για x0 ∈ S(x∗ , δ) έχουμε
xk+1 − x∗ = G(xk ) − G(x∗ )
= G(xk ) − G(x∗ ) − G′ (x∗ )(xk − x∗ ),
από το οποίο συμπεραίνουμε ότι
kxk+1 − x∗ k kG(xk ) − G(x∗ ) − G′ (x∗ )(xk − x∗ )k
lim = lim = 0,
k→∞ kxk − x∗ k k→∞ kxk − x∗ k
από την παραγωγισιμότητα της G στο x∗ . Αυτό αποδεικνύει τη σχέση (7.27). Έστω τώρα ότι για k ≥ k0 οι
όροι {xk } περιέχονται στην περιοχή του x∗ όπου ισχύει η (7.28). Από το Λήμμα 7.6 και την (7.28) έχουμε⁴,
για κάποια σταθερά c ανεξάρτητη του k
kF (xk ) − F (x∗ ) − F ′ (x∗ )(xk − x∗ )k ≤ c kx∗ − xk k2 . (7.30)
Τότε, χρησιμοποιώντας την (7.30)
kxk+1 − x∗ k = kxk − F ′ (xk )−1 F (xk ) − x∗ k
≤ k − F ′ (xk )−1 (F (xk ) − F (x∗ ) − F ′ (x∗ )(xk − x∗ ))k
+ kF ′ (xk )−1 (F ′ (xk ) − F ′ (x∗ ))(xk − x∗ )k
≤ c kF ′ (xk )−1 k kxk − x∗ k2 + c1 kF ′ (xk )−1 k kxk − x∗ k2 .
Όπως στην (7.24), έχουμε τώρα kF ′ (xk )−1 k ≤ 2kF ′ (x∗ )−1 k. Συμπεραίνουμε λοιπόν ότι kxk+1 − x∗ k ≤
c2 kxk − x∗ k2 , για k ≥ k0 και για σταθερά c2 ανεξάρτητη του k.
⁴Για δεδομένο k, το κυρτό σύνολο D0 του Λήμματος 7.6 είναι το ευθύγραμμο τμήμα [xk , x∗ ] και εκεί η (7.28) ισχύει με
πιθανώς διαφορετική σταθερά c1 .
Παρατήρηση 7.2. Συνέπεια του γεγονότος ότι G′ (x∗ ) = 0 είναι η (7.27) για τη μέθοδο Newton-Raphson.
Στην περίπτωση μιας γενικής επαναληπτικής μεθόδου, αν η G είναι συστολή έχουμε απλώς ότι kxk+1 −
x∗ k ≤ akxk − x∗ k, k ≥ 0 για μια σταθερά 0 < a < 1, δηλαδή γραμμική σύγκλιση. Αντίθετα στην
περίπτωση της μεθόδου Newton-Raphson, αν ισχύει η (7.28), η σύγκλιση είναι τετραγωνική.
Παρατήρηση 7.3. Η εφαρμογή της μεθόδου Newton-Raphson στην πράξη απαιτεί, για κάθε k, τον υπολο-
γισμό του n × n Ιακωβιανού πίνακα J(xk ), του διανύσματος F (xk ) και την επίλυση ενός n × n γραμμικού
συστήματος, δείτε το παράδειγμα (7.20)–(7.21). Επειδή σε πολλές περιπτώσεις αυτό το κόστος μπορεί να
είναι απαγορευτικό, καταφεύγουμε συχνά σε απλουστεύσεις της μεθόδου Newton-Raphson όπου ο γραμμι-
κός τελεστής A(xk ) αποτελεί προσέγγιση της F ′ (xk ). Μια προφανής τέτοια απλούστευση είναι η λεγόμενη
μέθοδος της χορδής
xk+1 = xk − F ′ (x0 )−1 F (xk ), k ≥ 0, x0 δεδομένο, (7.31)
η οποία σε κάθε βήμα απαιτεί τη λύση ενός γραμμικού συστήματος με σταθερό πίνακα J(x0 ), ο οποίος μπορεί
να υπολογισθεί και να αναλυθεί πριν αρχίσει η επανάληψη (7.31). Μπορεί να αποδειχθεί ότι αυτή η μέθοδος,
γενικά, συγκλίνει γραμμικά.
Σε μια άλλη στρατηγική απλούστευσης, μπορούμε να γράψουμε τον Ιακωβιανό πίνακα J(x) στη μορφή
J(x) = D(x) + L(x) + U (x),
με Lij = Jij για i > j, Lij = 0, αν i ≤ j, και Uij = Jij , αν i < j, Uij = 0 αν i ≥ j, και Dii = Jii , σε
αναλογία με τις κλασικές επαναληπτικές μεθόδους. Θεώρουμε τότε, αν βέβαια, Jii 6= 0, την επαναλήπτική
μέθοδο
xk+1 = xk − (D(xk ) + L(xk ))−1 F (xk ), k ≥ 0, x0 δεδομένο,
η οποία απαιτεί τη λύση ενός τριγωνικού συστήματος για κάθε k. Για προφανείς λόγους, η μέθοδος αυτή
ονομάζεται μέθοδος Newton/Gauss-Seidel. Μια πιο ακραία επιλογή θα ήταν η μέθοδος Newton-Jacobi,
δηλαδή,
xk+1 = xk − D(xk )−1 F (xk ), k ≥ 0, x0 δεδομένο.
Για τις δύο αυτές μεθόδους μπορούν να αποδειχθούν τοπικά θεωρήματα σύγκλισης, όπου βέβαια η ταχύτητα
σύγκλισης είναι, γενικά, γραμμική.
Στην πράξη πολλές φορές οι μερικές παράγωγοι των συνιστωσών fi της απεικόνισης F δεν είναι γνω-
στές ή είναι δύσκολο να υπολογισθούν αναλυτικά. Μπορούμε να καταφύγουμε σε προσεγγίσεις των μερικών
παραγώγων ∂fi (xk )/∂xj με πεπερασμένες διαφορες (fi (xk + hej ) − fi (xk ))/h. Αν το h είναι αρκετά
μικρό, μπορεί να δειχθεί ότι αυτή η υπολογιστική τεχνική διατηρεί πολλά από τα χαρακτηριστικά της με-
θόδου Newton-Raphson. Ειδικότερα, αν η F ικανοποιεί τις συνθήκες του Θεωρήματος 7.4 και την (7.28),
τότε υπάρχει σ > 0 και περιοχή S του σημείου x∗ τέτοια ώστε αν διαλέξουμε μια ακολουθία πραγματικών
αριθμών {hk } με 0 < |hk | ≤ σ, k ≥ 0, τότε η ακολουθία {xk } που παράγει η μέθοδος (7.19) με
fi (xk + hk ej ) − fi (xk )
Aij (xk ) = , 1 ≤ i, j ≤ n, k ≥ 0,
hk
είναι καλά ορισμένη για x0 ∈ S και έχει το x∗ ως σημείο έλξης. Επιπλέον η σύγκλιση στο x∗ είναι, γενικά,
γραμμική. Αν διαλέξουμε την ακολουθία {hk } έτσι ώστε |hk | → 0 καθώς k → ∞, τότε η σύγκλιση είναι
υπεργραμμική. Αυτή η μέθοδος, σε μια διάσταση, είναι γνωστή ως η μέθοδος της τέμνουσας. Οι γενικεύσεις
αυτής της μεθόδου σε συστήματα καθώς και παρεμφερείς προσεγγίσεις A(x) της F ′ (x) οδηγούν σε μια με-
γάλη κλάση μεθόδων, τις λεγόμες μεθόδους τύπου Newton (quasi-Newton methods), δείτε για παράδειγμα,
[2]. Στο εξής, αν k · k είναι μια νόρμα στον Rn , θα γράφουμε N (x, r) = {y ∈ Rn : kx − yk < r} για να
συμβολίσουμε μια ανοιχτή γειτονιά του σημείου x ακτίνας r.
Θεώρημα 7.6. Έστω F : Rn → Rn μια συνεχώς παραγωγίσιμη συνάρτηση στο ανοιχτό κυρτό σύνολο D ⊂
Rn . Υποθέτουμε ότι υπάρχει x∗ ∈ Rn και r, β > 0 τέτοια ώστε F (x∗ ) = 0, N (x∗ , r) ⊂ D, F ′ ∈
Lipγ (N (x∗ , r)), και τέλος ο πίνακας F ′ (x∗ )−1 υπάρχει και ικανοποιεί kF ′ (x∗ )−1 k ≤ β. Τότε υπάρχει ϵ > 0
τέτοιο ώστε για x0 ∈ N (x∗ , ϵ) η ακολουθία (xk ) με
xk+1 = xk − F ′ (xk )−1 F (xk ), k = 0, 1, . . . ,
είναι καλά ορισμένη, συγκλίνει στο x∗ και ικανοποιεί
kxk+1 − x∗ k ≤ βγ kxk − x∗ k2 , k = 0, 1, . . . . (7.32)
1
Απόδειξη. Θέτουμε ϵ = min{r, 2βγ }. Θα δείξουμε επαγωγικά ότι ισχύει η (7.32) για κάθε k και ότι
1
kxk+1 − x∗ k ≤ kxk − x∗ k,
2
δηλαδή ότι xk+1 ∈ N (x∗ , ϵ). Ξεκινάμε δείχοντας ότι ο πίνακας F ′ (x0 ) αντιστρέφεται. Από το γεγονός ότι
kx0 − x∗ k ≤ ϵ και τη συνέχεια κατά Lipschitz της F ′ στο x∗ έχουμε από τη σχέση
kF ′ (x∗ )−1 [F ′ (x0 ) − F ′ (x∗ )]k ≤ kF ′ (x∗ )−1 k kF ′ (x0 ) − F ′ (x∗ )k,
ότι
kF ′ (x∗ )−1 [F ′ (x0 ) − F ′ (x∗ )]k ≤ βγ kx0 − x∗ k, ≤ βγϵ, (7.33)
και συνέπως kF ′ (x∗ )−1 [F ′ (x0 ) − F ′ (x∗ )]k ≤ 12 . Χρησιμοποιώντας το Λήμμα 1.12 βλέπουμε ότι ο F ′ (x0 )
είναι αντιστρέψιμος και από τις σχέσεις (1.35) και (7.33) ότι ισχύει η εκτίμηση
kF ′ (x∗ )−1 k
kF ′ (x0 )−1 k ≤ (7.34)
1 − kF ′ (x∗ )−1 [F ′ (x0 ) − F ′ (x∗ )]k
≤ 2kF ′ (x∗ )−1 k
≤ 2β.
Επομένως το x1 είναι καλά ορισμένο και μπορούμε να γράψουμε
x1 − x∗ = x0 − x∗ − F ′ (x0 )−1 F (x0 ) (7.35)
= x0 − x∗ − F ′ (x0 )−1 [F (x0 ) − F (x∗ )]
= F ′ (x0 )−1 [F (x∗ ) − F (x0 ) − F ′ (x0 )(x∗ − x0 )] .
Τώρα από το Λήμμα 7.4 έχουμε
Z 1
F (x∗ ) − F (x0 ) = F ′ (x0 + t(x∗ − x0 ))(x∗ − x0 ) dt
0
οπότε
F (x∗ ) − F (x0 ) − F ′ (x0 )(x∗ − x0 ) =
Z 1
[F ′ (x0 + t(x∗ − x0 )) − F ′ (x0 )] (x∗ − x0 ) dt.
0
′
Χρησιμοποιώντας τώρα τη συνέχεια Lipschitz της F στο x∗ , το Λήμμα 7.5 και το Λήμμα 7.6 έχουμε
γ
kF (x∗ ) − F (x0 ) − F ′ (x0 )(x∗ − x0 )k ≤ kx∗ − x0 k2 . (7.36)
2
Χρησιμοποιώντας την (7.36) στην (7.35) και την (7.34) έχουμε
γ
kx1 − x∗ k ≤ 2β · kx∗ − x0 k2 = βγ kx∗ − x0 k2 ,
2
το οποίο αποδεικνύει την (7.32). Αφού kx∗ − x0 k ≤ 1/(2βγ) έχουμε από την προηγούμενη σχέση ότι
kx0 − x∗ k ≤ 21 kx0 − x∗ k δηλαδή τη σχέση xk+1 ∈ N (x∗ , ϵ) για k = 0. Η απόδειξη του επαγωγικού
βήματος γίνεται με ανάλογο τρόπο.
7.2 Το θεώρημα του Kantorovich
Το θεώρημα του Kantorovich⁵ παρέχει μια ακόμα απόδειξη της σύγκλισης της μεθόδου Newton-Raphson
η οποία δεν υποθέτει εκ των προτέρων την ύπαρξη λύσης της εξίσωσης F (x) = 0. Ακόμα το θεώρημα του
Kantorovich ισχύει για γενικότερες απεικονίσεις μεταξύ χώρων Banach. Για τους λόγους αυτούς χρησιμεύει
στην απόδειξη θεωρημάτων ύπαρξης και μοναδικότητας λύσεων συστημάτων μη γραμμικών εξισώσεων αλλά
και διαφορικών και ολοκληρωτικών εξισώσεων.
Θα υποθέσουμε ότι F : Rn → Rn είναι παραγωγίσιμη σ’ ένα κυρτό σύνολο D ⊂ Rn και F ′ ∈ Lipγ (D).
Έστω ακόμα ότι o πίνακας F ′ (x0 ) είναι αντιστρέψιμος σε κάποιο σημείο x0 ∈ D και ότι για κάποιες σταθερές
β, ζ έχουμε ότι
kF ′ (x0 )−1 k ≤ β, (7.37)

kF ′ (x0 )−1 F (x0 )k ≤ ζ, (7.38)
όπου a = βγζ < 1/2. Γράφουμε

1 1
t∗ = 1 − (1 − 2a)1/2 , t∗∗ = 1 + (1 − 2a)1/2 , (7.39)
βγ βγ
και υποθέτουμε ότι S(x0 , t∗ ) ⊂ D. Θα δείξουμε ότι οι όροι της ακολουθίας Newton-Raphson
xk+1 = xk − F ′ (xk )−1 F (xk ), k = 0, 1, 2, . . . (7.40)
είναι καλά ορισμένοι, παραμένουν μέσα στην κλειστή σφαίρα S(x0 , t∗ ) και συγκλίνουν για k → ∞ στη
μοναδική λύση x∗ της F (x) = 0 στο σύνολο S(x0 , t∗ ). Επιπλέον έχουμε την εκτίμηση του σφάλματος
k
(2a)2
kxk − x∗ k ≤ k , k = 0, 1, 2, . . . . (7.41)
2 βγ
Δείχνουμε καταρχάς ότι οι όροι της ακολουθίας Newton-Raphson (7.40) είναι καλά ορισμένοι και παρα-
μένουν μέσα στην κλειστή σφαίρα S(x0 , t∗ ). Θέτουμε D0 = S(x0 , (βγ)−1 ) ∩ D. Για x ∈ D0 έχουμε,
χρησιμοποιώντας το γεγονός ότι F ′ ∈ Lipγ (D), ότι
1
kF ′ (x) − F ′ (x0 )k ≤ γkx − x0 k < .
β
Η (7.37) δίνει τότε
kF ′ (x0 )−1 k kF ′ (x) − F ′ (x0 )k < 1, x ∈ D0 .
Από το Λήμμα 1.12 συμπεραίνουμε ότι ο F ′ (x) για x ∈ D0 είναι αντιστρέψιμος και
kF ′ (x0 )−1 k
kF ′ (x)−1 k ≤ (7.42)
1 − kF ′ (x0 )−1 k kF ′ (x) − F ′ (x0 )k
β
≤ .
1 − βγkx − x0 k
Τώρα επειδή a < 1/2, από την (7.39) έχουμε ότι t∗ < (βγ)−1 δηλαδή ότι S(x0 , t∗ ) ⊂ D0 έτσι ώστε η
απεικόνιση επανάληψης της μεθόδου Newton-Raphson
G(x) = x − F ′ (x)−1 F (x), (7.43)

⁵Leonid Kantorovich (1912-1986). Ρώσος μαθηματικός και οικονομολόγος, με σημαντικές συνεισφορές στη θεωρία βέλ-
τιστου ελέγχου και στον γραμμικό προγραμματισμό.
να είναι καλά ορισμένη στην κλειστή σφαίρα N (x0 , t∗ ).

Κάνουμε τώρα μια εκτίμηση για x, G(x) ∈ N (x0 , t∗ ) της ποσότητας kG2 (x) − G(x)k όπου G2 (x) =
G(G(x)). Από την (7.43) έχουμε
G2 (x) − G(x) = F ′ (G(x))−1 F (G(x))

= F ′ (G(x))−1 [F (G(x)) − F (x) − F ′ (x)(G(x) − x)] ,
συνεπώς με χρήση της (7.42) έχουμε
β kF (G(x)) − F (x) − F ′ (x)(G(x) − x)k

kG2 (x) − G(x)k ≤ . (7.44)
1 − βγkx − x0 k
Επειδή F ′ ∈ Lipγ (D), έχουμε χρησιμοποιώντας το Λήμμα 7.6 για x, G(x) ∈ N (x0 , t∗ ) ότι
βγkG(x) − xk2
kG2 (x) − G(x)k ≤ . (7.45)
2(1 − βγkG(x) − x0 k)
Ορίζουμε τώρα την ακολουθία πραγματικών αριθμών {tk }, k ≥ 0, από τις σχέσεις t0 = 0 και
βγt2k /2 − tk + ζ
tk+1 = tk − , k ≥ 0. (7.46)
βγtk − 1
Αν
βγ 2
p(t) = t − t + ζ, (7.47)
2
τότε, επειδή a = βγζ < 1/2, το p(t) έχει ρίζες τους αριθμούς t∗ και t∗∗ της σχέσης (7.39). Επιπλέον η
(7.46) δεν είναι τίποτε άλλο από την ακολουθία της μεθόδου Newton-Raphson για την προσέγγιση της ρίζας
t∗ της εξίσωσης p(t) = 0 με αρχική τιμή t0 = 0. Η κυρτότητα της p(t) δίνει τώρα ότι 0 < tk < tk+1 για
k ≥ 1, και ότι tk → t∗ καθώς k → ∞. Επομένως η ακολουθία πραγματικών αριθμών {tk } είναι καλά
ορισμένη, μονοτονικά αύξουσα και συγκλίνει στον αριθμό t∗ .
Δείχνουμε τώρα ότι οι όροι {xk }, k ≥ 0, της ακολουθίας (7.40) της μεθόδου Newton-Raphson είναι
καλά ορισμένοι, ανήκουν στην κλειστή σφαίρα S(x0 , t∗ ) και ικανοποιούν
kxk − xk−1 k ≤ tk − tk−1 , k ≥ 1. (7.48)
Είδαμε ήδη, επειδή η G(x) είναι καλά ορισμένη στη S(x0 , t∗ ), ότι το x1 = G(x0 ) υπάρχει. Επιπλέον από
τις σχέσεις (7.40), (7.38) και (7.46) έχουμε
kx1 − x0 k = kF ′ (x0 )−1 F (x0 )k ≤ ζ = t1 = t1 − t0 .
Συνεπώς ισχύει η (7.48) για k = 1. Επιπλέον, επειδή ζ = t1 < t∗ έχουμε ότι x1 ∈ S(x0 , t∗ ). Υποθέτουμε
τώρα ότι για κάποιο k ≥ 1 τα x0 , . . . , xk είναι στην S(x0 , t∗ ) και ικανοποιούν τις σχέσεις
kxi − xi−1 k ≤ ti − ti−1 , 1 ≤ i ≤ k. (7.49)
Επειδή η G είναι καλά ορισμένη στην S(x0 , t∗ ), το xk+1 = G(xk ) υπάρχει. Επιπλέον, επειδή από την
επαγωγική υπόθεση (7.49) έχουμε
X
k X
k
kxk − x0 k ≤ kxi − xi−1 k ≤ (ti − ti−1 ) = tk , (7.50)
i=1 i=1
συμπεραίνουμε από τις (7.45) και (7.49) ότι
kxk+1 − xk k = kG(xk ) − G(xk−1 )k (7.51)

= kG2 (xk−1 − G(xk−1 )k
βγkxk − xk−1 k2
≤
2(1 − βγkxk − x0 k)
βγ(tk − tk−1 )2
≤
2(1 − βγtk )
= tk+1 − tk .
Συνεπώς ισχύει η (7.49) για i = k + 1. Ακόμα
kxk+1 − x0 k ≤ kxk − x0 k + kxk+1 − xk k

≤ tk + tk+1 − tk = tk+1 < t∗ .
Συμπεραίνουμε λοιπόν ότι xk+1 ∈ S(x0 , t∗ ). Τελικά έχουμε δείξει ότι όλοι οι όροι της ακολουθίας {xk }
υπάρχουν και παραμένουν στην S(x0 , t∗ ). Επιπλέον ικανοποιούν για i ≤ j την (7.49).
Πάλι από την (7.49) έχουμε
kxk+m − xk k ≤ kxk+m − xk+m−1 k + · · · + kxk+1 − xk k (7.52)

≤ tk+m − tk ,
και, επειδή tk → t∗ καθώς k → ∞, συμπεραίνουμε ότι η {xk }, k ≥ 0, είναι Cauchy στην S(x0 , t∗ ).
Συνεπώς υπάρχει x∗ ∈ S(x0 , t∗ ) τέτοιο ώστε xk → x∗ καθώς k → ∞.
Δείχνουμε τώρα ότι το x∗ είναι όντως λύση του συστήματος F (x) = 0. Καταρχάς, η ύπαρξη της F ′ στο
D0 συνεπάγεται τη συνέχεια της F στο D0 . Ακόμα, χρησιμοποιώντας το γεγονός ότι F ′ ∈ Lip(D0 ) και την
(7.50) έχουμε
kF (xk )k = kF ′ (xk )(xk+1 − xk )k

≤ kF ′ (xk )k kxk+1 − xk k
≤ (kF ′ (xk ) − F ′ (x0 )k + kF ′ (x0 )k)kxk+1 − xk k
≤ (γ kxk − x0 k + kF ′ (x0 )k)kxk+1 − xk k
≤ (γt∗ + kF ′ (x0 )k)kxk+1 − xk k,
οπότε F (x∗ ) = limk→∞ kF (xk )k = 0.

Για τη μοναδικότητα της λύσης x∗ υποθέτουμε ότι υπάρχει και άλλη λύση y∗ ∈ S(x0 , t∗ ) . Τότε,
ky∗ − xk k ≤ t∗ − tk , k ≥ 0. (7.53)
Πράγματι η (7.53) ισχύει για k = 0 γιατί kya st − x0 k ≤ t∗ = t∗ − t0 . Υποθέτουμε ότι η (7.53) ισχύει
για 0 ≤ k ≤ i. Τότε επειδή y∗ = G(y∗ ) = G2 (y∗ ) έχουμε από τις (7.45) και (7.51) ότι
ky∗ − xi+1 k = ky∗ − G(xi )k

= ky∗ − xi + F ′ (xi )−1 F (xi )k
= kF ′ (xi )−1 (F (xi ) − F (y∗ ) − F ′ (xi )(xi − y∗ ))k
βγky∗ − xi k2
≤
2(1 − βγkxi − x0 k)
βγky∗ − xi k2
≤ .
2(1 − βγti )
Άρα η (7.53) δίνει ότι

βγ(t∗ − ti )2
ky∗ − xi+1 k ≤ = t∗ − ti+1 . (7.54)
2(1 − βγti )
Επομένως η (7.53) ισχύει για k = i + 1. Επειδή tk → t∗ καθώς k → ∞, έχουμε ότι y∗ = limk→∞ xk =
x∗ , δηλαδή ότι η λύση x∗ είναι η μοναδική λύση του συστήματος F (x) = 0 στην S(x0 , t∗ ).
Δείχνουμε τέλος την εκτίμηση (7.41) για το σφάλμα της μεθόδου. Ξεκινάμε με τη σχέση
tk+1 − yk ≤ ζ2−k , k ≥ 0. (7.55)
Πράγματι, η (7.55) ισχύει για k = 0 επειδή t1 − t0 = t1 = ζ. Υποθέτοντας ότι ισχύει για 0 ≤ k ≤ i,
έχουμε από την (7.51) και την επαγωγική υπόθεση ότι
βγ(ti+1 − ti )2
ti+2 − ti+1 = (7.56)
2(1 − βγti+1 )
βγζ 2 ζ −2i
≤ .
2(1 − βγti+1 )
Πάλι από την επαγωγική υπόθεση έχουμε
X
i X
i
ti+1 = (tk+1 − tk ) ≤ ζ 2−k = 2ζ(1 − 2−(i+1) ).
k=0 k=0
Άρα στην (7.56), λόγω του γεγονότος ότι a = βγζ < 1/2, έχουμε
ati+1
1 − βγti+1 = 1 − ≥ 1 − 2a(1 − 2−(i+1) ) ≥ 2−(i+1) . (7.57)
ζ
Συνεπώς, ti+2 − ti+1 ≤ βγζ 2 2−i = ζa2−i ≤ ζ2−(i+1) . Αυτό δείχνει ότι ισχύει η (7.55) για κάθε k ≥ 0,
πράγμα που συνεπάγεται επίσης την ισχύ της (7.57) για κάθε i ≥ 0. Αποδεικνύουμε τώρα ότι
(2a)2
t∗ − tk ≤ , k ≥ 0. (7.58)
βγ2k
Πράγματι, για k = 0 έχουμε t∗ − t0 = t∗ = (1 − (1 − 2a)1/2 )/(βγ) ≤ 2a/(βγ), γιατί 0 ≤ a < 1/2.
Αφού η (7.56) ισχύει για 0 ≤ k ≤ i, έχουμε από την (7.53), την (7.57) και την επαγωγική υπόθεση ότι
βγ(t∗ − ti )2
i+1 i+1
βγ(2a)2 2i−1 (2a)2
t∗ − ti+1 = ≤ = .
2(1 − βγti ) β 2 γ 2 22i βγ2i+1
Αποδείξαμε δηλαδή την (7.58). Τέλος η (7.52) με m → ∞ δίνει kx∗ − xk k ≤ t∗ − tk . Συνεπώς από την
(7.58) έπεται το ζητούμενο φράγμα (7.41).
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε πολλά βιβλία Αριθμητικής Ανάλυσης. Πα-
ραθέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμβουλευτεί: [1], [3], [4], [6], [7], [8].
7.3.1 Δείξτε ότι το σύστημα

−5x1 + 2 sin x1 + cos x2 = 0,
4 cos x1 + 2 sin x2 − 5x2 = 0,
έχει μοναδική λύση η οποία μπορεί να βρεθεί με μια επανάληψη σταθερού σημείου. Εξετάστε επίσης τη
σύγκλιση της μεθόδου Newton-Raphson.
7.3.2 Έστω f (x) = x + x1+a , όπου 0 < a < 1. Δείξτε ότι το σημείο x∗ = 0 είναι σημείο έλξης της
ακολουθίας της μεθόδου Newton-Raphson, αλλά ότι η σύγκλιση δεν είναι τετραγωνική.
7.3.3 Μια προφανής λύση του συστήματος εξισώσεων
2(x1 + x2 )2 + (x1 − x2 )2 − 8 = 0,
5x21 + (x2 − 3)2 − 9 = 0,
είναι η x∗ = (1, 1)T . Εκτελέστε μερικά βήματα της μεθόδου Newton-Raphson με αρχική τιμή x0 =
(2, 0)T .
7.3.4 Εκτελέστε δύο βήματα της μεθόδου Newton-Raphson για το σύστημα F (x1 , x2 ) = (ex1 −1, ex2 −
1) = 0, ξεκινώντας με x0 = (−10, −10)T . Τι γίνεται στο τρίτο βήμα της μεθόδου;
7.3.5 Έστω ότι η F : R2 → R2 ορίζεται από τις f1 (x, y) = x2 − 2x + y και f2 (x, y) = 2x − y 2 − 1.

Η F έχει την προφανή ρίζα (x∗ , y∗ )T = (1, 1)T . Θεωρήστε το επαναληπτικό σχήμα

xn+1 xn 1 1/2 f1 (xn , yn )
=−
yn+1 yn 1 0 f2 (xn , yn )
Αποδείξτε ότι η ακολουθία προσεγγίσεων που παράγει αυτή η επαναληπτική διαδικασία συγκλίνει στη
ρίζα (1, 1)T . Ποια είναι η ταχύτητα σύγκλισης; Ποια θα ήταν η μέθοδος Newton-Raphson για τη
λύση του συστήματος F (x1 , x2 ) = 0;
7.3.6 Θεωρήστε την απεικόνιση f (x) = kF (x)k22 , όπου F : Rn → Rn και το διάνυσμα y k = xk+1 −xk ,
όπου (xk ) είναι η ακολουθία που παράγεται από τη μέθοδο του Νευτωνα για το σύστημα F (x) = 0.
Υποθέτουμε ότι η ακολουθία (xk ) είναι καλά ορισμένη. Δείξτε ότι το f (x) ελαττώνεται τοπικά κατά
μήκος της ακτίνας με αρχή xk και κατεύθυνση y k .
[1] K. Atkinson και W. Han. Theoretical Numerical Analysis. A Functional Analysis Framework. English.
3rd ed. Τόμ. 39. Texts Appl. Math. Berlin: Springer, 2009. isbn: 978-1-4419-0457-7. doi: 10 .
1007/978‐1‐4419‐0458‐4.
[2] J. E. Dennis και R. B. Schnabel. Numerical Methods for Unconstrained Optimization and Nonlinear
Equations. English. Τόμ. 16. Philadelphia, PA: SIAM, 1996, σσ. xv + 378.
[3] W. Gautschi. Numerical Analysis. English. 2nd ed. Boston, MA: Birkhäuser, 2012. isbn: 978-0-
8176-8258-3. doi: 10.1007/978‐0‐8176‐8259‐0.
[4] C. T. Kelley. “Numerical Methods for Nonlinear Equations”. Στο: Acta Numerica 27 (2018), σσ. 207–
287. issn: 0962-4929. doi: 10.1017/S0962492917000113.
[5] J. M. Ortega και W. C. Rheinboldt. Iterative Solution of Nonlinear Equations in Several Variables. Aca-
demic Press, 1970.
[6] L. R. Scott. Numerical Analysis. English. Princeton, NJ: Princeton University Press, 2011. isbn:
978-0-691-14686-7.
[8] Β. Α. Δουγαλής. Διδακτικές σημειώσεις για το μεταπτυχιακό μάθημα 350 Αριθμητική Ανάλυση. Ηρά-
κλειο Κρήτης: Ινστιτούτο Υπολογιστικών Μαθηματικών, Ερευνητικό Κέντρο Κρήτης, 1987.
Μέρος II
ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΣΥΝΗΘΩΝ

ΔΙΑΦΟΡΙΚΩΝ ΕΞΙΣΩΣΕΩΝ
ΚΕΦΑΛΑΙΟ 8
ΠΡΟΒΛΗΜΑΤΑ ΑΡΧΙΚΩΝ ΤΙΜΩΝ

Περίληψη
Στο κεφάλαιο αυτό παρουσιάζουμε το πρόβλημα αρχικών τιμών για συστήματα πρώτης τάξης συνήθων δια-
φορικών εξισώσεων της μορφής: Ζητείται y : [a, b] → Rn τέτοια ώστε
y ′ (t) = f (t, y(t)), a ≤ t ≤ b,

y(a) = y0 .
όπου f : [a, b] × Rn → Rn μια συνεχής συνάρτηση. Υποθέτοντας συνθήκες για τη συνάρτηση f μπορούμε
να εξασφαλίσουμε την ύπαρξη (ή και τη μοναδικότητα) της λύσης.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Συνήθων Διαφορικών Εξισώσεων και Απειροστικού Λογισμού σε
πολλές διαστάσεις. Διανυσματικοί χώροι με νόρμα.
8.1 Το Πρόβλημα Αρχικών Τιμών
Οι διαφορικές εξισώσεις συνήθως χαρακτηρίζονται ως συνήθεις ή μερικές διαφορικές εξισώσεις ανάλογα με

τον αριθμό των ανεξάρτητων μεταβλητών ως προς τις οποίες παράγωγοι εμφανίζονται στην εξίσωση. Ένας
άλλος χαρακτηρισμός των διαφορικών εξισώσεων είναι αν σχετίζονται με προβλήματα αρχικών ή συνοριακών
τιμών. Στα επόμενα κεφάλαια θα ασχοληθούμε με την αριθμητική επίλυση προβλημάτων αρχικών τιμών για
συνήθεις διαφορικές εξισώσεις.
Μελετούμε το λεγόμενο πρόβλημα Cauchy ή πρόβλημα αρχικών τιμών για συστήματα πρώτης τάξης συνή-

122 ΠΡΟΒΛΗΜΑΤΑ ΑΡΧΙΚΩΝ ΤΙΜΩΝ
θων διαφορικών εξισώσεων

y ′ (t) = f (t, y(t)), a ≤ t ≤ b,
(8.1)
y(a) = y0 .
Εδώ η f είναι μια συνεχής συνάρτηση ορισμένη στο [a, b] × Rn . Μπορεί να αποδειχθεί ότι, κάτω από προϋ-
ποθέσεις, το πρόβλημα αρχικών τιμών (8.1) έχει μοναδική λύση στο διάστημα [a, b].
Θεώρημα 8.1 (Picard-Lindelöf). Θεωρούμε το πρόβλημα αρχικών τιμών (8.1) όπου f : [a, b] × Rn → Rn
είναι συνεχής συνάρτηση. Υποθέτουμε ότι η f (t, y) ικανοποιεί μια συνθήκη Lipschitz ως προς y ομοιόμορφα ως
προς t ∈ [a, b], δηλαδή για κάποια νόρμα k · k του Rn και σταθερά L ≥ 0 ισχύει
kf (t, u) − f (t, v)k ≤ Lku − vk, ∀u, v ∈ Rn , t ∈ [a, b]. (8.2)
Τότε για κάθε u0 ∈ Rn το πρόβλημα (8.1) έχει μοναδική λύση, δηλαδή υπάρχει μοναδική συνάρτηση y :
[a, b] → Rn παραγωγίσιμη στο [a, b] που ικανοποιεί το σύστημα y ′ (t) = f (t, y(t)) για a ≤ t ≤ b και
την αρχική συνθήκη y(a) = y0 .
Η απόδειξη του παραπάνω θεωρήματος μπορεί να βρεθεί σε πολλά βιβλία συνήθων διαφορικών εξισώσεων,
όπως π.χ. [1], [2]. Εδώ παραθέτουμε μια απόδειξη για την περίπτωση m = 1, η οποία βασίζεται στο θεώρημα
του σταθερού σημείου του Banach. Πρώτα μερικές παρατηρήσεις:
Παρατήρηση 8.1. Η παράγωγος y ′ (t) νοείται ως πλευρική παράγωγος στα άκρα a και b. Μια ικανή συν-
θήκη για την ισχύ της (8.2) είναι να είναι οι παράγωγοι ∂fi /∂yj , 1 ≤ i, j ≤ m συνεχείς και φραγμένες
συναρτήσεις για (t, y) ∈ [a, b] × Rn . Τότε από το θεώρημα μέσης τιμής έχουμε ότι για κάθε i, 1 ≤ i ≤ m,
u, v ∈ Rn υπάρχει ξ = ξ(i, t, u, v) ∈ Rn στο ευθύγραμμο τμήμα [u, v] τέτοιο ώστε
Xm
∂fi
fi (t, u) − fi (t, v) = (t, ξ)(uj − vj ), 1 ≤ i ≤ m.
j=1
∂yj
Έπεται ότι ισχύει η (8.2) για κάποια σταθερά L = L(M, k · k) όπου
∂fi
M = max sup <∞
1≤i,j≤m [a,b]×Rn ∂yj
Παρατήρηση 8.2. Έστω m = 1. Ας υποθέσουμε ότι στο διάστημα [a, b] υπάρχει μια συνεχώς παραγωγί-
σιμη συνάρτηση u τέτοια ώστε y ′ (t) = f (t, y(t)) και y(a) = y0 . Τότε από το θεμελιώδες θεώρημα του
απειροστικού λογισμού έχουμε
Z t Z t
′
y(t) = y(a) + y (s) ds = y0 + f (s, y(s)) ds, (8.3)
a a
για t ∈ [a, b]. Αντίστροφα, αν υπάρχει συνεχής συνάρτηση y η οποία ικανοποιεί την παραπάνω ολοκλη-
ρωτική εξίσωση, τότε αναγκαστικά y(a) = y0 και η απεικόνιση s 7→ f (t, y(s)) είναι συνεχής. Πάλι από
το θεμελιώδες θεώρημα του απειροστικού λογισμού, το δεξιό μέλος της ολοκληρωτικής εξίσωσης ορίζει μια
παραγωγίσιμη συνάρτηση για την οποία y(t) = f (t, y(t)).
Παρατήρηση 8.3. Η συνθήκη Lipschitz (8.2) στο Θεώρημαp Picard-Lindelöf είναι απαραίτητη για τη μο-
ναδικότητα της λύσης. Πράγματι, αν m = 1 και f (t, y) = |y|, εύκολα βλέπουμε ότι η f είναι συνεχής
συνάρτηση στο R2 αλλά δεν ικανοποιεί κάποια συνθήκη Lipschitz ως προς y σε οποιοδήποτε παραλληλό-
γραμμο το οποίο περιέχει το σημείο (0, 0). Αν θεωρήσουμε το πρόβλημα αρχικών τιμών
p
y ′ (t) = |y(t)|, y(0) = 0,
τότε καθεμία από τις συναρτήσεις

(
t2 /4,
αν t > 0,
u1 (t) ≡ 0, u2 (t) =
0, διαφορετικά,
( (
0, αν t > 0, t2 /4, αν t > 0,
u3 (t) = u4 (t) =
t2 /4, διαφορετικά, −t /4, διαφορετικά,
2
είναι παραγωγίσιμες στο R και λύνουν το δεδομένο πρόβλημα αρχικών τιμών.

Παρατήρηση 8.4. Οι υποθέσεις του Θεωρήματος Picard-Lindelöf είναι αρκετά περιοριστικές και ιδιαίτερα
η (8.2). Η (8.2) είναι γνωστή και ως «ολική» συνθήκη Lipschitz. Ονομάζεται ολική, γιατί ισχύει για όλα τα
u, v ∈ Rn και εξασφαλίζει την ύπαρξη της λύσης σε όλο το διάστημα [a, b]. Μια τοπική συνθήκη Lipschitz,
δηλαδή μια συνθήκη της μορφής (8.2) για (t, y) ∈ [a, b] × S(u0 , r) και η συνέχεια της f στο [a, b] ×
S(y0 , r) εγγυώνται ύπαρξη-μοναδικότητα της λύσης μόνο τοπικά, δηλαδή σ’ ένα διάστημα [a, a+δ), δ > 0.
Ορισμός 8.1. Έστω X χώρος με νόρμα. Λέμε ότι η απεικόνιση T : X → X είναι συστολή αν υπάρχει
σταθερά 0 < L < 1 τέτοια ώστε
kT x − T ykX ≤ Lkx − ykX , ∀x, y ∈ X.
Θεώρημα 8.2 (Σταθερού σημείου του Banach). Έστω X χώρος Banach και T : X → X συστολή με σταθερά
L. Τότε η T έχει μοναδικό σταθερό σημείο x∗ . Επιπλέον, αν x0 ∈ X, η ακολουθία {xk } όπου xk+1 = T xk ,
k ≥ 0 συγκλίνει στο x∗ .
Απόδειξη. Επειδή T : X → X, η ακολουθία {xk } είναι καλά ορισμένη. Αφού η T είναι συστολή, έχουμε
kxk+1 − xk kX = kT xk − T xk−1 kX
≤ L kxk − xk−1 kX
···
≤ Lk kx1 − x0 kX .
Τώρα για κάθε m ≥ 1 έχουμε
kxk+m − xk kX ≤ kxk+m − xk+m−1 kX + · · · + kxk+1 − xk kX

Xm
≤ Lk+j−1 kx1 − x0 kX
j=1
≤ Lk (1 + L + · · · + Lm−1 )kx1 − x0 kX
Lk
≤ kx1 − x0 kX .
1−L
Επειδή L ∈ (0, 1) αυτό δείχνει ότι η ακολουθία {xk } είναι Cauchy και συνεπώς συγκλίνει σε κάποιο x∗ ∈
X. Αφού η T είναι συστολή είναι επίσης συνεχής, συνεπώς

x∗ = lim xk+1 = lim T xk = T lim xk = T x∗ ,
k→∞ k→∞ k→∞
δηλαδή το x∗ είναι σταθερό σημείο. Αν x∗∗ ήταν ένα ακόμα σταθερό σημείο, η ιδιότητα συστολής της T θα
έδινε
kx∗ − x∗∗ kX = kT x∗ − T x∗∗ kX ≤ Lkx∗ − x∗∗ kX ,
δηλαδή (1 − L)kx∗ − x∗∗ kx ≤ 0. Αναγκαστικά x∗ = x∗∗ .
Απόδειξη του Θεωρήματος Picard–Lindelöf. Λαμβάνοντας υπ’ όψιν τις προηγούμενες παρατηρήσεις είναι αρ-
κετό να δείξουμε ότι υπάρχει συνεχής συνάρτηση στο διάστημα I = [a, b] έτσι ώστε η ολοκληρωτική εξίσωση
Z t
u(t) = u0 + f (s, u(s)) ds (8.4)
a
να έχει μοναδική λύση. Έστω X το σύνολο των συνεχών συναρτήσεων t 7→ u(t) ορισμένες στο I. Aν u ∈ X,
θεωρούμε την απεικόνιση Z t
T u(t) = u0 + f (s, u(s)) ds.
a
Προφανώς T u είναι συνεχής συνάρτηση στο I. Δείχνουμε ότι T : X → X είναι συστολή. Ορίζουμε τη
μετρική
Z b
d(g1 , g2 ) = e−2L|t−a| |g1 (t) − g2 (t)|,
a
και δείχνουμε ότι
1
d(T u1 , T u2 ) ≤ d(u1 , u2 ). (8.5)
2
Για να δείξουμε την (8.5) παρατηρούμε ότι για t ≥ a
Z t
T g2 (t) − T g1 (t) = [f (s, g2 (s)) − f (s, g1 (s))] ds,
a
έτσι ώστε
Z t
|T g2 (t) − T g1 (t)| ≤ L |g2 (s) − g1 (s)| ds
Z a
t
=L e2L(s−a) e−2L(s−a) |g2 (s) − g1 (s)| ds
Za t
≤L e2L(s−a) d(g1 , g2 ) ds
a
e2L(t−a) − 1
= L d(g1 , g2 )
2L
1 2L|t−a|
≤ e d(g1 , g2 ).
2
Συνεπώς
1
e−2L|t−a| |T g2 (t) − T g1 (t)| ≤ d(g1 , g2 ).
2
Από τη σχέση αυτή προκύπτει η (8.5) και αυτό ολοκληρώνει την απόδειξη.
Υπάρχουν και τοπικές μορφές του Θεωρήματος Picard-Lindelöf, όπως το ακόλουθο:
Θεώρημα 8.3. Υποθέστε ότι η f είναι συνεχής στο σύνολο
R = {(t, u) ∈ Rm+1 : |t − a| ≤ A, ku − u0 k ≤ B},
και M = max(t,u)∈R kf (t, u)k. Υποθέτουμε ακόμα ότι η f ικανοποιεί τη συνθήκη Lipschitz
kf (t, u) − f (t, v)k ≤ Lku − vk, ∀(t, u), (t, v) ∈ R. (8.6)
Τότε υπάρχει μοναδική λύση του προβλήματος αρχικών τιμών (8.1) τοπικά, δηλαδή υπάρχει μοναδική συνάρτηση
u(t) ορισμένη για |t − a| ≤ δ = min{A, B/M } που ικανοποιεί την u′ = f (t, u) για |t − a| ≤ δ και την
αρχική συνθήκη u(a) = u0 .
R
1
1 + tu = 0
−2 t
Σχήμα 8.1: Εφαρμογή του θεωρήματος Picard-Lindelöf στο πρόβλημα αρχικών τιμών του Παραδείγματος
8.1.
Σημειώνουμε ότι η συνθήκη συνέχειας της f εγγυάται μόνη της την ύπαρξη αλλά όχι τη μοναδικότητα
λύσεων του προβλήματος για |t − a| ≤ δ = min{A, B/M }. Αυτό είναι το λεγόμενο Θεώρημα του Peano .
Για μοναδικότητα χρειαζόμαστε κάτι παραπάνω από τη συνέχεια της f . Η συνθήκη Lipschitz (8.6) είναι πολύ
κοντά στο να είναι αναγκαία για μοναδικότητα. Συγκεκριμένα μπορεί να αποδειχθεί ότι αν ισχύει η
kf (t, u) − f (t, v)k ≤ LΦ(ku − vk), ∀(t, u), (t, v) ∈ R,
όπου Φ(u) μη αρνητική, συνεχής, αύξουσα συνάρτηση ορισμένη στο [0, 2B] τέτοια ώστε Φ(0) = 0 και
Z 2B
du
= +∞
0 Φ(u)
τότε υπάρχει μοναδική συνάρτηση u(t) ορισμένη για |t − a| ≤ δ = min{A, B/M } που ικανοποιεί την
u′ = f (t, u) για |t − a| ≤ δ και την αρχική συνθήκη u(a) = u0 .
Παράδειγμα 8.1. Θεωρούμε το πρόβλημα αρχικών τιμών
eu −1
2
′
u (t) = , u(−2) = 1. (8.7)
1 − t 2 u2
Ακολουθώντας τον συμβολισμό του θεωρήματος Picard-Lindelöf έχουμε a = −2, u0 = 1 και f (t, u) =
eu −1 (1 − t2 u2 )−1 . Θα βρούμε ένα διάστημα της μορφής [a, a + δ] στο οποίο το πρόβλημα αυτό έχει μο-
2
ναδική λύση. Επιλέγουμε
R = {(t, u) : −2 ≤ t ≤ −3/2, 3/4 ≤ u ≤ 5/4},
έτσι ώστε να αποφύγουμε σημεία για τα οποία 1 + tu = 0μ δείτε το Σχήμα 8.1. Τότε, για (t, u) ∈ R έχουμε
t2 ≥ 9/4 και u2 ≥ 9/16 έτσι ώστε t2 u2 ≥ 81/64 και |1 − t2 u2 | ≥ 81/64 − 1 = 17/64 > 1/4. Ακόμα
eu −1 ≤ e25/16−1 = e9/16 < 3 έτσι ώστε
2
|f (t, u)| ≤ 12, για (t, u) ∈ R.
Από τη σχέση
Z t
u(t) = u0 + f (s, u(s)) ds
a
έχουμε
Z t
|u(t) − u0 | = f (s, u(s)) ds ≤ 12|a − t| ≤ 12δ.
a
Μπορούμε τότε να έχουμε |u(t) − u0 | < 1/4 αν διαλέξουμε δ < 1/48. Για να επαληθεύσουμε τη συνθήκη
Lipschitz παρατηρούμε ότι
eu −1 eu −1
2 2
∂f 2
(t, u) = 2u + 2t u ,
∂u 1 − t 2 u2 (1 − t2 u2 )2
οπότε χρησιμοποιώντας τα προηγούμενα φράγματα έχουμε
2
∂f 5 5
(t, u) ≤ · 12 + · 3 · 42 = 780.
∂u 2 2
Μπορούμε επομένως να πάρουμε L = 780 και να εξασφαλίσουμε ότι το πρόβλημα αρχικών τιμών (8.7) έχει
μοναδική λύση στο διάστημα [−2, −2 + δ] με δ = 1/48.
Μονόπλευρη Lipschitz.
Λέμε ότι μια συνάρτηση f : [a, b] × Rn → Rn ικανοποιεί τη μονόπλευρη συνθήκη του Lipschitz ως
προς u ομοιόμορφα ως προς t ∈ [a, b], αν ισχύει
(f (t, u) − f (t, v), u − v) ≤ 0, ∀u, v ∈ Rn , t ∈ [a, b], (8.8)
όπου (·, ·) είναι το εσωτερικό γινόμενο στον Rn . Θα δούμε στη συνέχεια ότι η συνθήκη (8.8) εξασφαλίζει τη
μοναδικότητα της λύσης.
Παράδειγμα 8.2. Ας θεωρήσουμε το πρόβλημα αρχικών τιμών (8.1) με f (t, y) = A(t)y + g(t) όπου
A(t) ∈ Rn×n , t ∈ [a, b] είναι μη θετικά ορισμένοι πίνακες, δηλαδή
(A(t)y, y) ≤ 0, ∀t ∈ [a, b], ∀y ∈ Rn . (8.9)
Εύκολα μπορούμε να δούμε ότι η f ικανοποιεί τη μόνοπλευρη συνθήκη του Lipschitz (8.8). Ένα παράδειγμα
πίνακα A που δεν είναι θετικά ορισμένος είναι

α −β
A= (8.10)
β α
με α, β ∈ R και α αρνητικό.
Για να αποφύγουμε τεχνικές δυσκολίες θα υποθέσουμε από δω κι εμπρός ότι ισχύουν οι υποθέσεις του Θεω-
ρήματος Picard-Lindelöf έτσι ώστε το πρόβλημα αρχικών τιμών (8.1) να έχει μοναδική λύση u(t) με συνεχή
παράγωγο στο [a, b]. Συνήθως θα υποθέτουμε επιπλέον ότι η λύση είναι αρκετά ομαλή, δηλαδή έχει έναν
αρκετά μεγάλο αριθμό συνεχών παραγώγων u(i) .
8.2 Ευστάθεια
Υποθέτουμε ότι η συνάρτηση f είναι συνεχής και θα εξετάσουμε της ιδιότητες ευστάθειας του προβήματος
αρχικών τιμών (8.1).
Για δεδομένες αρχικές τιμές y0 , z0 ∈ Rn θεωρούμε τα προβλήματα αρχικών τιμών
( (
y ′ (t) = f (t, y(t)), a ≤ t ≤ b, z ′ (t) = f (t, z(t)), a ≤ t ≤ b,
και (8.11)
y(a) = y0 z(a) = z0
Υποθέτουμε ότι η f ικανοποιεί την ολική συνθήκη του Lipschitz (8.2). Τα προβλήματα (8.11) έχουν τότε
μοναδικές λύσεις y, z, αντίστοιχα.
max ky(t) − z(t)k ≤ CeL(b−a) ky0 − z0 k. (8.12)

a≤t≤b
Θέτουμε ε(t) = y(t) − z(t), t ∈ [a, b] και έχουμε ότι ε′ (t) = f (t, y(t)) − f (t, z(t)). Θέλουμε να
εκτιμήσουμε την ποσότητα kε(t)k όπου k · k είναι μια νόρμα στον Rn ή λόγω της ισοδυναμίας των νορμών,
την ποσότητα kε(t)k2 όπου η k · k2 είναι η ευκλείδεια νόρμα στon Rn .
Παίρνουμε το εσωτερικό γινόμενο της ε′ (t) με τη ε(t) και έχουμε
(ε′ (t), ε(t)) = (f (t, y(t)) − f (t, z(t)), ε(t)), (8.13)
η οποία εύκολα δίνει
1d
kε(t)k22 = (ε′ (t), ε(t)) ≤ kf (t, y(t)) − f (t, z(t))k2 kε(t)k2 ≤ Lkε(t)k22 . (8.14)
2 dt
Αν θέσουμε τώρα φ(t) = kε(t)k22 έχουμε
φ′ (t) − 2Lϕ(t) ≤ 0, t ∈ [a, b] (8.15)
από όπου εύκολα παίρνουμε
d −2Lt
(e ϕ(t)) ≤ 0, t ∈ [a, b]. (8.16)
dt
Συνεπώς η e−2Lt ϕ(t) είναι φθίνουσα συνάρτηση στο [a, b], οπότε
e−2Lt ϕ(t) ≤ e−2La ϕ(a), t ∈ [a, b] (8.17)
ή ισοδύναμα
kε(t)k22 ≤ e2L(t−a) kε(a)k22 , t ∈ [a, b]. (8.18)
Επίσης λόγω της ισοδυναμίας νορμών στον R για μια νόρμα k · k του R έχουμε ότι υπάρχει θετική σταθερά
n n
C 6= 0, ανεξάρτητη των L, a, b και ε, τέτοια ώστε

kε(t)k ≤ CeL(t−a) kε(a)k, t ∈ [a, b]. (8.19)
Επομένως
ky(t) − z(t)k ≤ CeL(t−a) ky0 − z0 k, t ∈ [a, b], (8.20)
ή
max ky(t) − z(t)k ≤ CeL(b−a) ky0 − z0 k. (8.21)
a≤t≤b
Αυτή η σχέση εκφράζει τη συνεχή εξάρτηση των λύσεων του προβλήματος αρχικών τιμών (9.1) από τα
δεδομένα y0 .
Ας υποθέσουμε τώρα ότι η f ικανοποιεί τη μονόπλευρη συνθήκη του Lipschitz (8.8), δηλαδή
(f (t, y1 ) − f (t, y2 ), y1 − y2 ) ≤ 0 (8.22)
Αν τώρα επαναλάβουμε τα προηγούμενα για την απόδειξη της ευστάθειας, προκύπτει ότι
(ε′ (t), ε(t)) = (f (t, y(t)) − f (t, z(t)), ε(t)), (8.23)
η οποία εύκολα δίνει
1d
kε(t)k22 = (ε′ (t), ε(t)) ≤ 0. (8.24)
2 dt
Συνεπώς η kε(t)k22 είναι φθίνουσα συνάρτηση στο [a, b], οπότε
kε(t)k22 ≤ kε(a)k22 , t ∈ [a, b] (8.25)
ή ισοδύναμα
ky(t) − z(t)k2 ≤ ky0 − z0 k2 , t ∈ [a, b]. (8.26)
Tο αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε βιβλία με αντικείμενο την αριθμητική λύση
συνήθων διαφορικών εξισώσεων. Παραθέτουμε κάποιες αναφορές τις οποίες ο αναγνώστης μπορεί να συμ-
βουλευτεί: ο αναγνώστης μπορεί να συμβουλευτεί: [1], [3], [4], [5], [6].
8.3.1 Δείξτε ότι το πρόβλημα αρχικών τιμών
2(u(t) − 1)
u′ (t) = , u(0) = 1,
t
έχει μια συνεχώς παραγωγίσιμη λύση που δίνεται από την
(
at2 + 1, t < 0,
u(t) =
bt2 + 1, t > 0,
για όλες τις σταθερές a και b. Δείξτε ακόμα ότι δεν υπάρχει λύση, αν u(0) 6= 1. Έρχονται αυτά σε
αντίθεση με το Θεώρημα 8.3;
8.3.2 Για ϵ > 0 σταθερό θεωρήστε το πρόβλημα αρχικών τιμών

(
u′ (t) = |u(t)|1+ϵ , 0 ≤ t ≤ b,
u(0) = 1.
Δείξτε ότι το πρόβλημα δεν έχει λύση, αν b ≥ ϵ−1 . Γιατί δεν ισχύει το Θεώρημα Picard-Lindelöf;
Πάρτε ϵ = 1 και βρείτε το μέγιστο διάστημα [0, δ] ύπαρξης λύσης που δίνει το Θεώρημα 8.3.
8.3.3 Θεωρήστε το πρόβλημα αρχικών τιμών

(
u′ (t) = |1 − u2 (t)|1/2 , 0≤t
u(0) = 1.
i.) Γιατί πρέπει να περιμένουμε ότι το πρόβλημα αυτό δεν έχει μοναδική λύση;
ii.) Δείξτε ότι οι συναρτήσεις u(t) = 1 και u(t) = cosh(t) είναι λύσεις του προβλήματος σε κάθε
διάστημα [0, b], b > 0.
iii.) Ποιο είναι το μεγαλύτερο διάστημα της μορφής [b, 0] στο οποίο η u(t) = cos(t) είναι λύση;
[1] E.A. Coddington και N. Levinson. Theory of Ordinary Differential Equations. New York: McGraw–
Hill, 1955.
[2] C. Corduneanu. Principles of Differential and Integral Equations. Second. Providence, Rhode Island:
American Mathematical Society, 2008.
[3] J. D. Logan. A First Course in Differential Equations. English. 3rd ed. Undergraduate Texts Math.
[4] W. Wolfgang. Ordinary Differential Equations. Transl. from the German by Russell Thompson. English.
Τόμ. 182. New York NY: Springer-Verlag, 1998, σσ. x + 380. isbn: 0-387-98459-3.
[5] Ν. Αλικάκος και Γ. Καλογερόπουλος. Συνήθεις Διαφορικές Εξισώσεις. Σύγχρονη Εκδοτική, 2003.
[6] Γ.-Σ. Σμυρλής. Συνήθεις Διαφορικές Εξισώσεις. Πανεπιστημιακες Εκδόσεις Κύπρου, 2013.
ΚΕΦΑΛΑΙΟ 9
ΜΟΝΟΒΗΜΑΤΙΚΕΣ MΕΘΟΔΟΙ Ι. ΜΕΘΟΔΟΣ EULER

Περίληψη
Η πιο απλή αριθμητική μέθοδος για την επίλυση του προβλήματος αρχικών τιμών (Π.Α.Τ.) της μορφής:
Ζητείται y : [a, b] → Rn τέτοια ώστε
y ′ (t) = f (t, y(t)), a ≤ t ≤ b,

y(a) = y0 ,
όπου f μια συνεχής συνάρτηση και y0 ∈ Rn δοσμένη τιμή είναι η μέθοδος Euler. Εισάγουμε την έννοια
του τοπικού σφάλματος διακριτοποίησης, της ευστάθειας και δείχνουμε τη σύγκλιση της μεθόδου. Επίσης
θεωρούμε και άλλες μονοβηματικές μεθόδους, όπως την πεπλεγμένη μέθοδο Euler, τη μέθοδο του τραπεζίου,
τη μέθοδο του μέσου.
πολλές διαστάσεις. Διανυσματικοί χώροι με νόρμα. Αριθμητική επίλυση μη γραμμικών συστημάτων.
9.1 Η μέθοδος Euler
Όλες οι μέθοδοι που θα μελετήσουμε αποσκοπούν στο να λύσουμε προβλήματα αρχικών τιμών (Π.Α.Τ.) της
μορφής: Ζητείται y : [a, b] → Rn τέτοια ώστε
(
y ′ (t) = f (t, y(t)), a ≤ t ≤ b,
(9.1)
y(a) = y0 ,

130 ΜΟΝΟΒΗΜΑΤΙΚΕΣ ΜΕΘΟΔΟΙ Ι. ΜΕΘΟΔΟΣ EULER
όπου f : [a, b] × Rn → Rn είναι μια δοσμένη συνεχής συνάρτηση και y0 ∈ Rn είναι δοσμένη τιμή.
Υποθέτουμε ότι το πρόβλημα (9.1) έχει μοναδική λύση σε ένα διάστημα [a, b].
Θεωρούμε έναν διαμερισμό του [a, b], a = t0 < t1 < · · · < tN = b. Με τις μεθόδους που θα μελε-
τήσουμε θα κατασκευάσουμε προσεγγίσεις των τιμών y(ti ) της ακριβούς λύσης y του προβλήματος αρχικών
τιμών (9.1). Δηλαδή θα κατασκευάσουμε προσεγγίσεις των τιμών {y(t0 ), . . . , y(tN )} και όχι της καμπύλης
του γραφήματος της λύσης y για το διάστημα [a, b].
Συνήθως χρησιμοποιούμε έναν ομοιόμορφο διαμερισμό του [a, b], δηλαδή θέτουμε h = (b − a)/N για
κάποιον φυσικό αριθμό N ∈ N. Θα καλούμε το h βήμα του διαμερισμού. Τότε τα σημεία του διαμερισμού θα
ικανοποιούν tn = a + nh, n = 0, . . . , N . Είναι δυνατόν να θεωρήσουμε και μη-ομοιόμορφους διαμερισμούς
όπου το βήμα δεν είναι σταθερό.
Η πρώτη μέθοδος που θα μελετήσουμε καλείται μέθοδος του Euler και μπορεί να εφαρμοστεί τόσο σε βαθ-
μωτές όσο και σε συστήματα ΣΔΕ. Με τη μέθοδο Euler κατασκευάζουμε προσεγγίσεις y n ∈ Rn , n =
0, . . . , N των τιμών y(tn ), σύμφωνα με τον αναδρομικό τύπο
y n+1 = y n + hf (tn , y n ), n = 0, . . . , N − 1, (9.2)
με y0 δοσμένο όπως στο (9.1).

Ένας τρόπος για να κατανοήσουμε πώς προκύπτει η παραπάνω μέθοδος είναι ο ακόλουθος. Ολοκληρώνο-
ντας τη διαφορική εξίσωση (9.1) στο [tn , tn+1 ], n = 0, . . . , N − 1 έχουμε
Z tn+1
n+1 n
y(t ) = y(t ) + f (t, y(t)) dt. (9.3)
tn
Μπορούμε να προσεγγίσουμε το παραπάνω ολοκλήρωμα χρησιμοποιώντας τη σχέση

Z tn+1
g(t) dt ≈ (tn+1 − tn )g(tn ) = hg(tn ). (9.4)
tn
Η (9.4) ορίζει έναν κανόνα αριθμητικής ολοκλήρωσης. Για μια πιο αναλυτική παρουσίαση κανόνων αριθμητικής
ολοκλήρωσης παραπέπουμε π.χ. στα [3], [8], [9].
Αν χρησιμοποιήσουμε τον κανόνα αριθμητικής ολοκλήρωσης (9.4) στη σχέση (9.3), ισχύει ότι
y(tn+1 ) ≈ y(tn ) + hf (tn , y(tn )). (9.5)
Αυτή η παραπάνω σχέση αιτιολογεί τον ορισμό της μεθόδου Euler, (9.2).
Παράδειγμα 9.1. Ας εφαρμόσουμε τώρα τη μέθοδο του Euler για να κατασκευάσουμε προσεγγίσεις για τη
λύση του ακόλουθου προβλήματος αρχικών τιμών: Έστω y : [0, 1] → R, τέτοια ώστε
y − 2ty 2 (t) 2
y ′ (t) = , y(0) = . (9.6)
1+t 5
Η ακριβής λύση του προβλήματος (9.6) είναι y(t) = (1 + t)/( 52 + t2 ).
Αν θεωρήσουμε μια διαμέριση του [0, 1] με βήμα h = 0.2 = 1/5, tn = nh, n = 0, . . . , 6, σύμφωνα με
τη μέθοδο του Euler, (9.2), θα προκύψουν οι προσεγγίσεις y n , των y(tn ), n = 0, . . . , 6. Στον Πίνακα 9.1
βλέπουμε τις τιμές y n που θα προκύψουν, καθώς και τις αντίστοιχες τιμές της ακριβούς λύσης.
Αν τώρα χρησιμοποιήσουμε μικρότερο βήμα h = 0.1, h = 0.05, θα προκύψουν προφανώς περισσό-
τερα σημεία για τα οποία θα κατασκευάσουμε προσεγγίσεις. Μπορούμε όμως να παρατηρήσουμε ότι για τα
κοινά σημεία των διαμερισμών κατασκευάζουμε προσεγγίσεις που πλησιάζουν καλύτερα την ακριβή τιμή, βλ.
Πίνακα 9.2.
Μπορούμε να παρατηρήσουμε ότι για διαφορετικούς διαμερισμούς, π.χ. h = 0.2 = 1/5 και h = 0.1 =
1/10 τα σημεία t1 , των αντίστοιχων διαμερισμών δεν είναι τα ίδια. Προφανώς και οι αντίστοιχες προσεγγίσεις
1+t
y(t) =
0.70
c + t2
0.65
0.60
0.55
0.50
0.45
0.40
0.35
Προσέγγιστική λύση ύc=5/2)
0.30
Ακ ιβής λύση
0.0 0.2 0.4 0.6 0.8 1.0
Σχήμα 9.1: Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.1 για διάφορες αρχικές τιμές c, καθώς και
η προσεγγιστική λύση για αρχική τιμή c = 5/2, με τη μέθοδο Euler, με βήμα h = 1/5. Με τις τελείες είναι
οι προσεγγίσεις που δίνει η μέθοδος.
tn y(tn ) yn
0.0 0.40000, 0.40000
0.2 0.47244, 0.48000
0.4 0.52632, 0.54464
0.6 0.55944, 0.58854
0.8 0.57325, 0.61016
1.0 0.57143, 0.61177
Πίνακας 9.1: Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.1 και η προσεγγιστική λύση για αρχική
τιμή c = 5/2, με τη μέθοδο Euler, με βήμα h = 1/5.
y1 που λαμβάνουμε δεν θα προσεγγίσουν την ίδια τιμή της ακριβούς λύσης. Επομένως για h = 0.2 παίρνουμε
t1 = 0.2, ενώ για h = 0.1 παίρνουμε t1 = 0.2. Αντίστοιχα και οι προσεγγίσεις που δίνει η μέθοδος του
Euler για h = 0.2 είναι y1 = 0.44, ενώ για h = 0.1, είναι y1 = 0.48. Για να μπορέσουμε να συγκρίνουμε
τα αποτελέσματα για διαφορετικούς διαμερισμούς θα πρέπει να συγκρίνουμε προσεγγίσεις για το ίδιο σημείο.
Έτσι το σημείο t = 0.2 για τον διαμερισμό με βήμα h = 0.2 αντιστοιχεί στο σημείο t1 = 0.2, ενώ για τους
διαμερισμούς με βήμα h = 0.1 και h = 0.05 αντιστοιχεί στα σημεία t2 = 0.2 και t4 = 0.2, αντίστοιχα.
Επομένως, αν θέλουμε να συγκρίνουμε τις προσεγγίσεις που παίρνουμε με τη μέθοδο του Euler για τους δια-
μερισμούς με βήμα h = 0.2, h = 0.1 και h = 0.05 για το σημείο t = 0.2, χρειάζεται να συγκρίνουμε,
για τον διαμερισμό με h = 0.2 την προσέγγιση y1 , για τον διαμερισμό με h = 0.1 την προσέγγιση y2 και
για τον διαμερισμό με h = 0.05 την προσέγγιση y4 . Παρατηρούμε λοιπόν ότι η ακριβής τιμή της λύσης στο
σημείο t = 0.2 είναι y(0.2) ≈ 0.47244 και για τους διαμερισμούς με h = 0.2, 0.1, 0.05 παίρνουμε για
h = 0.2, y1 = 0.48000, για h = 0.1, y2 = 0.47648 και για h = 0.05, y4 = 0.47648, βλ. Πίνακα 9.2.
9.2 Εκτίμηση σφάλματος μεθόδου Euler
Έστω k·k μια νόρμα στον Rn , για την εκτίμηση των σφαλμάτων ky n −y(tn )k, 0 ≤ n ≤ N θα χρειαστούμε
το παρακάτω βοηθητικό αποτέλεσμα, μια διακριτή ανισότητα Grönwall:
h = 0.2 h = 0.1 h = 0.05

n n
t y(t ) yn
0.0 0.40000 0.40000 0.40000 0.40000
0.05 0.41958 0.42000
0.10 0.43825 0.44000 0.43916
0.15 0.45590 0.45737
0.20 0.47244 0.48000 0.47648 0.47453
0.25 0.48780 0.49054
0.30 0.50193 0.50862 0.50535
0.35 0.51478 0.51890
0.40 0.52632 0.54464 0.53580 0.53113
0.45 0.53654 0.54204
0.50 0.54545 0.55767 0.55162
0.55 0.55308 0.55986
0.60 0.55944 0.58854 0.57412 0.56680
0.65 0.56459 0.57246
0.70 0.56856 0.58528 0.57690
0.75 0.57143 0.58017
0.80 0.57325 0.61016 0.59150 0.58232
0.85 0.57409 0.58342
0.90 0.57402 0.59326 0.58355
0.95 0.57311 0.58278
1.0 0.57143 0.61177 0.59114 0.58117
Πίνακας 9.2: Παράδειγμα 9.1. Η ακριβής λύση του προβλήματος και η προσεγγιστική λύση για αρχική τιμή
c = 5/2, με τη μέθοδο Euler, με βήμα h = 1/5, h = 1/10 και h = 1/20.
Λήμμα 9.1 (Λήμμα Grönwall). Έστω ότι υπάρχουν σταθερές δ > 0 και K ≥ 0 τέτοιες ώστε η ακολουθία μη
αρνητικών αριθμών {dk }, k ≥ 0 να ικανοποιεί τις σχέσεις
dj+1 ≤ dj (1 + δ) + K, j = 0, 1, . . . . (9.7)
Τότε για κάθε n ≥ 0 έχουμε
enδ − 1
dn ≤ d0 enδ + K . (9.8)
δ
Απόδειξη. Από την (9.7) έχουμε επαγωγικά ότι
dn ≤ (1 + δ)n d0 + K[1 + (1 + δ) + · · · + (1 + δ)n−1 ]
(1 + δ)n − 1
= (1 + δ)n d0 + K ,
δ
από την οποία προκύπτει η (9.8) λόγω της 1 + δ ≤ eδ .
Θεώρημα 9.1. Έστω y(t) η λύση του (9.1) και k · k μια νόρμα στον Rn . Υποθέτουμε επιπλέον των υποθέσεων
του Θεωρήματος Picard–Lindelöf ότι η y ′′ (t) είναι συνεχής στο [a, b]. Έστω {y n }, 0 ≤ n ≤ N , οι προσεγγίσεις
που παράγει η μέθοδος του Euler (9.2). Τότε υπάρχει σταθερά C1 τέτοια ώστε ¹ για 0 ≤ n ≤ N ,
n −a)
eL(t −1
ky − y(t )k ≤ C1 h
n n
maxn ky ′′ (t)k∞ , (9.9)
2L t∈[a,t ]
¹Η σταθερά C1 είναι η σταθερά σύγκρισης kxk ≤ C1 kxk∞ στον Rn .

όπου L η σταθερά Lipschitz της σχέσης (8.2).
Απόδειξη. Έστω ϵn = y n − y(tn ), 0 ≤ n ≤ N , το σφάλμα της προσέγγισης un . Εκ κατασκευής, ϵ0 = 0.

Για 1 ≤ n ≤ N από το θεώρημα του Taylor έχουμε ότι
y(tj+1 ) = y(tj ) + hy ′ (tj ) + pj , 0 ≤ j ≤ N − 1, (9.10)
h2 (2)
όπου pij = 2
yi (ξij ), 1 ≤ i ≤ m, για κάποια ξij ∈ [tj , tj+1 ]. Συνεπώς,
h2
kpj k ≤ C max kpji k ≤ Kj := C1 max ky ′′ (t)k∞ . (9.11)
1≤i≤m 2 t∈[a,tj+1 ]
Αφαιρώντας κατά μέλη την (9.10) από την αναδρομική σχέση της (9.2) και χρησιμοποιώντας την (9.1)
έχουμε
ϵj+1 = ϵj + h f (tj , y j ) − f (tj , y(tj )) − pj .
Τώρα από τις σχέσεις (8.2) και (9.11) έχουμε για 0 ≤ j ≤ n − 1,
kϵj+1 k ≤ kϵj k + hL ky j − y(tj )k + kpj k

≤ (1 + hL)kϵj k + Kj
≤ (1 + hL)kϵj k + Kn .
Εφαρμόζοντας τώρα το Λήμμα 9.1 με dj = kϵj k, d0 = kϵ0 k = 0, δ = hL και K = Kn παίρνουμε την

(9.9) χρησιμοποιώντας το γεγονός ότι nh = tn − a.
Παρατήρηση 9.1. Το Θεώρημα 9.1 δίνει μια εκτίμηση σφάλματος της μορφής
max ky n − y(tn )k ≤ C h, (9.12)

0≤n≤N
για μια σταθερά C ανεξάρτητη του h που εξαρτάται όμως από τα δεδομένα του προβλήματος a, b, f και τη
λύση u(t). Το φράγμα στην (9.12) είναι γραμμικό προς το h και αυτό είναι το καλύτερο δυνατό που μπορούμε
να πετύχουμε, ανεξάρτητα της ομαλότητας της λύσης. Πράγματι, ας θεωρήσουμε το πρόβλημα αρχικών τιμών
y ′ (t) = 2t, 0 ≤ t ≤ 1, y(0) = 0 το οποίο έχει τη μοναδική λύση y(t) = t2 , t ∈ [0, 1]. Η μέθοδος του Euler
με ομοιόμορφο διαμερισμό στο [0, 1] δίνει y n = n(n−1)h2 . Συνεπώς για N h = 1 έχουμε y(1)−y N = h.
Σημειώνουμε, τέλος, ότι η (9.12) συνεπάγεται ότι η μέθοδος του Euler συγκλίνει με την έννοια ότι αν
n → ∞ και h → 0 έτσι ώστε nh + a = t, τότε un → y(t). Όμως είμαστε αναγκασμένοι να υπολογίζουμε
με πολύ μικρό βήμα για να πάρουμε μικρό σφάλμα max0≤n≤N ky n − y(tn )k. Αυτό έχει ως αποτέλεσμα
μεγάλο αριθμό πράξεων και αύξηση των σφαλμάτων στρογγύλευσης.
Ορισμός 9.1. Λέμε ότι μια αριθμητική μέθοδος συγκλίνει στην ακριβή λύση ενός προβλήματος αρχικών τι-
μών της μορφής (9.1) στο [a, b] αν για κάθε t⋆ ∈ [a, b] τέτοιο ώστε tn → t⋆ καθώς h → 0 και n → ∞,
y n → y(t⋆ ).
Παρατηρούμε ότι λόγω του Θεώρηματος 9.1 η μέθοδος Euler είναι μια αριθμητική μέθοδος η οποία συ-
γκλίνει στην ακριβή λύση ενός προβλήματος αρχικών τιμών, γιατί το σφάλμα εn = y(tn ) − y n για tn = t⋆
ικανοποιεί
kεn k → 0, καθώς h → 0 και tn = t⋆ ,
όπου k·k μια νόρμα στον Rn . Επίσης επειδή το σφάλμα στην (9.12) φράσσεται από το γινόμενο μιας σταθεράς
επί h, στην πρώτη δύναμη. Για αυτόν τον λόγο λέμε ότι η μέθοδος Euler έχει τάξη ακρίβειας (τουλάχιστον)
ένα.
9.3 Tοπικό σφάλμα διακριτοποίησης
Θα πρέπει να διακρίνουμε το σφάλμα της μεθόδου Euler στο τοπικό σφάλμα διακριτοποίησης και στο ολικό
σφάλμα.
Ας υποθέσoυμε ότι η λύση είναι γνωστή στο σημείο t. Κάνοντας με τη μέθοδο Euler ένα βήμα μεγέθους
h, ξεκινώντας από το (t, y(t)) παίρνουμε μια προσέγγιση για την τιμή y(t + h). Η διαφορά αυτής της προ-
σέγγισης μείον την ακριβή τιμή y(t + h) είναι ίση με το τοπικό σφάλμα διακριτοποίησης, βλέπε Σχήμα 9.2.
Σχήμα 9.2: Τοπικό σφάλμα διακριτοποίησης. Το σημείο P1 προκύπτει κάνοντας ένα βήμα μεγέθους h με τη
μέθοδο Euler, αν ξεκινήσουμε από το σημείο (t, y(t)). Το σημείο P2 είναι το σημείο του γραφήματος για την
ακριβή τιμή y(t + h). Η διαφορά των δύο σημείων δίνει το τοπικό σφάλμα διακριτοποίησης.
Ορισμός 9.2. Το τοπικό σφάλμα διακριτοποίησης της μεθόδου Euler (9.2) για την προσέγγιση της λύσης y(t)
του προβλήματος αρχικών τιμών (9.1) ορίζεται ως
δ[y](t, h) = [y(t) + hf (t, h, y(t))] − y(t + h).
Παρατήρηση 9.2. Το τοπικό σφάλμα διακριτοποίησης πολλές φορές αναφέρεται και ως σφάλμα συνέπειας .
Ορισμός 9.3 (Συμβολισμός Landau). Για μια ποσότητα z ∈ Rn θα γράφουμε ότι z = O(hp ), p > 0, αν
υπάρχουν θετικές σταθερές h0 και C τέτοιες ώστε
kzk ≤ Chp , ∀ 0 < h < h0 , (9.13)
όπου k · k μια νόρμα στον Rn . Είναι προφανές ότι η ποσότητα z θα συγκλίνει στο 0, καθώς h → 0 και η τάξη
(ή ρυθμός) σύγκλισης στο 0 είναι p.
Από το Θεώρημα Taylor έχουμε ότι, βλέπε και (9.10)
y(t + h) = y(t) + hy ′ (t) + ξ, a ≤ t ≤ b, (9.14)
με ξ = O(h2 ). Συνεπώς για τη μέθοδο Euler, εύκολα βλέπουμε ότι δ[y](t, h) = O(h2 ).
Παρατήρηση 9.3. Παρατηρούμε λοιπόν ότι το τοπικό σφάλμα διακριτοποίησης της μεθόδου Euler είναι
O(h2 ), δηλαδή συγκλίνει στο 0 με τάξη σύγκλισης 2, κατά ένα μεγαλύτερη από ότι το ολικό σφάλμα, βλέπε
Θεώρημα 9.1. Μια απλοϊκή εξήγηση για αυτήν τη διαφορά ανάμεσα στο ολικό και το τοπικό σφάλμα, εί-
ναι ότι πραγματοποιούμε την αριθμητική μέθοδο N βήματα για να φτάσουμε από το σημείο a στο b, όπου
N = (b − a)/h. Τα τοπικά σφάλματα συσσωρεύονται και έτσι το ολικό σφάλμα έχει τάξη ως προς h, κατά
ένα μικρότερη.
9.4 Ευστάθεια της μεθόδου Euler
Θεωρούμε τα προβλήματα αρχικών τιμών με αρχικές τιμές y0 , z0 ∈ Rn ,

( (
y ′ (t) = f (t, y(t)), a ≤ t ≤ b, z ′ (t) = f (t, z(t)), a ≤ t ≤ b,
και (9.15)
y(a) = y0 z(a) = z0
τα οποία έχουν μοναδικές λύσεις y(t), z(t), αντίστοιχα. Αν υποθέσουμε ότι η f ικανοποιεί την ολική συνθήκη
του Lipschitz, τότε είδαμε ότι ισχύει, βλέπε (8.12)
ky(t) − z(t)k ≤ CeL(t−a) ky0 − z0 k, (9.16)
για μια δοσμένη νόρμα k · k του Rn .

Παρόμοια αποτελέσματα μπορούμε να δείξουμε και για τη μέθοδο Euler. Θεωρούμε τώρα τις ακολουθίες
y n , z n , 0 ≤ n ≤ N , που είναι λύσεις των
( (
y n+1 = y n + hf (tn , y n ), z n+1 = z n + hf (tn , z n ),
και (9.17)
y 0 = y0 , z 0 = z0 ,
για n = 0, . . . , N − 1 και δεδομένα y0 , z0 ∈ Rn . Αφαιρώντας κατά μέλη τις (9.17) έχουμε
y n+1 − z n+1 = y n − z n + h(f (tn , y n ) − f (tn , z n )). (9.18)
Χρησιμοποιώντας τώρα την τριγωνική ανισότητα και την ολική συνθήκη του Lipschitz λαμβάνουμε
ky n+1 − z n+1 k ≤ ky n − z n k + hLky n − z n k, 0 ≤ n ≤ N − 1, (9.19)
οπότε
ky n − z n k ≤ (1 + hL)n ky 0 − z 0 k ≤ enhL ky 0 − z 0 k, 0 ≤ n ≤ N. (9.20)
Συνεπώς
n −a)
ky n − z n k ≤ eL(t ky 0 − z 0 k, 0 ≤ n ≤ N. (9.21)
Ολοκληρώνουμε την ανάλυση της μεθόδου Euler εξετάζοντας τη συμπεριφορά της στην περίπτωση f (t, y(t)) =
Ay(t), όπου A ∈ Rn×n είναι ένας συμμετρικός πίνακας.
Θεώρημα 9.2. Έστω A ∈ Rn×n ένας συμμετρικός πίνακας και y : [a, b] → Rn η λύση του προβλήματος
y ′ (t) = Ay(t), t ∈ [a, b], με y(a) = y0 ∈ Rn . Έστω {y n } η ακολουθία προσεγγίσεων που παράγει η
μέθοδος Euler. Τότε,
ky(tn ) − y n k2 ≤ ky0 k2 max |enhλ − (1 + hλ)n |, (9.22)
λ∈σ(A)
όπου σ(A) είναι το φάσμα του A.
Απόδειξη. Αφού A ∈ Rn×n είναι συμμετρικός έχουμε σ(A) ⊂ R. Ακόμα υπάρχει ορθογώνιος πίνακας Q
τέτοιος ώστε A = QDQT , όπου D διαγώνιος πίνακας με Dii = λi , 1 ≤ i ≤ m, οι ιδιοτιμές του A. Η
ακριβής λύση του προβλήματος αρχικών τιμών y ′ (t) = Ay(t), y(a) = y0 , είναι
y(t) = Qe(t−a)D QT y0 ,

όπου e(t−a)D είναι ο διαγώνιος πίνακας με στοιχεία e(t−a)D ii = e(t−a)λi . Για τη μέθοδο Euler εύκολα
βλέπουμε ότι
y n = (I + hA)n y0 = Q(I + hD)n QT y0 , n = 0, 1, . . . , N.
Συνεπώς,
y(tn ) − y n = Q(enhD − (I + hD)n )QT y0 .
Χρησιμοποιώντας το γεγονός ότι η k · k2 είναι αναλλοίωτη υπό ορθογώνιους μετασχηματισμούς ομοιότητας
έχουμε
ky(tn ) − y n k2 ≤ enhD − (I + hD)n 2 ky0 k2 .
Το συμπέρασμα του θεωρήματος προκύπτει λαμβάνοντας υπ’ όψιν το γεγονός ότι η k · k2 νόρμα ενός διαγώ-
νιου πίνακα είναι το κατ’ απόλυτο τιμή μέγιστο στοιχείο του.
Σημειώνουμε εδώ ότι αν, για παράδειγμα, λi < 0, 1 ≤ i ≤ m, τότε ky(t)k2 → 0 για κάθε y0 ∈ Rn . Η
μέθοδος Euler έχει την ίδια συμπεριφορά μόνο αν
|1 + hλmax | < 1,
συνθήκη η οποία επιβάλλει πιθανώς σοβαρούς περιορισμούς στο μέγεθος του βήματος της μεθόδου. Για μια
πιο αναλυτική μελέτη αυτού του φαινομένου, παραπέμπουμε στο Κεφάλαιο 12.
Παράδειγμα 9.2. Θεωρούμε το πρόβλημα αρχικών τιμών: Ζητείται x(t), y(t) : [0, 2π] → R
(
x′ (t) = −y(t), x(0) = 1,
0 ≤ t ≤ 2π, (9.23)
y ′ (t) = x(t), y(0) = 0,
το οποίο μπορούμε να το διατυπώσουμε και ως εξής: Ζητείται Y (t) : [0, 2π] → R2

(
Y ′ (t) = f (Y (t)), 0 ≤ t ≤ 2π,
(9.24)
Y (0) = Y0 ,
με Y0 = (1, 0)T και f (Z) = (−ζ2 , ζ1 )T , Z = (ζ1 , ζ2 )T . Η ακριβής λύση του συστήματος είναι Y (t) =
(x(t), y(t)) = (cos(t), sin(t)), t ∈ [0, 2π], η οποία περιγράφεται και από την παραμετρική καμπύλη
x2 (t) + y 2 (t) = 1, βλ. Σχήμα 9.3. Για ακέραιο N > 0 θεωρούμε μια διαμέριση του [0, 2π], tn = hn,
h = 2π/N και τις προσεγγίσεις Y n = (xn , y n ), n = 0, . . . , N , που δίνει η άμεση μέθοδος Euler Y n+1 =
Y n + hf (Y n ), Y 0 = Y0 , για n = 0, . . . , N − 1 ή διαφορετικά
(
xn+1 = xn − hy n , x0 = 1,
n = 0, . . . , N − 1 (9.25)
y n+1 = y n + hxn , y 0 = 0,
Στο Σχήμα 9.3 για N = 50, 100, 200, 400, εμφανίζεται η γραφική παράσταση των (xn )2 +(y n )2 και παρα-
τηρούμε ότι καθώς το N αυξάνεται, δηλαδή μειώνεται η ποσότητα h = 2π/N , οι προσεγγίσεις πλησιάζουν
τη γραφική παράσταση της ακριβούς λύσης.
9.5 Γενικεύσεις της μεθόδου Euler
Με τη μέθοδο Euler κατασκευάζουμε προσεγγίσεις y n ∈ Rn των τιμών y(tn ), n = 0, . . . , N σύμφωνα με

την προσέγγιση που είδαμε για την ακριβή τιμή y(tn+1 ) ≈ y(tn ) + hf (tn , y(tn )), βλέπε (9.5). Θα δούμε
στη συνέχεια ότι χρησιμοποιώντας μια διαφορετική προσέγγιση της ακριβής τιμής y(tn+1 ) οδηγούμαστε σε
μια διαφορετική μέθοδο από αυτήν της μεθόδου Euler.
Ας υποθέσουμε ότι για το πρόβλημα αρχικών τιμών (9.1) έχουμε ότι f λαμβάνει τιμές στο R, f : [a, b] ×
R → R και συνεπώς οι τιμές της ζητούμενης συνάρτησης y είναι στο R, y : [a, b] → R. Από το Θεμελιώδες
N = 50 N = 100
1.00 1.0 1.0
0.75
0.50 0.5 0.5
0.25
0.0 0.0
0.00
0.25 0.5
0.5
0.50
0.75 1.0
1.0
1.00
1.00 0.75 0.50 0.25 0.00 0.25 0.50 0.75 1.00 1.0 0.5 0.0 0.5 1.0 1.5 1.0 0.5 0.0 0.5 1.0
N = 200 N = 400
1.0 1.0
0.5 0.5
0.0 0.0
0.5 0.5
1.0 1.0
1.0 0.5 0.0 0.5 1.0 1.0 0.5 0.0 0.5 1.0
Σχήμα 9.3: Παράδειγμα 9.2. Πάνω αριστερά: Η καμπύλη x(t)2 + y(t)2 της ακριβούς λύσης. Υπόλοι-
πες: Οι αντίστοιχες καμπύλες που δημιουργούν οι προσεγγίσεις με την άμεση μέθοδο Euler για N =
50, 100, 200, 400. Καθώς αυξάνεται το πλήθος των σημείων N δηλαδή μειώνεται η παράμετρος διαμέρι-
σης h, η καμπύλη των προσεγγίσεων πλησιάζει την καμπύλη της ακριβούς λύσης.
Θεώρημα του Απειροστικού Λογισμού γνωρίζουμε ότι αν y ′ (t) = f (t, y(t)) και y(a) = y0 , τότε μπορούμε
να προσεγγίσουμε την y(t) χρησιμοποιώντας
Z t
y(t) = y0 + f (s, y(s)) ds ≈ y0 + Q[f (·, y(·)); a, t],
a
όπου Q είναι ένας κανόνας αριθμητικής ολοκλήρωσης. Αν, για παράδειγμα, χρησιμοποιήσουμε τον (αριστερό)
κανόνα του ορθογωνίου δηλαδή,
Q[f (·, y(·)); a, t] = (t − a)f (a, y(a)),
τότε παίρνουμε την προσέγγιση
y(t) ≈ y0 + (t − a)f (a, y(a)),
η οποία αποτελεί τη βάση της μεθόδου Euler, βλέπε (9.5).

Αν, για παράδειγμα, χρησιμοποιήσουμε τον (δεξιό) κανόνα του ορθογωνίου δηλαδή,
Q[f (·, y(·)); a, t] = (t − a)f (t, y(t)),
τότε παίρνουμε την προσέγγιση

y(t) ≈ y0 + (t − a)f (t, y(t)).
Είδαμε ότι ολοκληρώνοντας τη διαφορική εξίσωση (9.1) στο [tn , tn+1 ], n = 0, . . . , N − 1, προκύπτει η
(9.3). Αν χρησιμοποιήσουμε τον (δεξιό) κανόνα του ορθογωνίου για να προσεγγίσουμε την τιμή του ολο-
κληρώματος στο δεξιό μέλος της (9.3), παίρνουμε
y(tn+1 ) ≈ y(tn ) + hf (tn+1 , y(tn+1 )). (9.26)
Προκύπτει επομένως η ακόλουθη μέθοδος που καλείται πεπλεγμένη μέθοδος Euler όπου κατασκευάζουμε
προσεγγίσεις y n ∈ Rn , n = 0, . . . , N των τιμών y(tn ), σύμφωνα με τον αναδρομικό τύπο
y n+1 = y n + hf (tn+1 , y n+1 ), n = 0, . . . , N − 1, (9.27)

με y0 δοσμένο όπως στο (9.1). Επειδή δεν παίρνουμε τις τιμές y n , n = 0, . . . , N , στην (9.27) με άμεσο
τρόπο αλλά πεπλεγμένα, λύνοντας μια μη γραμμική εξίσωση ή ένα μη γραμμικό σύστημα, καλούμε αυτήν τη
μέθοδο πεπλεγμένη.
Μια άλλη μέθοδος, η οποία είναι και εκείνη πεπλεγμένη, προκύπτει αν χρησιμοποιήσουμε τον κανόνα αριθ-
μητικής ολοκλήρωσης του τραπεζίου για να προσεγγίσουμε την τιμή του ολοκληρώματος στο δεξιό μέλος της
(9.3). Οπότε παίρνουμε
1
y(tn+1 ) ≈ y(tn ) + f (tn , y(tn )) + f (tn+1 , y(tn+1 )) . (9.28)
2
Επομένως έχουμε την ακόλουθη μέθοδο που καλείται μέθοδος του τραπεζίου όπου κατασκευάζουμε προ-
σεγγίσεις y n ∈ Rn , n = 0, . . . , N , των τιμών y(tn ), σύμφωνα με τον αναδρομικό τύπο
1
y n+1 = y n + f (tn , y n ) + f (tn+1 , y n+1 ) , n = 0, . . . , N − 1, (9.29)
2
με y0 δοσμένο όπως στο (9.1).
Αυτές οι μέθοδοι που θεωρήσαμε προηγουμένως ανήκουν σε μια κατηγορία μεθόδων που καλούνται μονο-
βηματικές μέθοδοι.
Ορισμός 9.4. Έστω y : [a, b] → Rn η λύση του προβλήματος αρχικών τιμών (9.1)
y ′ (t) = f (t, y(t)), y(a) = y0 . (9.30)
Για N > 1 ακέραιο θέτουμε h = (b − a)/N και tn = a + nh, n ≥ 0. Η ακολουθία {y n }, 0 ≤ n ≤ N ,

είναι μια μονοβηματική μέθοδος για την προσέγγιση της y(t) αν y 0 = y0 και
y n+1 = y n + hG(tn , h, y n , y n+1 ), n = 0, . . . , N − 1, (9.31)
όπου G συνεχής συνάρτηση με G(t, 0, y, y) = f (t, y). Η μονοβηματική μέθοδος θα λέγεται άμεση αν η
G είναι ανεξάρτητη της τελευταίας μεταβλητής της, διαφορετικά θα λέγεται έμμεση ή πεπλεγμένη. Το ολικό
σφάλμα της προσέγγισης, {εn }, 0 ≤ n ≤ N , ορίζεται ως
εn = y(tn ) − y n .
Μερικές συχνά χρησιμοποιούμενες μονοβηματικές μέθοδοι είναι οι παρακάτω:
1. H μέθοδος Euler για την οποία
G(t, h, y1 , y2 ) = f (t, y1 ).
2. Η πεπλεγμένη μέθοδος Euler για την οποία
G(t, h, y1 , y2 ) = f (t + h, y2 ).
3. Η μέθοδος του τραπεζίου για την οποία

1 1
G(t, h, y1 , y2 ) = f (t, y1 ) + (t + h, y2 ).
2 2
4. Η μέθοδος του μέσου για την οποία

h y1 + y2
G(t, h, y1 , y2 ) = f (t + , ). (9.32)
2 2
Είδαμε προηγουμένως ότι μπορούμε να θεωρήσουμε διάφορες αριθμητικές μεθόδους, αν χρησιμοποιή-

Rt
σουμε κανόνες αριθμητικής ολοκλήρωσης Q[f, a, t] για να προσεγγίσουμε το ολοκλήρωμα a f (t, y(t).
Ένας άλλος τρόπος για να θεωρήσουμε μεθόδους για να προσεγγίσουμε τη λύση y ενός προβλήματος αρ-
χικών τιμών (9.1) είναι ο ακόλουθος. Αν υποθέσουμε ότι η λύση y ενός προβλήματος αρχικών τιμών είναι
αρκετά ομαλή και χρησιμοποιήσουμε το ανάπτυγμα Taylor γύρω από το σημείο t ∈ (a, b), έχουμε ότι
y(t + h) = y(t) + hy ′ (t) + R1 (t) = y(t) + hf (t, y(t)) + R1 (t), (9.33)
1
με R1 (t) = h2 y ′′ (ξ), ξ ∈ (t, t + h). Είναι απλό να δούμε ότι παραλείποντας το υπόλοιπο του αναπτύγμα-
2
τος R1 στην (9.33) οδηγούμαστε στη μέθοδο Euler. Αν τώρα θεωρήσουμε το ανάπτυγμα Taylor γύρω από
το σημείο t ∈ (a, b), έχουμε
h2 ′′ 1 3 ′′′
y(t + h) = y(t) + hy ′ (t) + y (t) + R2 (t), R2 (t) = h y (ξ), ξ ∈ (t, t + h). (9.34)
2 3!
Επειδή η y(t) είναι λύση ενός προβλήματος αρχικών τιμών (9.1) έχουμε y ′ (t) = f (t, y(t)). Επίσης
d
y ′′ (t) = f (t, y(t)) = ft (t, y(t)) + fy (t, y(t))y ′ (t) = ft (t, y(t)) + fy (t, y(t))f (t, y(t)). (9.35)
dt
Θεωρούμε λοιπόν g : [a, b] × R → R
g(t, y) = ft (t, y) + fy (t, y)f (t, y).
Οπότε y ′′ (t) = g(t, y(t)). Αν τώρα παραλείψουμε το υπόλοιπο του αναπτύγματος R2 στην (9.34), οδη-
γούμαστε στη μέθοδο Taylor (2)
h2 n n
g(t , y ), n = 0, . . . , N − 1.
y n+1 = y n + hf (tn , y n ) + (9.36)
2
Όπως θεωρήσαμε για τη μέθοδο Euler το τοπικό σφάλμα διακριτοποίησης, βλέπε Ορισμό 9.2, έτσι μπο-
ρούμε να ορίσουμε το τοπικό σφάλμα διακριτοποίησης και μιας άλλης μονοβηματικής μεθόδου.
Ορισμός 9.5 (τοπικό σφάλμα διακριτοποίησης). Το τοπικό σφάλμα διακριτοποίησης της μονοβηματικής με-
θόδου (9.31) για την προσέγγιση της λύσης y(t) του προβλήματος αρχικών τιμών (9.30) ορίζεται ως
δ[y](t, h) = y(t + h) − y(t) − h G(t, h, y(t), y(t + h)).
Είδαμε ότι το τοπικό σφάλμα διακριτοποίησης της μεθόδου Euler είναι O(h2 ). Οι νέες μεθόδοι που θα
θεωρήσουμε θα έχουν τοπικό σφάλμα O(hp ), p ≥ 2.
Ορισμός 9.6. Λέμε ότι η μονοβηματική μέθοδος (9.31) έχει τάξη ακρίβειας p αν kδ[y](t, h)k ≤ Chp+1 για
κάποια σταθερά C ανεξάρτητη του t και του h. Επίσης λέμε ότι η μέθοδος (9.31) είναι συνεπής αν p ≥ 1.
Είδαμε ήδη στο Θεώρημα 9.1 ότι για τη μέθοδο Euler (9.2) το τοπικό σφάλμα διακριτοποίησης είναι ανά-
λογο του h2 και αυτό οδηγεί σε συνολικό σφάλμα το οποίο μειώνεται γραμμικά με το h, δείτε την (9.12).
Μπορούμε με παρόμοιο τρόπο να εκτιμήσουμε το σφάλμα διακριτοποίησης για την πεπλεγμένη μέθοδο Eu-
ler όσο και για τη μέθοδο του τραπεζίου και τη μέθοδο του μέσου. Επιλέγουμε να παρουσιάσουμε την ανάλυση
για τη μέθοδο του μέσου και αφήνουμε την ανάλυση των άλλων μεθόδων στις ασκήσεις.
Θεώρημα 9.3. ΄Εστω y(t) η λύση του (9.1). Υποθέτουμε, επιπλέον των υποθέσων του Θεωρήματος Picard–
Lindelöf, ότι η y (3) (t) είναι συνεχής στο [a, b]. ’Εστω {y n } η ακολουθία προσεγγίσεων της μεθόδου του μέσου.
Τότε, για κάθε h τέτοιο ώστε 0 < hL < 1, όπου L είναι η σταθερά Lipschitz της f , υπάρχει σταθερά C τέτοια
ώστε για 0 ≤ n ≤ N
1 L(tn −a)
ky n − y(tn )k ≤ C h2 e − 1 max ky (3) (t)k∞ . (9.37)
L t∈[a,b]
Απόδειξη. Σύμφωνα με την (9.32) η μέθοδος του μέσου για το πρόβλημα αρχικών τιμών (9.1) είναι

h y n + y n+1
y n+1 n
= y + hf t + , n
, n = 0, . . . , N − 1,
2 2
και το σφάλμα διακριτοποίησης το

h y(t) + y(t + h)
δ[y](t, h) = y(t + h) − y(t) − hf t+ , .
2 2
Με ϵn = y(tn ) − y n , εύκολα βλέπουμε ότι

n+1 n n h y(tn ) + y(tn+1 )
ϵ =ϵ +h f t + , (9.38)
2 2

h y + y n+1
n
−f t + ,n
+ δ[y](tn , h),
2 2
για n ≥ 0 και, φυσικά, ϵ0 = 0. Τώρα, από το θεώρημα του Taylor έχουμε
h h3 (3) n,1
y(tn+1 ) − y(tn ) = hy ′ (tn + ) + y (ξ ) + y (3) (ξ n,2 ) ,
2 48
και
y(tn+1 ) + y(tn ) h h2 (2) n,3
= y(tn + ) + y (ξ ) + y (2) (ξ n,4 ) ,
2 2 16
για κάποια ξ n,j ∈ Rn , 1 ≤ j ≤ 4, με ξi ∈ [tn , tn+1 ], 1 ≤ i ≤ m. Συνεπώς
n,j

h h h h
δ[y](t , h) = h f (t + , y(t + )) − f (t + , y(t + ) + ζ )
n n n n n n
2 2 2 2
3
h
+ y (3) (ξ n,1 ) + y (3) (ξ n,2 ) ,
48
h2 (2) n,3
όπου ζ n = 16
[y (ξ ) + y (2) (ξ n,4 )]. Από το Λήμμα 7.4, το Λήμμα 7.5 και την τριγωνική ανισότητα
έχουμε
kδ[y](tn , h)k ≤ Ch3 max ky (3) (t)k∞ = Kn h3 . (9.39)
t∈[tn ,tn+1 ]
Παίρνοντας νόρμες στην (9.38), χρησιμοποιώντας την τριγωνική ανισότητα και την (8.2) έχουμε
ϵn + ϵn+1
kϵn+1 k ≤ kϵn k + hL + kδ[y](tn , h)k.
2
Επειδή 1 − hL
2
> 0, χρησιμοποιώντας την (9.39) παίρνουμε
hL
1+ Kn 3
kϵn+1 k ≤ 2
kϵn k + h.
1− hL
2
1 − hL
2
Ένα επιχείρημα² ανάλογο της απόδειξης του Λήμματος 9.1 μας δίνει
" !n #
2 hL
K n h 1 +
kϵn k ≤ 2
− 1 , n = 0, . . . , N.
L 1− 2hL
²Δείξτε ότι αν η ακολουθία μη αρνητικών ακεραίων {dk } ικανοποιεί d0 = 0 και dk+1 ≤ bdk + c, k ≥ 0, για κάποιες
σταθερές b > 1, c ≥ 0, τότε dk ≤ b−1
c
[bk − 1], k ≥ 0.
Αφού 0 < hL < 1 έχουμε

hL
1+ hL
2
=1+ ≤ 1 + 2hL ≤ e2hL ,
1− hL
2
1 − hL
2
συνεπώς
Kn 2L(tn −a)
kϵn k ≤e − 1 h2 ,
L
Παρατήρηση 9.4. Μπορούμε να παρατηρήσουμε ότι από τη σχέση (9.39) το τοπικό σφάλμα διακριτοποίη-
σης για τη μέθοδο του μέσου είναι O(h3 ), δηλαδή έχει τάξη ακρίβειας 2. Με ανάλογο τρόπο (το αφήνουμε ως
άσκηση) μπορούμε να δούμε ότι για τη μέθοδο της πεπλεγμένης Euler, το τοπικό σφάλμα διακριτοποίησης
δ[y](t, h) = y(t + h) − [y(t) + hf (t + h, y(t + h))] = O(h2 ). (9.40)
Με ανάλογο τρόπο (το αφήνουμε ως άσκηση) μπορούμε να δούμε ότι για τη μέθοδο του τραπεζίου, το τοπικό
σφάλμα διακριτοποίησης
h
δ[y](t, h) = y(t + h) − [y(t) + (f (t + h, y(t + h)) + f (t, y(t)))] = O(h3 ). (9.41)
2
Παρατήρηση 9.5. Στις παραπάνω μεθόδους, εκτός από την απλή μέθοδο Euler που ήδη εξετάσαμε, το y n+1
στην (9.31) δίνεται πεπλεγμένα. Για να προσδιορίσουμε δηλαδή το y n+1 στην πεπλεγμένη μέθοδο Euler, στη
μέθοδο του τραπεζίου ή στη μέθοδο του μέσου, πρέπει να λύσουμε ένα μη γραμμικό σύστημα ή εξίσωση.
Στην περίπτωση όμως που η f είναι γραμμική ως προς τη μεταβλητή y, τότε μπορούμε να προσδιορίσουμε
το y n+1 άμεσα. Αν λοιπόν f (t, y) = g(t)y με g μια συνεχή συνάρτηση, τότε οι παραπάνω πεπλεγμένες
μέθοδοι γίνονται ως εξής:
1. Η πεπλεγμένη μέθοδος Euler,
yn
y n+1 = , εφόσον 1 − hg(tn+1 ) 6= 0.
1 − hg(tn+1 )
2. Η μέθοδος του τραπεζίου,
1 + h2 g(tn ) n h
y n+1
= y , εφόσον 1 − g(tn+1 ) 6= 0.
1 − 2 g(t )
h n+1 2
3. Η μέθοδος του μέσου,
1 + h2 g(tn + h2 )) n h h
y n+1
= y , εφόσον 1 − g(tn + )) 6= 0.
1 − 2 g(t + 2 )
h n h 2 2
Παράδειγμα 9.3. Ας εφαρμόσουμε τώρα την πεπλεγμένη μέθοδο Euler, τη μέθοδο του τραπεζίου και τη
μέθοδο του μέσου για να κατασκευάσουμε προσεγγίσεις για τη λύση του ακόλουθου προβλήματος αρχικών
τιμών: Έστω y : [0, 10] → R τέτοια ώστε
y ′ (t) = cos(t)y(t), t ∈ [0, 10], με y(0) = 1. (9.42)
Η ακριβής λύση του προβλήματος (9.42) είναι y(t) = esin(t) . Επειδή η διαφορική εξίσωση (9.42) είναι
γραμμική ως προς y, η πεπλεγμένη μέθοδος Euler, μέθοδος του τραπεζίου και η μέθοδος του μέσου μπο-
ρούν να υλοποιηθούν με άμεσο τρόπο. Θεωρούμε διαμερισμούς του διαστήματος [0, 10] με h = 1/N ,
N = 100, 200, 300, 400. Στον Πίνακα 9.3 αναφέρουμε τα σφάλματα |y(tN ) − y N | αν χρησιμοποιήσουμε
τη μεθόδο του Εuler, την πεπλεγμένη μεθόδο του Εuler, τη μέθοδο του τραπεζίου και τη μέθοδο του μέσου.
Επίσης αναφέρουμε και τις αντίστοιχες προσεγγίσεις της τάξης ακρίβειας της μεθόδου. Επίσης αναφέρεται
και η προσεγγιστική τάξη ακρίβειας p κάθε μεθόδου. Αυτή ορίζεται ως εξής: Για δύο διαφορετικές διαμερί-
σεις με βήματα h1 και h2 , (h1 > h2 ) υπολογίζουμε τα αντίστοιχα σφάλματα ϵ1 = |y(10) − y N1 | και
ϵ2 = |y(10) − y N2 |, όπου N1 h1 = N2 h2 = 10, στη συνέχεια υπολογίζουμε τον αριθμό p,
ln(ϵ1 /ϵ2 )
p= ,
ln(h1 /h2 )
ο οποίος αποτελεί μια εκτίμηση της τάξης ακρίβειας της μεθόδου.
Σχήμα 9.4: Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.3 καθώς και οι προσεγγιστικές λύσεις με
τη μέθοδο Euler, την πεπλεγμένη μεθόδο Εuler, τη μέθοδο του τραπεζίου και τη μέθοδο του μέσου, με βήμα
h = 1/25.
Euler Πεπλεγμένη Euler Μέσου Τραπεζίου

h Σφάλμα p Σφάλμα p Σφάλμα p Σφάλμα p
1/100 0.092 0.106 3.692e-04 1.890e-4
1/200 0.047 0.95 0.051 1.06 9.221e-05 2.00 4.721e-05 2.00
1/300 0.032 0.97 0.034 1.03 4.098e-05 2.00 2.098e-05 2.00
1/400 0.024 0.98 0.025 1.02 2.305e-05 2.00 1.180e-05 2.00
Πίνακας 9.3: Τα σφάλματα |y(tN ) − y N | στο σημείο tN = N h = 10 των μεθόδων Εuler, πεπλεγμένης
Εuler, τραπεζίου και μέσου, υπολογισμένα για N = 100, 200, 300, 400 και οι αντίστοιχες προσεγγίσεις της
τάξης ακρίβειας p για το Παράδειγμα 9.3.
Αν η f δεν είναι γραμμική ως προς τη μεταβλητή y, τότε για να προσδιορίσουμε το y n+1 στην πεπλεγμένη
μέθοδο Euler, στη μέθοδο του τραπεζίου ή στη μέθοδο του μέσου πρέπει να λύσουμε ένα μη γραμμικό σύστημα
ή εξίσωση. Επομένως θέλουμε να δείξουμε ότι μπορούμε να ορίσουμε το y n+1 μονοσήμαντα.
Θα εξετάσουμε για ευκολία την περίπτωση της πεπλεγμένης μεθόδου Euler,
y n+1 = y n + hf (tn+1 , y n+1 ), n = 0, . . . , N − 1. (9.43)
Οι άλλες δύο μέθοδοι προκύπτουν ανάλογα. Έστω ότι η f ικανοποιεί τη ολική συνθήκη του Lipschitz (8.2) με
σταθερά Lipschitz L. Υποθέτουμε οτι το βήμα h είναι κατάλληλα μικρό ωστε hL < 1. Στη συνέχεια ορίζουμε
τη συνάρτηση g : Rn → Rn
g(x) := y n + hf (tn+1 , x)
η οποία είναι συστολή στο Rn , βλέπε Θεώρημα 7.2 και άρα έχει μοναδικό σταθερό σημείο y n+1 , αφού η (9.43)
γράφεται
y n+1 = g(y n+1 ).
Για να μπορέσουμε να προσεγγίσουμε τo σταθερό σημείο y n+1 , δημιουργούμε μια ακολουθία σημείων xk ∈
Rn , τέτοια ώστε
xk+1 = y n + hf (tn+1 , xk ), k = 0, 1, . . . , με x0 = y n . (9.44)
To x0 = y n είναι μια καλή αρχική προσέγγιση του σταθερού σημείου y n+1 . Στην πράξη για να προσεγγί-
σουμε το y n+1 εκτελούμε μερικές επαναλήψεις της (9.44). Μπορούμε να θεωρήσουμε κάποιο κριτήριο για
να σταματήσουμε τις επαναλήψεις, όπως να θεωρήσουμε ότι πάντα θα εκτελούμε π.χ. kmax = 5 επαναλή-
ψεις ή να ελέγχουμε αν η διαφορά, ανάμεσα σε συνεχόμενες προσεγγίσεις γίνει μικρότερη από μια επιθυμητή
ακρίβεια, π.χ. T OL = 10−8 .
Παράδειγμα 9.4. Ας εφαρμόσουμε τώρα την πεπλεγμένη μέθοδο Euler, τη μέθοδο του τραπεζίου και τη
μέθοδο του μέσου για να κατασκευάσουμε προσεγγίσεις για τη λύση του ακόλουθου προβλήματος αρχικών
τιμών: Έστω y : [0, 1] → R τέτοια ώστε
y(t)
y ′ (t) = 10y(t)(1 − ), t ∈ [0, 1], με y(0) = 10. (9.45)
100
100
Το πρόβλημα (9.45) έχει μοναδική λύση στο [0, 1] και η ακριβής λύση του είναι y(t) = 1+9e −10t . Επειδή
η διαφορική εξίσωση δεν είναι γραμμική ως προς y, η πεπλεγμένη μέθοδος Euler, η μέθοδος του τραπεζίου
και η μέθοδος του μέσου δεν μπορούν να υλοποιηθούν με άμεσο τρόπο. Επομένως σε κάθε βήμα πρέπει να
λύνουμε και από μια μη γραμμική εξίσωση. Τα κριτήρια τερματισμού των επαναλήψεων είναι T OL = 10−8
και kmax = 50. Θεωρούμε διαμερισμούς του διαστήματος [0, 1] με h = 1/N , N = 50, 100, 150, 200.
Στον Πίνακα 9.4 αναφέρουμε τα σφάλματα |y(tN ) − y N | αν χρησιμοποιήσουμε τη μεθόδο του Εuler, την
πεπλεγμένη μεθόδο του Εuler, τη μέθοδο του τραπεζίου και τη μέθοδο του μέσου. Επίσης αναφέρουμε και τις
αντίστοιχες προσεγγίσεις της τάξης ακρίβειας της μεθόδου.
Euler Πεπλεγμένη Euler Μέσου Τραπεζίου

1/50 2.557 2.521 0.089 0.039
1/100 1.280 0.99 1.271 0.99 0.022 1.99 0.010 1.99
1/150 0.853 1.00 0.849 1.00 0.010 2.00 0.004 2.00
1/200 0.640 1.00 0.637 1.00 0.006 2.00 0.002 2.00
Πίνακας 9.4: Τα σφάλματα |y(tN ) − y N | στο σημείο tN = N h = 1 των μεθόδων Εuler, πεπλεγμένης
Εuler, τραπεζίου και μέσου υπολογισμένα για N = 50, 100, 150, 200 και οι αντίστοιχες προσεγγίσεις της
τάξης ακρίβειας p για το Παράδειγμα 9.4.
βουλευτεί: [1], [2], [4], [5], [6], [7], [10], [11].
Σχήμα 9.5: Η ακριβής λύση του προβλήματος στο Παράδειγμα 9.4 καθώς και οι προσεγγιστικές λύσεις με
τη μέθοδο Euler, την πεπλεγμένη μεθόδο Εuler, τη μέθοδο του τραπεζίου και τη μέθοδο του μέσου, με βήμα
h = 1/10.
9.6.1 Θεωρήστε έναν μη ομοιόμορφο διαμερισμό του διαστήματος [a, b], a = t0 < t1 < · · · < tN = b
και υποθέστε ότι αν hn = tn+1 − tn , 0 ≤ n ≤ N − 1, είναι το μεταβλητό βήμα, τότε minn hn ≥
λ maxn hn , για κάποια σταθερά λ > 0 ανεξάρτητη του n. Δείξτε ένα φράγμα για το σφάλμα της
μεθόδου Euler ανάλογο του (9.9) με h = maxn hn .
9.6.2 Θεωρήστε το σύστημα


 ′
x (t) = −y(t),
y ′ (t) = x(t), t ≥ 0, (9.46)


x(0) = 1, y(0) = 0,
με την προφανή μοναδική λύση x(t) = cos t, y(t) = sin t, η οποία ικανοποιεί τον νόμο διατήρησης
x2 (t) + y 2 (t) = 1, t ≥ 0. (9.47)
Θεωρήστε τη μέθοδο Euler για το σύστημα (9.46) με σταθερό h > 0. Δείξτε ότι δεν ικανοποιεί το
διακριτό ανάλογο της (9.47), δηλαδή ότι (xn )2 + (y n )2 6= 1 αν n > 1. Μάλιστα δείξτε ότι για
σταθερό h, limn→∞ [(xn )2 + (y n )2 ] = ∞.
9.6.3 Εξετάστε αν υπάρχει διακριτό ανάλογο της (9.47) για την προσεγγιστική λύση του συστήματος (9.46)
με τη μέθοδο


x
n+1
− xn = −hy n , n ≥ 0,
y n+1 − y n = hxn+1 , n ≥ 0,

 0
x = 1, y 0 = 0.
με την πεπλεγμένη μέθοδο Euler



x
n+1
− xn = −hy n+1 , n ≥ 0,
y n+1 − y n = hxn+1 , n ≥ 0,

 0
x = 1, y 0 = 0.
με τη μέθοδο του τραπεζίου


x
n+1
− xn = − h2 (y n + y n+1 ), n ≥ 0,
y n+1 − y n = h2 (xn + xn+1 ), n ≥ 0,

 0
x = 1, y 0 = 0.
9.6.6 Αποδείξτε τη σύγκλιση της πεπλεγμένης μεθόδου Euler για το πρόβλημα αρχικών τιμών (9.1) ακο-
λουθώντας την απόδειξη του θεωρήματος 9.3.
9.6.7 Αποδείξτε τη σύγκλιση της μεθόδου του τραπεζίου για το πρόβλημα αρχικών τιμών (9.1) ακολουθώ-
ντας την απόδειξη του θεωρήματος 9.3.
[1] K. E. Atkinson, W. Han και D. E. Stewart. Numerical Solution of Ordinary Differential Equations.
English. Hoboken, NJ: John Wiley & Sons, 2009, σσ. xii + 252. isbn: 978-0-470-04294-6.
[2] J.C. Butcher. The Numerical Analysis of Ordinary Differential Equations. Hoboken, New Jersey: John
Wiley & Sons, 1987.
[3] P. J. Davis και P. Rabinowitz. Methods of Numerical Integration. English. 2nd. Orlando: Academic
Press, Inc., 1984.
[4] D. F. Griffiths και D. J. Higham. Numerical Methods for Ordinary Differential Equations. Initial Value
Problems. English. London: Springer, 2010, σσ. xiv + 271. isbn: 978-0-85729-147-9. doi: 10 .
1007/978‐0‐85729‐148‐6.
[5] E. Hairer, S. P. Nørsett και G. Wanner. Solving Ordinary Differential Equations. I: Nonstiff Problems.
English. Τόμ. 8. Berlin: Springer, 2010, σσ. xv + 528. isbn: 978-3-642-05163-0.
[6] A. Iserles. A First Course in the Numerical Analysis of Differential Equations. English. 2nd ed. Camb.
Texts Appl. Math. Cambridge: Cambridge University Press, 2009. isbn: 978-0-521-73490-5. doi:
10.1017/CBO9780511995569.
[7] J. D. Lambert. Numerical Methods for Ordinary Differential Dystems: The Initial Value Problem. En-
glish. Chichester etc.: John Wiley &| Sons, 1991, σσ. x + 293. isbn: 0-471-92990-5.
isbn: 0-521-00794-1.
Κρήτης, 2017.
[10] Γ. Δ. Ακρίβης και Β.Α. Δουγαλής. Αριθμητικές Μέθοδοι για Συνήθεις Διαφορικές Εξισώσεις. Πανεπι-
στημιακές Εκδόσεις Κρήτης, 2015.
[11] Μ. Ν. Βραχάτης. Αριθμητική Ανάλυση: Συνήθεις Διαφορικές Εξισώσεις. Εκδόσεις Κλειδάριθμος, 2012.
ΚΕΦΑΛΑΙΟ 10
ΜΟΝΟΒΗΜΑΤΙΚΕΣ ΜΕΘΟΔΟΙ ΙΙ. ΜΕΘΟΔΟΙ

RUNGE-KUTTA

Περίληψη
Οι μέθοδοι Runge-Kutta είναι μια κατηγορία αριθμητικών μεθόδων για την επίλυση προβλημάτων αρχικών
τιμών
y ′ (t) = f (t, y(t)), a ≤ t ≤ b,
y(a) = y0 .
Οι μέθοδοι Runge-Kutta είναι μονοβηματικές μέθοδοι, απαιτούν όμως τον υπολογισμό διάφορων ενδιάμε-
σων τιμών οι οποίες όμως δεν ξαναχρησιμοποιούνται. Θα ορίσουμε αυτές τις μεθόδους οι οποίες χωρίζονται
σε άμεσες και πεπλεγμένες μεθόδους. Θα μελετήσουμε την ευστάθεια, τη συνέπεια, την τάξη ακρίβειας και
τη σύγκλιση αυτών των μεθόδων. Επίσης θα δείξουμε ικανές συνθήκες για τον προσδιορισμό της τάξης ακρί-
βειάς τους. Οι πεπλεγμένες μέθοδοι Runge-Kutta είναι πιο απαιτητικές στην υλοποίησή τους από τις άμεσες
μεθόδους Runge-Kutta, όμως έχουν υψηλή τάξη ακρίβειας και εξαιρετικές ιδιότητες ευστάθειας.
πολλές διαστάσεις. Διανυσματικοί χώροι με νόρμα. Αριθμητική επίλυση μη γραμμικών συστημάτων. Αριθμη-
τική ολοκλήρωση.

148 ΜΟΝΟΒΗΜΑΤΙΚΕΣ ΜΕΘΟΔΟΙ ΙΙ. ΜΕΘΟΔΟΙ RUNGE-KUTTA
10.1 Μέθοδοι Runge-Kutta
Για την επίλυση προβλημάτων αρχικών τιμών
y ′ (t) = f (t, y(t)), a ≤ t ≤ b,

(10.1)
y(a) = y0 ,
με y(t) ∈ Rm , θα θεωρήσουμε τις μεθόδους Runge–Kutta. Οι μέθοδοι Runge–Kutta είναι μονοβηματικές

μέθοδοι, δηλαδή για τον υπολογισμό της προσέγγισης y n+1 χρησιμοποιούν μόνο την αμέσως προηγούμενη
τιμή y n . Βασίζονται σε μια κατάλληλη προσέγγιση του ολοκληρώματος της ολοκληρωτικής μορφής της δια-
φορικής εξίσωσης (10.1),
Z t Z t
′
y(t) = y(a) + y (s) ds = y0 + f (s, y(s)) ds. (10.2)
a a
Για ευκολία θα περιοριστούμε στην περίπτωση m = 1. Η επέκταση σε συστήματα διαφορικών εξισώσεων

Rb
με m > 1 είναι άμεση. Η αριθμητική προσέγγιση ενός ολοκληρώματος της μορφής a g(s) ds μπορεί να
υπολογιστεί σύμφωνα με ένα πεπερασμένο άθροισμα Q(g), το οποίο καλείται τύπος ή κανόνας αριθμητικής
ολοκλήρωσης . Πιο συγκεκριμένα,
Z b X
q
g(s) ds ≈ Q(g) = wj g(sj ),
a j=1
όπου οι κόμβοι sj είναι σημεία στο διάστημα ολοκλήρωσης και τα βάρη wj είναι πραγματικοί αριθμοί. Υπάρ-
χουν και κανόνες ολοκλήρωσης στους οποίους χρησιμοποιούνται και κόμβοι εκτός του διαστήματος ολοκλή-
ρωσης. Για μια πιο αναλυτική παρουσίαση κανόνων αριθμητικής ολοκλήρωσης παραπέπουμε στα [3], [8],
[9].
Θεωρούμε μια διαμέριση του διαστήματος [a, b], tn = a + nh, n = 0, . . . , N , h = b−a N
, N ∈ N.
n n+1
Ολοκληρώντας τη διαφορική εξίσωση (10.1) στο διάστημα [t , t ] προκύπτει η σχέση
Z tn+1 Z 1
n+1 n n
y(t ) = y(t ) + f (τ, y(τ )) dτ = y(t ) + h f (tn + hτ, y(tn + hτ )) dτ.
tn 0
Μπορούμε να θεωρήσουμε έναν κανόνα αριθμητικής ολοκλήρωσης με βάρη bi και κόμβους τi , i = 1, . . . , q,

τέτοια ώστε να προσεγγίσουμε το ολοκλήρωμα μιας συνάρτησης στο [0, 1],
Z 1 X
q
g(s) ds ≈ bi g(τi ), (10.3)
0 i=1
επομένως έχουμε
X
q
y(t n+1
) ≈ y(t ) + h n
bi f (tn + hτi , y(tn + hτi )). (10.4)
i=1
Για να μπορέσουμε να υπολογίσουμε τις τιμές της f στο τελευταίο άθροισμα θα χρειαστεί να κατασκευάσουμε
προσεγγίσεις για τις y(tn + hτi ), i = 1, . . . , q. Αυτό μπορούμε να το υλοποιήσουμε με παρόμοιο τρόπο
όπως κάναμε προηγουμένως για την προσέγγιση της y(tn+1 ). Ολοκληρώνουμε τώρα τη διαφορική εξίσωση
(10.1) στο διάστημα [tn , tn + hτi ], οπότε προκύπτει
Z tn +hτi Z τi
n n n
y(t + hτi ) = y(t ) + f (τ, y(τ )) dτ = y(t ) + h f (tn + hτ, y(tn + hτ )) dτ.
tn 0
Στη συνέχεια θεωρούμε προσέγγισεις των ολοκληρωμάτων μιας συνάρτησης στο [0, τi ], i = 1, . . . , q, με
κανόνες αριθμητικής ολοκλήρωσης με βάρη aij και τους ίδιους κόμβους τj ∈ [0, 1], j = 1, . . . , q, δηλαδή
Z τi X
q
g(s) ds ≈ aij g(τj ), i = 1, . . . , q. (10.5)
0 j=1
Οπότε έχουμε
X
q
y(t + hτi ) ≈ y(t ) + h
n n
aij f (tn + hτj , y(tn + hτj )), i = 1, . . . , q. (10.6)
j=1
Θα συμβολίζουμε με y n την τιμή που παράγει μια μέθοδος Runge-Kutta για την προσέγγιση της λύσης
στο σημείο tn . Η κατασκευή της επόμενης προσέγγισης y n+1 πραγματοποιείται με τον ακόλουθο τρόπο.
Χρησιμοποιούμε την τιμή y n για να κατασκευάσουμε q ∈ N προσεγγίσεις της λύσης στα ενδιάμεσα σημεία ή
στάδια tn,i = tn + τi h, i = 1, . . . , q, σύμφωνα με την προσέγγιση (10.6). Στη συνέχεια χρησιμοποιώντας
αυτές τις q ενδιάμεσες προσεγγίσεις της λύσης υπολογίζουμε την επόμενη προσέγγιση y n+1 σύμφωνα με την
(10.4). Ο αριθμός q ∈ N καθορίζει τον αριθμό των σταδίων μιας μεθόδου Runge-Kutta.
Ορισμός 10.1. Μια μέθοδος Runge-Kutta με q στάδια για τον υπολογισμό της προσεγγιστικής λύσης {y n },
n = 0, . . . , N , της διαφορικής εξίσωσης (10.1), ορίζεται από τις σχέσεις y 0 = y0 και
X
q
y n,i = y n + h aij f (tn,j , y n,j ), i = 1, . . . , q, (10.7)
j=1
X q
y n+1 = y n + h bi f (tn,i , y n,i ), n = 0, . . . , N − 1, (10.8)
i=1
όπου aij ∈ R, bj , τj ∈ [0, 1] για i, j = 1, . . . , q και tn,i = tn + hτi , i = 1, . . . , q. Ο πίνακας A =

[aij ] ∈ Rq×q και τα διανύσματα b = [bj ], τ = [τj ] ∈ Rq συνήθως γράφονται στο μητρώο (tableau)
a11 · · · a1q τ1
A τ .. ... .. ..
= . . . (10.9)
bT aq1 · · · aqq τq
b1 · · · bq
Ο φορμαλισμός των μεθόδων Runge-Kutta οφείλεται στον J. C. Butcher, [2] και το παραπάνω μητρώο κα-
λείται και μητρώο Butcher μιας μεθόδου Runge-Kutta.
Μια μέθοδος Runge–Kutta θα λέγεται άμεση αν aij = 0 για i ≤ j, διαφορετικά θα λέγεται πεπλεγμένη.
Αν aij = 0 για i < j, η μέθοδος θα λέγεται ημιπεπλεγμένη ή διαγώνια πεπλεγμένη.
Παρατήρηση 10.1. Ένας ισοδύναμος τρόπος ορισμού της γενικής μεθόδου Runge-Kutta με q στάδια είναι ο
ακόλουθος: Θέτουμε k n,i = f (tn,i , y n,i ), i = 1, . . . , q, οπότε οι σχέσεις (10.7) και (10.8) γράφονται ως
X
q
k n,i = f (tn,i , y n + h aij k n,j ), i = 1, . . . , q, (10.10)
j=1
X
q
n+1 n
y =y +h bi k n,i . (10.11)
i=1
Παράδειγμα 10.1. Το μητρώο

0 0
1
περιγράφει μια μέθοδο Runge-Kutta με ένα στάδιο για την οποία y n,1 = y n και
y n+1 = y n + hf (tn,1 , y n,1 ) = y n + hf (tn , y n ),
δηλαδή την άμεση μέθοδο του Euler.

Όμοια, το μητρώο
1 1
1
περιγράφει μια μέθοδο Runge–Kutta με ένα στάδιο για την οποία y n,1 = y n + hf (tn+1 , y n,1 ) και y n+1 =
y n +hf (tn+1 , y n,1 ), οπότε y n,1 = y n+1 . Συνεπώς y n+1 = y n +hf (tn+1 , y n+1 ), δηλαδή την πεπλεγμένη
μέθοδο του Euler.
Το μητρώο
1/2 1/2
1
περιγράφει μια μέθοδο Runge-Kutta με ένα στάδιο για την οποία y n,1 = y n + h2 f (tn + h2 , y n,1 ) και y n+1 =
n+1 n
y n + hf (tn + h2 , y n,1 ). Εύκολα βλέπουμε τότε ότι y n,1 = y 2+y δηλαδή, ισχύει y n+1 = y n + hf (tn +
h y n+1 +y n
2
, 2
) η οποια καλείται και πεπλεγμένη μέθοδος του μέσου.
Παράδειγμα 10.2. Το μητρώο
0 0 0
1/2 0 1/2
0 1
περιγράφει τη μέθοδο που προκύπτει από τις σχέσεις
y n,1 = y n ,
h
y n,2 = y n + f (tn , y n ),
2
h h
y n+1 = y n + hf (tn + , y n + f (tn , y n )),
2 2
και καλείται βελτιωμένη μέθοδος του Euler. Το μητρώο
0 0 0
1/2 1/2 1
1/2 1/2
περιγράφει τη μέθοδο του τραπεζίου, γιατί από τις σχέσεις
y n,1 = y n ,
h h
y n,2 = y n + f (tn , y n ) + f (tn+1 , y n,2 ),
2 2
h h
y n+1 = y n + f (tn , y n ) + f (tn+1 , y n,2 ),
2 2
έχουμε y n+1 = y n,2 και συνεπώς
h h
y n+1 = y n + f (tn , y n ) + f (tn+1 , y n+1 ).
2 2
Παράδειγμα 10.3. Μια ενδιαφέρουσα οικογένεια ημιπεπλεγμένων μεθόδων με q = 2 στάδια δίνεται από το
μονοπαραμετρικό μητρώο με λ ∈ R
λ 0 λ
1 − 2λ λ 1 − λ . (10.12)
1/2 1/2
√
3± 3
Οι τιμές λ = 6
δίνουν τις λεγόμενες μεθόδους “(2,3)-DIRK” (Diagonally Implicit Runge-Kutta).
Παράδειγμα 10.4. H μέθοδος που δίνεται από το μητρώο
1/4 1/4 − µ 1/2 − µ
1/4 + µ 1/4 1/2 + µ (10.13)
1/2 1/2
√
με µ = 3/6 είναι η λεγόμενη μέθοδος Gauss-Legendre δύο σημείων. Τα τi = 1/2 ± µ είναι οι κόμβοι και
τα bi = 1/2 τα βάρη του κανόνα ολοκλήρωσης Gauss με δύο σημεία με συνάρτηση βάρους w(x) = 1 στο
[0, 1].
Παράδειγμα 10.5. Γνωστές μέθοδοι Runge-Kutta 3-σταδίων περιγράφονται από τα μητρώα
0 0 0 0 0 0 0 0
1/2 0 0 1/2 1/3 0 0 1/3
(10.14)
−1 2 0 1 0 2/3 0 2/3
1/6 2/3 1/6 1/4 0 3/4
H πρώτη καλείται άμεση μέθοδος Runge-Kutta 3ης τάξεως και η δεύτερη μέθοδος του Heun 3ης τάξεως .
Παράδειγμα 10.6. Γνωστές πεπλεγμένες μέθοδοι Runge-Kutta 3-σταδίων περιγράφονται από τα μητρώα
0 0 0 0 1/6 −1/3 1/6 0
5/24 1/3 −1/24 1/2 1/6 5/12 −1/12 1/2
(10.15)
1/6 2/3 1/6 1 1/6 2/3 1/6 1
1/6 2/3 1/6 1/6 2/3 1/6
η πρώτη καλείται μέθοδος Lobatto IIIA και η δεύτερη Lobatto IIIC.
Παράδειγμα 10.7. Οι κλασικές μέθοδοι Runge-Kutta περιγράφονται από τα μητρώα
0 0 0 0 0 0 0 0 0 0
1/2 0 0 0 1/2 1/3 0 0 0 1/3
0 1/2 0 0 1/2 −1/3 1 0 0 2/3 (10.16)
0 0 1 0 1 1 −1 1 0 1
1/6 1/3 1/3 1/6 1/8 3/8 3/8 1/8
Πολλά παραδείγματα μεθόδων Runge-Kutta υπάρχουν στα βιβλία [2] και [5].
10.2 Επιλυσιμότητα μεθόδων Runge-Kutta και ευστάθεια
Στην περίπτωση μιας άμεσης μεθόδου Runge-Kutta είναι προφανές ότι οι τιμές y n,i στα ενδιάμεσα στάδια
είναι καλώς ορισμένες και άρα και η επόμενη προσέγγιση y n+1 . Στην περίπτωση πεπλεγμένων μεθόδων
Runge–Kutta θα χρειαστεί να δείξουμε ότι το μη γραμμικό σύστημα (10.7) που ορίζει τα {y n,i } συναρ-
τήσει του y n λύνεται μονοσήμαντα. Υποθέτουμε, βέβαια, ότι ισχύουν οι υποθέσεις του θεωρήματος Picard-
Lindelöf, δηλαδή η f ικανοποιεί την ολική συνθήκη Lipschitz,
kf (t, u) − f (t, v)k ≤ Lku − vk, ∀u, v ∈ Rn , t ∈ [a, b]. (10.17)
Θεώρημα 10.1. Θεωρούμε μια πεπλεγμένη μέθοδο Runge-Kutta της μορφής (10.7)–(10.8). Έστω |A| ο πίνα-
κας των απολύτων τιμών των στοιχείων aij του πίνακα A και ρ(|A|) η φασματική του ακτίνα. Τότε για κάθε h
h ≤ h0 < (Lρ(|A|))−1 , (10.18)
το σύστημα (10.7) έχει μοναδική λύση y n,i , i = 1, . . . , q.
Απόδειξη. Θεωρούμε την απεικόνιση F : Rq → Rq όπου

   n P 
ζ1 y + h qj=1 a1j f (tn,j , ζj )
ζ 2  y n + h Pq a2j f (tn,j , ζj )
   j=1 
ζ =  ..  7→ F (ζ) =  . .
.  .. 
Pq
ζq n n,j
y + h j=1 aqj f (t , ζj )
Έχουμε, λόγω της συνθήκης Lipschitz (10.17), ότι για κάθε ζ, ξ ∈ Rq
X
q
|F (ζ)i − F (ξ)i | ≤ Lh |aij | |ζj − ξj |, 1 ≤ i ≤ q.
j=1
Αν συμβολίσουμε [x] = (|x1 |, . . . , |xq |)T τότε οι προηγούμενες σχέσεις γράφονται ως¹
[F (ζ) − F (ξ)] ≤ Lh|A| [ζ − ξ], ∀ ζ, ξ ∈ Rq .
Αν τώρα F 2 (ζ) = F (F (ζ)) και γενικά F k (ζ) = F (F k−1 (ζ)), η παραπάνω σχέση εφαρμοζόμενη κατ’
επανάληψη δίνει
[F k (ζ) − F k (ξ)] ≤ (Lh|A|)k [ζ − ξ], ∀ ζ, ξ ∈ Rq . (10.19)
Από την υπόθεση (10.18) έχουμε hLρ(|A|) = ρ(hL|A|) < 1. Επειδή khL|A|k ≤ ρ(hL|A|), η ακολου-
θία πινάκων (hL|A|)k τείνει στο μηδέν καθώς k → ∞. Άρα, για κάποιο k0 αρκετά μεγάλο όλα τα στοιχεία
του πίνακα (hL|A|)k0 θα γίνουν μικρότερα από a/q, όπου a = a(k0 ) < 1. Συνεπώς από την (10.19)
έχουμε
Xq
|F (ζ)i − F (ξ)i | ≤ (a/q)
k0 k0
|ζj − ξj |, 1 ≤ i ≤ q.
j=1
Αθροίζοντας τις προηγούμενες σχέσεις καταλήγουμε στην
X
q
X
q
|F (ζ)i − F (ξ)i | ≤ a
k0 k0
|ζj − ξj |,
i=1 j=1
η οποία δείχνει ότι η απεικόνιση F k0 είναι συστολή σ’ όλο το Rq . Έπεται ότι η απεικόνιση ζ 7→ F (ζ) έχει
μοναδικό σταθερό σημείο σ’ όλο το Rq , δηλαδή το σύστημα (10.7) έχει μοναδική λύση {y n,i }, 1 ≤ i ≤
q.
Το επόμενο αποτέλεσμα ερμηνεύεται ως ευστάθεια των μεθόδων Runge-Kutta. Είναι ένα από τα δύο απο-
τελέσματα που χρειαζόμαστε για την απόδειξη ενός θεωρήματος σύγκλισης για τις μεθόδους Runge-Kutta.
Το δεύτερο αποτέλεσμα αφορά την τάξη ακρίβειας των μεθόδων, δείτε την προηγούμενη παράγραφο.
¹Αν y, v ∈ Rq γράφουμε y ≤ v αν και μόνο αν yi ≤ vi , i = 1, . . . , q.

Θεώρημα 10.2. Έστω ότι ισχύουν οι υποθέσεις του Θεωρήματος 10.1. Για δεδομένο y 0 ∈ R θεωρούμε τις
προσεγγίσεις {y n }, 0 ≤ n ≤ N , που παράγει η μέθοδος Runge–Kutta (10.7)–(10.8). Θεωρούμε επίσης τους
αριθμούς z n,i , 0 ≤ n ≤ N − 1, 1 ≤ i ≤ q, και z n , 0 ≤ n ≤ N , που ορίζουν οι εξισώσεις
X
q
z n,i
=z +h n
aij f (tn,j , z n,j ), 1 ≤ i ≤ q, (10.20)
j=1
X
q
n+1 n
z =z +h bj f (tn,j , z n,j ) + ρn , (10.21)
j=1
για n = 0, . . . , N − 1, z 0 ∈ R και ρ0 , . . . , ρN −1 ∈ R δεδομένοι αριθμοί. Οι εξισώσεις αυτές έχουν προφανώς

μοναδική λύση για 0 ≤ n ≤ N − 1. Τότε ισχύει ότι
max |y n − z n | ≤ C1 |y 0 − z 0 | + C2 h−1 max |ρn |, (10.22)
0≤n≤N 0≤n≤N
όπου οι σταθερές C1 , C2 είναι ανεξάρτητες του h.

Απόδειξη. Αφαιρούμε κατά μέλη τις σχέσεις (10.7), (10.21) και χρησιμοποιούμε τη συνθήκη Lipschitz για
την f έτσι ώστε
X
q
|y n,i
− z | ≤ |y − z | + hL
n,i n n
|aij | |y n,j − z n,j |, 1 ≤ i ≤ q.
j=1
Θέτοντας Y n = (y n,1 , . . . , y n,q )T και Z n = (z n,1 , . . . , z n,q )T και χρησιμοποιώντας τον συμβολισμό του
Θεωρήματος 10.1 η παραπάνω σχέση γράφεται ως
[Y n − Z n ] ≤ |y n − z n |e + hL|A| [Y n − Z n ], (10.23)
όπου e = (1, . . . , 1)T ∈ Rq . Εφαρμόζοντας αυτήν τη σχέση κατ’ επανάληψη έχουμε
[U n − Z n ] ≤ |y n − z n | (Iq + hL|A| + · · · (hL|A|)k ) e
+ (hL|A|)k+1 [Y n − Z n ].
Χρησιμοποιώντας την υπόθεση h ≤ h0 και παίρνοντας το όριο καθώς k → ∞ έχουμε
[Y n − Z n ] ≤ |y n − z n | (Iq − h0 L|A|)−1 e,
από την οποία συμπεραίνουμε ότι υπάρχει σταθερά C ανεξάρτητη των h, n, τέτοια ώστε
|y n,i − z n,i | ≤ C |y n − z n |, 1 ≤ i ≤ q, 0 ≤ n ≤ N − 1. (10.24)
Αφαιρώντας, τώρα, τις (10.8), (10.21) κατά μέλη έχουμε για 0 ≤ n ≤ N − 1
X
q
|y n+1
−z n+1
| ≤ |y − z | + hL
n n
|bj | |y n,j − z n,j | + |ρn |. (10.25)
j=1
Αντικαθιστώντας την (10.24) στην (10.25) έχουμε

|y n+1 − z n+1 | ≤ (1 + C ′ h) |y n − z n | + |ρn |, 0 ≤ n ≤ N − 1,
P
όπου C ′ = CL qj=1 |bj |. Από το Λήμμα 9.1 παίρνουμε
′
C′N h eC N h − 1
max |y − z | ≤ en n
|y − z | +
0 0
max |ρn |,
0≤n≤N C ′ h 0≤n≤N
′ ′
από την οποία προκύπτει η (10.22) με σταθερές C1 = eC (b−a) και C2 = (eC (b−a) − 1)/C ′ .
10.3 Τοπικό σφάλμα διακριτοποίησης. Τάξη ακρίβειας
Θα πρέπει να διακρίνουμε και πάλι το σφάλμα μιας μεθόδου Runge-Kutta σε τοπικό σφάλμα διακριτοποίησης
και σε ολικό σφάλμα. Θα ορίσουμε το τοπικό σφάλμα διακριτοποίησης μιας μεθόδου Runge-Kutta με ανά-
λογο τρόπο όπως στις μονοβηματικές μεθόδους που είδαμε στο Κεφάλαιο 9, βλ. Ορισμό 9.5. Θεωρούμε τις
ποσότητες δ n ως εξής:
X
q
n,i n
ζ = y(t ) + h aij f (tn,j , ζ n,j ), i = 1, . . . , q, (10.26)
j=1
X
q
n n
δ[y](t , h) = (y(t ) + h bi f (tn,i , ζ n,i )) − y(tn+1 ), n = 0, . . . , N − 1. (10.27)
i=1
Ορισμός 10.2 (τοπικό σφάλμα διακριτοποίησης). Το τοπικό σφάλμα διακριτοποίησης της μεθόδου Runge-
Kutta (10.7)-(10.8) για την προσέγγιση της λύσης y(t) του προβλήματος αρχικών τιμών (9.30) ορίζεται
από τις σχέσεις (10.26)-(10.27). Λέμε ότι η τάξη ακρίβειας της μεθόδου Runge-Kutta (10.7)-(10.8) είναι
p, αν p είναι ο μεγαλύτερος ακέραιος για τον οποίο υπάρχει θετική σταθερά C ανεξάρτητη των h, N τέτοια
ώστε
max |δ[y](tn , h)| ≤ Chp+1 . (10.28)
0≤n≤N −1
Παρατήρηση 10.2. Δεδομένου του προηγούμενου θεωρήματος σύγκλισης για τις μεθόδους Runge-Kutta,
χρειάζεται να διερευνήσουμε την τάξη ακρίβειας μιας δεδομένης μεθόδου, δηλαδή να αποδείξουμε μια ανισό-
τητα της μορφής (10.28). Αν η μέθοδος είναι άμεση, τότε με απλή αντικατάσταση μπορούμε να απαλείψουμε
τους όρους ζ n,i από τις (10.37)–(10.38) και να εκφράσουμε το τοπικό σφάλμα διακριτοποίησης στη μορφή
δ[y](tn , h) = y(tn+1 ) − y(tn ) − hΦ(tn , y(tn ), h) (10.29)
όπου Φ είναι μια, πολύπλοκη γενικά, συνάρτηση (συγκρίνετε τη συνάρτηση Φ με τη συνάρτηση G του Ορι-
σμού 9.5). Αναπτύσσοντας κατά Taylor την y(tn+1 ) − y(tn ) γύρω από το σημείο tn παίρνουμε μια σειρά
δυνάμεων του h επί παραγώγους y (j) (tn ). Οι όροι αυτοί μέχρι τάξης hp θα πρέπει να απαλειφούν από ανάλο-
γους όρους του αναπτύγματος της συνάρτησης Φ γύρω από το σημείο (tn , y(tn )). Για τις έμμεσες μεθόδους
Runge-Kutta δεν είναι δυνατός ο προσδιορισμός της συνάρτησης Φ. Μπορούμε όμως να υπολογίσουμε με
διαδοχικές συνθέσεις δυναμοσειρών ενδιάμεσων ποσοτήτων, συνήθως των k n,i , δείτε την (10.10). Αυτήν
την τακτική ακολουθήσαμε στο Θεώρημα 9.3 για τον υπολογισμό του τοπικού σφάλματος διακριτοποίησης
της μεθόδου του μέσου. Η δυσκολία, φυσικά, αυξάνει εκθετικά με τον αριθμό των σταδίων.
Παράδειγμα 10.8. Για τον προσδιορισμό της τάξης ακρίβειας της βελτιωμένης μεθόδου του Euler η οποία
δίνεται από το ακόλουθο μητρώο
0 0 0
1/2 0 1/2
0 1
θα έχουμε ζ n,1 = y(tn ) και ζ n,2 = y(tn ) + (h/2)f (tn,1 , ζ n,1 ) = y(tn ) + (h/2)f (tn , y(tn )). Επομένως
δ[y](tn , h) = y(tn ) + hf (tn,2 , ζ n,2 ) − y(tn+1 ) = y(tn ) + hf (tn + h/2, ζ n,2 ) − y(tn+1 ).
Υποθέτουμε ότι η y είναι τρεις φορές συνεχώς παραγωγίσιμη και θα αναπτύξουμε το τοπικό σφάλμα δ n σε
σειρά δυνάμεων του h χρησιμοποιώντας το Θεωρήμα του Taylor με κέντρο το tn . Έχουμε
h2 ′′ n h3 h4
y(tn+1 ) = y(tn ) + hy ′ (tn ) + y (t ) + y ′′′ (tn ) + y ′′′ (ξ n ) (10.30)
2 6 24
με ξ n ∈ (tn , tn+1 ). Λόγω της διαφορικής εξίσωσης του προβλήματος αρχικών τιμών ισχύει ότι y ′ (t) =
f (t, y(t)), y ′′ (t) = ft (t, y(t)) + fy (t, y(t))y ′ (t) = ft (t, y(t)) + fy (t, y(t))f (t, y(t)) και
d
y ′′′ (t) = (ft (t, y(t)) + fy (t, y(t))f (t, y(t))) = ftt (t, y(t)) + fty (t, y(t))f (t, y(t))
dt
+ {fty (t, y(t)) + fyy (t, y(t))f (t, y(t))}f (t, y(t))
+ fy (t, y(t)){ft (t, y(t)) + fy (t, y(t))f (t, y(t))}.
Για ευκολία στον συμβολισμό θα θέσουμε f n = f (tn , y(tn ), ftn = ft (tn , y(tn ), fyn = fy (tn , y(tn ) και
παρόμοια για τις υπόλοιπες παραγώγους. Συνεπώς
h2 n
y(tn+1 ) = y(tn ) + hf n + (f + fyn f n )
2 t (10.31)
h3 n
+ ftt + ftyn f n + ftyn + fyy
n n
f f n + fyn ftn + fyn f n + O(h4 ).
6
Επίσης αναπτύσσοντας κατά Taylor ως προς την πρώτη μεταβλητή της f , έχουμε
h h h2 h3
f (tn + , ζ n,2 ) = f (tn , ζ n,2 ) + ft (tn , ζ n,2 ) + ftt (tn , ζ n,2 ) + ftt (ξ˜n , ζ n,2 ) (10.32)
2 2 8 48
Στη συνέχεια αναπτύσσοντας ως προς τη δεύτερη μεταβλητή της f παίρνουμε
h h 1 n
f (tn , ζ n,2 ) = f n + f n fyn + ( f n )2 fyy + O(h3 )
2 2 2
h n n (10.33)
ft (t , ζ ) = ft + f fty + O(h )
n n,2 n 2
2
ftt (tn , ζ n,2 ) = fttn + O(h).
Οπότε
h h h 1 n h h h2
f (tn + , ζ n,2 ) = f n + f n fyn + ( f n )2 fyy + (ftn + f n ftyn ) + fttn + O(h3 ).
2 2 2 2 2 2 8
(10.34)
Επομένως συνδυάζοντας τις παραπάνω σχέσεις παίρνουμε
h h 1 n h h h2
δ[y](tn , h) = y(tn ) + h{f n + f n fyn + ( f n )2 fyy + (ftn + f n ftyn ) + fttn }
2 2 2 2 2 8
2
h
− {y(tn ) + hf n + (ftn + fyn f n )
2
h3 n
+ ftt + ftyn f n + ftyn + fyy f f n + fyn ftn + fyn f n } + O(h4 )
n n
6 (10.35)
h3 n 2 n
= ((f ) fyy + 2f n ftyn + fttn )
8
h3
− {fttn + ftyn f n + ftyn + fyy f f n + fyn ftn + fyn f n } + O(h4 )
n n
6
= O(h3 ).
Συνεπώς η βελτιωμένη μέθοδος του Euler έχει τάξη δύο, γιατί αναγκαστικά παραμένουν όροι τάξεως h3 στο
ανάπτυγμα δ[y](tn , h).
Προφανώς μας ενδιαφέρει με όσο το δυνατό μικρότερο αριθμό σταδίων q να επιτύχουμε όσο το δυνατό
μεγαλύτερη τάξη ακρίβειας p. Θα δούμε αργότερα ότι υπάρχει περιορισμός: η τάξη ακρίβειας μιας μεθόδου
με q στάδια είναι το πολύ p = 2q.
Παράδειγμα 10.9. Θεωρούμε το πρόβλημα αρχικών τιμών: Έστω y : [0, 10] → R τέτοια ώστε
y ′ (t) = y(t) cos(t), y(0) = 1. (10.36)

Η ακριβής λύση του προβλήματος (10.36) είναι y(t) = esin(t) . Θεωρούμε διαμερίσεις του [0, 10] με N =
100, 200, 300, 400 και χρησιμοποιούμε τις άμεσες μεθόδους Runge-Kutta βελτιωμένη Euler, Runge-Kutta
3-σταδίων και Runge-Kutta 4-σταδίων και τη διαγώνια πεπλεγμένη DIRK(2,3). Στον Πίνακα 10.1 αναφέ-
ρουμε τα σφάλματα |y(tN ) − y N |, με N h = 10 και την προσεγγιστική τάξη ακρίβειας.
Βελτ. Euler DIRK(2,3) RK-3 RK-4

1/100 5.817e-04 4.141e-05 1.920e-05 1.585e-07
1/200 1.424e-04 2.030 5.095e-06 3.022 2.346e-06 3.033 1.138e-08 3.801
1/300 6.284e-05 2.018 1.495e-06 3.024 6.921e-07 3.010 2.342e-09 3.898
1/400 3.522e-05 2.012 6.454e-07 2.918 2.916e-07 3.005 7.559e-10 3.931
Πίνακας 10.1: Σφάλματα μεθόδων Runge-Kutta, για N h = 10 και αντίστοιχες προσεγγίσεις της τάξης
ακρίβειας p.
Για την τάξη ακρίβειας των μεθόδων Runge-Kutta χρειαζόμαστε το τοπικό σφάλμα διακριτοποίησης. Από
τον Ορισμό 9.5 έχουμε
X
q
n
δ[y](t , h) = y(t n+1
) − y(t ) − h
n
bj f (tn,j , ζ n,j ), (10.37)
j=1
όπου
X
q
ζ n,i n
= y(t ) + h aij f (tn,j , ζ n,j ), 1 ≤ i ≤ q. (10.38)
j=1
Υποθέτουμε, βέβαια, ότι h ≤ h0 ≤ (Lρ(|A|))−1 έτσι ώστε το σύστημα (10.37)–(10.38) να έχει μονα-
δική λύση. Το επόμενο θεώρημα εκφράζει ποιοτικά τη γενική αρχή ότι ευστάθεια και συνέπεια συνεπάγονται
σύγκλιση.
Θεώρημα 10.3. Έστω ότι ισχύουν οι υποθέσεις του Θεωρήματος 10.1. Για y 0 ∈ R θεωρούμε τη μέθοδο (10.7)–
(10.8) για την οποία υποθέτουμε ότι ισχύει η (10.28). Τότε αν η λύση y(t) του (9.30) είναι αρκετά ομαλή, έχουμε
max |y n − y(tn )| ≤ C hp , (10.39)

0≤n≤N
′
όπου C = D(eC (b−a) − 1)/C ′ με C ′ η σταθερά στο Θεώρημα 10.2.
Απόδειξη. Γράφουμε την εξίσωση (10.37) στη μορφή
X
q
n+1 n
y(t ) = y(t ) + h bj f (tn,j , ζ n,j ) + δ[y](tn , h), (10.40)
j=1
έτσι ώστε οι εξισώσεις (10.38) και (10.40) να είναι της μορφής (10.20)–(10.21). Συνεπώς η (10.22) και το
γεγονός ότι y 0 = y(t0 ) = z 0 δίνουν
max |y(tn ) − y n | ≤ C2 h−1 max |δ[y](tn , h)|.

0≤n≤N 0≤n≤N
Η (10.39) προκύπτει από την παραπάνω σχέση και την (10.28).

Το πρόβλημα της κατασκευής όλων των μεθόδων Runge-Kutta με q στάδια και δεδομένη τάξη ακρίβειας
p γίνεται δύσκολο και πολύπλοκο όσο αυξάνει το q. Γενικά, για οποιοδήποτε q είναι πολύ δύσκολο να δια-
τυπωθούν εύκολα ελέγξιμες ικανές και αναγκαίες συνθήκες πάνω στους συντελεστές aij , bi , τi έτσι ώστε η
μέθοδος να έχει δεδομένη τάξη ακρίβειας p. Ένα θεώρημα το οποίο δίνει ικανές μόνο συνθήκες πάνω στους
συντελεστές της μεθόδου για δεδομένη τάξη ακρίβειας είναι το ακόλουθο, για την απόδειξη του οποίου πα-
ραπέμπουμε στο [12]:
Θεώρημα 10.4 (Butcher-Crouzeix). Υποθέτουμε ότι υπάρχουν ακέραιοι p, s, r ≥ 0 τέτοιοι ώστε
X
q
1
bi τiq = , 0 ≤ k ≤ p − 1,
i=1
k+1
X
q
τik+1
aij τjk = , 1 ≤ i ≤ q, 0 ≤ k ≤ s − 1,
j=1
k+1
X
q
bi (1 − τjk+1 )
bi τik aij = , 1 ≤ j ≤ q, 0 ≤ k ≤ r − 1,
i=1
k+1
p ≤ r + s + 1 και p ≤ 2s + 2.
Τότε η μέθοδος (10.7)-(10.8) έχει τάξη ακρίβειας p όταν εφαρμοσθεί στο πρόβλημα (9.30).
Παρατήρηση 10.3. Οι δύο πρώτες συνθήκες του Θεωρήματος 10.4 εκφράζουν, αντίστοιχα ότι οι κανόνες
ολοκλήρωσης (10.3) και (10.5) είναι ακριβείς για πολυώνυμα βαθμού το πολύ p − 1 και s − 1, αντίστοιχα.
Το θεώρημα του ακολουθεί διατυπώνει ικανές συνθήκες για να έχει η μέθοδος (10.7)–(10.8) τάξη ακρίβειας
p μόνο μέσω αυτών των κανόνων ολοκλήρωσης.
Θεώρημα 10.5. (α). Αν ο κανόνας ολοκλήρωσης (10.3) είναι τάξης p−1 και όλοι οι κανόνες ολοκλήρωσης (10.5)
είναι τάξης p − 2, τότε η μέθοδος (10.7)–(10.8) έχει τάξη p. (β) Έστω q ′ ο αριθμός των {τj }, 1 ≤ j ≤ q, που
είναι διαφορετικά μεταξύ τους. Αν όλοι οι κανόνες (10.5) είναι τάξης q ′ −1 και ο κανόνας (10.3) είναι τάξης p−1,
τότε η μέθοδος (10.7)–(10.8) έχει τάξη p. (γ) Υπάρχει μια μόνο μέθοδος Runge–Kutta με q στάδια που έχει τάξη
2q. Είναι η μέθοδος για την οποία τα τi και bi είναι, αντίστοιχα, οι κόμβοι και τα βάρη του κανόνα ολοκλήρωσης
Gauss-Legendre με συνάρτηση βάρους w(x) = 1 στο διάστημα [0, 1] (Τα aij κατασκευάζονται έτσι ώστε οι
κανόνες ολοκλήρωσης (10.5) να είναι ακριβείς για πολυώνυμα βαθμού το πολύ q − 1).
βουλευτεί: [1], [2], [6], [5], [4], [7], [10], [11].
10.4.1 Θεωρήστε το πρόβλημα y ′ (t) = 1, t ∈ [0, T ], με y(0) = 0. Δείξτε

Pq ότι μια μέθοδος Runge-Kutta q
σταδίων συγκλίνει στην ακριβή λύση y(t) = t αν και μόνο αν i=1 bi = 1.
10.4.2 Γράψτε τη μέθοδο y n+1 = y n + h(θf (tn , y n ) + (1 − θ)f (tn+1 , y n+1 )), n = 0, 1, . . . , θ ∈ [0, 1],
ως μια μέθοδο Runge-Kutta.
10.4.3 Δείξτε ότι η μέθοδος Runge-Kutta με μητρώο
1/3 1/3
1
έχει τάξη ακρίβειας ένα.
10.4.4 Δείξτε ότι η μέθοδος Runge-Kutta με μητρώο
0 0 0
1 0 1
1/2 1/2
είναι συνεπής.
10.4.5 Προσδιορίστε τις σταθερές a, τ , b1 , b2 , τέτοιες ώστε η μεθόδος Runge-Kutta με μητρώο
0 0 0
a 0 τ
b1 b2
να έχει τάξη ακρίβειας p = 2.
10.4.6 Προσδιορίστε ποιες σχέσεις πρέπει να ικανοποιούν οι σταθερές a21 , a31 , a32 , τ2 , τ3 , b1 , b2 , b3 , τέτοιες
ώστε η μεθόδος Runge-Kutta
0 0 0 0
a21 0 0 τ2
a31 a32 0 τ3
b1 b2 b3
να έχει τάξη ακρίβειας p = 3.
10.4.7 Δείξτε ότι αν y ′ (t) = y(t), t ∈ [0, T ], με y(0) = 1, τότε η μεθόδος Runge-Kutta με μητρώο
5/12 −1/12 1/3

3/4 1/4 1
3/4 1/4
έχει τάξη ακρίβειας τουλάχιστον p = 3.
10.4.8 Είναι η μεθόδος Runge-Kutta με μητρώο
1/12 −1/12 1/4 1/4

1/12 1/6 1/12 1/3
1/6 1/2 1/6 5/6
1/2 1/3 1/6
συνεπής και γιατί;
10.4.9 Δείξτε ότι αν y ′ (t) = y(t), t ∈ [0, T ], με y(0) = 1, τότε η μεθόδος Runge-Kutta
0 0 0 0 0
1/2 0 0 0 1/2
0 1/2 0 0 1/2
0 0 1 0 1
1/6 1/3 1/3 1/6

10.4.10 Δείξτε ότι αν y ′ (t) = y(t), t ∈ [0, T ], με y(0) = 1, τότε η μεθόδος Runge-Kutta
µ 0 µ
1 − 2µ µ 1 − µ
1/2 1/2
√
1 3
έχει τάξη ακρίβειας τουλάχιστον p = 3 αν και μόνο αν µ = ± .
2 6
10.4.11 Δείξτε ότι η μεθόδος Runge-Kutta
µ 0 µ
1 − 2µ µ 1 − µ
1/2 1/2
√
1 3
έχει τάξη ακρίβειας τουλάχιστον p = 3 αν και μόνο αν µ = ± .
2 6
10.4.12 Δείξτε ότι αν y ′ (t) = y(t) + t, t ∈ [0, T ], με y(0) = 2 τότε η μεθόδος Runge-Kutta
0 0 0 0
1/2 0 0 1/2
0 3/4 0 3/4
2/9 1/3 4/9
Wiley & Sons, 1987.
Press, Inc., 1984.
1007/978‐0‐85729‐148‐6.
10.1017/CBO9780511995569.
isbn: 0-521-00794-1.
Κρήτης, 2017.
[12] Β. Α. Δουγαλής. Διδακτικές σημειώσεις για το μεταπτυχιακό μάθημα 350 Αριθμητική Ανάλυση. Ηρά-
κλειο Κρήτης: Ινστιτούτο Υπολογιστικών Μαθηματικών, Ερευνητικό Κέντρο Κρήτης, 1987.
ΚΕΦΑΛΑΙΟ 11
ΠΟΛΥΒΗΜΑΤΙΚΕΣ ΜΕΘΟΔΟΙ

Περίληψη
Οι πολυβηματικές μέθοδοι είναι μια σημαντική κατηγορία αριθμητικών μεθόδων για την προσέγγιση της
λύσης προβλημάτων αρχικών τιμών
y ′ (t) = f (t, y(t)), a ≤ t ≤ b,

y(a) = y0 .
Η υλοποίησή τους είναι οικονομική και για αυτόν το λόγο εμφανίστηκαν και εφαρμόστηκαν πριν την εμφά-
νιση των υπολογιστών. Δείχνουμε τρόπους κατασκευή τους και ορίζουμε την ευστάθειά τους. Η ευστάθεια
των μεθόδων είναι ισοδύναμη με μια ιδιότητα ενός χαρακτηριστικού πολυωνύμου της μεθόδου που καλείται
συνθήκη των ριζών. Ορίζουμε τη συνέπεια και την τάξη ακρίβειας αυτών των μεθόδων. Θα δείξουμε ότι η συ-
νέπεια και η ευστάθεια μιας πολυβηματικής μεθόδου είναι ισοδύναμη με τη σύγκλιση της μεθόδου. Επίσης θα
αναφερθούμε σε ζητήματα πρακτικής εφαρμογής των πολυβηματικών μεθόδων.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Συνήθων Διαφορικών Εξισώσεων και Απειροστικού Λογισμού
σε πολλές διαστάσεις. Διανυσματικοί χώροι με νόρμα. Αριθμητική επίλυση μη γραμμικών συστημάτων.

162 ΠΟΛΥΒΗΜΑΤΙΚΕΣ ΜΕΘΟΔΟΙ
11.1 Γραμμικές πολυβηματικές μέθοδοι
Σε αυτό το κεφάλαιο θα θεωρήσουμε μια κατηγορία μεθόδων για την αριθμητική προσέγγιση της λύσης του
προβλήματος αρχικών τιμών (9.1),
(
y ′ (t) = f (t, y(t)), t ∈ [a, b],
(11.1)
y(a) = y0 ,
οι οποίες καλούνται γραμμικές πολυβηματικές μέθοδοι.

Στα προηγούμενα κεφάλαια είδαμε μεθόδους όπου για την κατασκευή της προσέγγισης y n+1 βασιζόμα-
σταν μόνο στην προηγούμενη προσέγγιση y n . Αυτές τις ονομάζουμε μονοβηματικές. Η δεύτερη μεγάλη κα-
τηγορία μεθόδων για τη λύση του προβλήματος (11.1) είναι οι πολυβηματικές μέθοδοι.
Σε αυτό το κεφάλαιο θα θεωρήσουμε μεθόδους όπου για να υπολογίσουμε την y n+1 θα βασιστούμε σε
περισσότερες από μία προηγούμενες προσεγγίσεις.
Ένα παράδειγμα πολυβηματικής είναι το ακόλουθο. Ας υποθέσουμε ότι γνωρίζουμε δύο αρχικές προσεγ-
γίσεις y 0 , y 1 . Τότε μια πολυβηματική μέθοδος περιγράφεται ως
(
y 0 , y 1 ∈ Rd ,
(11.2)
y n+2 − y n = 2hf (tn+1 , y n+1 ), n = 0, . . . , N − 2.
Η παραπάνω μέθοδος, επειδή βασίζεται στις δύο προηγούμενες προσεγγίσεις y n−1 , y n , για την κατασκευή
της y n+1 είναι μια 2-βηματική μέθοδος η οποία καλείται και (άμεση) μέθοδος του μέσου .
Μια πολυβηματική μέθοδος απαιτεί γνώση των τιμών y n , y n−1 , . . . , για τον προσδιορισμό της προσέγγι-
σης y n+1 . Για παράδειγμα, από το θεώρημα του Taylor και κάνοντας χρήση της διαφορικής εξίσωσης (11.1)
έχουμε
y(t + h) − y(t − h) = 2hy ′ (t) + O(h3 ) = 2hf (t, y(t)) + O(h3 ),
σχέση που δικαιολογεί τη μέθοδο
y n+1 − y n−1 = 2hf (tn , y n ) = 2hf n , n = 1, 2, . . . , N − 1. (11.3)
Αλλάζοντας τους δείκτες στην (11.3) θα γράφουμε τη μέθοδο στη μορφή (11.2). Χρησιμοποιώντας ανα-
πτύγματα Taylor των τιμών y(t + kh) για k = 1, 2, . . ., γύρω από το t είναι δυνατό να ορίσουμε και άλλες
πολυβηματικές μεθόδους. Μπορούμε όμως να χρησιμοποιήσουμε και αριθμητική ολοκλήρωση. Με την αριθ-
μητική ολοκληρώση προσεγγίζουμε το άγνωστο ολοκλήρωμα μιας συνάρτησης με ένα κατάλληλο άθροισμα.
Για μια πιο αναλυτική παρουσίαση κανόνων αριθμητικής ολοκλήρωσης παραπέμπουμε στα [11], [10], [3].
Για παράδειγμα, από τη σχέση
Z tn+2
y(t n+2
) − y(t ) =
n
f (s, y(s)) ds,
tn
και προσεγγίζοντας το ολοκλήρωμα στο δεξί μέλος με τον κανόνα του Simpson
Z tn+2
2h n+2
g(s) ds ≈ g(t ) + 4g(tn+1 ) + g(tn ) ,
tn 6
παίρνουμε τη διβηματική μέθοδο του Simpson
h n+2
y n+2 − y n = f + 4f n+1 + f n , n = 0, . . . , N − 2. (11.4)
3
Η μέθοδος αυτή είναι πεπλεγμένη, διότι απαιτεί τη λύση ενός μη γραμμικού συστήματος σε κάθε βήμα.
Ορισμός 11.1. Έστω N ∈ N, h = (b − a)/N και τα σημεία ti = a + ih, i = 0, . . . , N , τότε η γενική

μορφή μιας γραμμικής k−βηματικής μεθόδου θα είναι η ακόλουθη:


 y , . . . , yk−1 ∈ Rd ,
 0
Xk Xk
(11.5)

 αj y n+j
=h βj f (tn+j , y n+j ), n = 0, . . . , N − k,

j=0 j=0
όπου α0 , . . . , αk , β0 , . . . , βk είναι δοσμένες πραγματικές σταθερές, ανεξάρτητες του h και του n. Θα υπο-
θέτουμε αk 6= 0, (συνήθως αk = 1) και ότι |α0 | + |β0 | > 0 ώστε να έχουμε πράγματι μια k-βηματική
μέθοδο.
Αν βk = 0 η k-βηματική μέθοδος (11.5) θα λέγεται άμεση, γιατί ο υπολογισμός του y n+k γίνεται με απλή
αντικατάσταση των γνωστών τιμών y n+j , 0 ≤ j ≤ k − 1. Αν βk 6= 0 ο προσδιορισμός του y n+k απαιτεί
τη λύση ενός μη γραμμικού συστήματος της μορφής
y n+k = hβk f (tn+k , y n+k ) + g n , (11.6)
όπου g n γνωστό διάνυσμα και θα καλείται πεπλεγμένη. Το σύστημα (11.6) έχει μοναδική λύση αν h|βk |L <
1, όπου L είναι η σταθερά Lipschitz της f ως προς y. Η απόδειξη γίνεται με ανάλογο τρόπο όπως παραδείγ-
ματος χάριν για την πεπλεγμένη μέθοδο του Euler στο Κεφάλαιο 9. Επομένως οι πεπλεγμένες πολυβηματικές
μέθοδοι έχουν πολύ μικρότερο κόστος ανά βήμα απ’ ότι οι πεπλεγμένες μέθοδοι Runge–Kutta. Οι μονοβη-
ματικές μέθοδοι
α1 y n+1 + α0 y n = h(β1 f n+1 + β0 f n ), n = 0, . . . , N − 1, (11.7)
με α1 = 1 και |α0 | + |β0 | > 0 αποτελούν την τομή των πολυβηματικών μεθόδων με τις μεθόδους Runge–
Kutta.
11.2 Παραδείγματα πολυβηματικών μεθόδων
11.2.1 Μέθοδοι Adams
Υπάρχουν διάφοροι τρόποι για να κατασκευάσουμε μια πολυβηματική μέθοδο. Πολύ γνωστές είναι οι οικογέ-
νειες των μεθόδων Adams-Bashforth και Adams-Moulton. Η κατασκευή τους βασίζεται στη χρήση κατάλλη-
λων πολυωνύμων παρεμβολής. Για μια αναλυτική παρουσιάση της πολυωνυμικής παρεμβολής συναρτήσεων
παρεπέμπουμε στα [11], [10], [9].
Ολοκληρώνοντας το πρόβλημα αρχικών τιμών (11.1) στο διάστημα [tn+k , tn+k−1 ] έχουμε
Z tn+k
y(t ) − y(t
n+k n+k−1
)= f (t, y(t)) dt. (11.8)
tn+k−1
Μια k-βηματική μέθοδος που ανήκει στην οικογένεια Adams-Bashforth προκύπτει αν προσεγγίσουμε το
ολοκλήρωμα της f στο [tn+k , tn+k−1 ] χρησιμοποιώντας το ολοκλήρωμα ενός κατάλληλου πολυωνύμου. Θε-
ωρούμε λοιπόν το πολυώνυμο P , βαθμού k − 1 το οποίο παρεμβάλλει την f (·, y(·)) στα k σημεία tn , . . . ,
tn+k−1 . Οπότε Z n+k Z n+k
t t
f (t, y(t)) dt ≈ P (t) dt. (11.9)
tn+k−1 tn+k−1
Για παράδειγμα για την κατασκευή μιας διβηματικής μεθόδου Adams-Bashforth, θεωρούμε το γραμμικό
πολυώνυμο παρεμβολής της f (·, y(·)), στα σημεία tn , tn+1 , το οποίο είναι το
s − tn tn+1 − s
P (s) = f (tn+1 , y(tn+1 )) + f (tn , y(tn )) , (11.10)
h h
από όπου προκύπτει

Z tn+2
3 n+1 1 n
P (s) ds = h f (t , y(t )) − f (t , y(t )) .
n+1 n
tn+1 2 2
Συνεπώς προκύπτει η ακόλουθη διβηματική μέθοδος, η οποία καλείται διβηματική μέθοδος Adams-Bashforth
(ΑΒ2),
3 n+1 n+1 1 n n
y n+2
−y n+1
=h f (t , y ) − f (t , y ) . (11.11)
2 2
Με ανάλογο τρόπο προκύπτει και η τριβηματική μέθοδος Adams-Bashforth (ΑΒ3). Τώρα θεωρούμε το τε-
τραγωνικό πολυώνυμο παρεμβολής P της f (·, y(·)), στα σημεία tn , tn+1 , tn+2 , για το οποίο θα ισχύει
Z tn+3
23 n+2 4 n+1 5
P (s) ds = h f (t , y(t )) − f (t , y(t )) + f (t , y(t )) .
n+2 n+1 n n
tn+2 12 3 12
Οπότε η τριβηματική μέθοδος Adams-Bashforth (ΑΒ3) είναι

23 n+2 n+2 4 n+1 n+1 5
y n+3
−y n+2
=h f (t , y ) − f (t , y ) + f (t , y ) .
n n
(11.12)
12 3 12
Για την κατασκευή μιας k-βηματικής μέθοδου Adams-Bashforth, θεωρούμε ένα πολυώνυμο παρεμβολής
P το οποίο δεν παρεμβάλλει την f (·, y(·)) στο σημείο tn+k . Οπότε στους συντελεστές του πολυωνύμου P
δεν εμφανίζεται ο όρος f (tn+k , y(tn+k )) και άρα η αντίστοιχη μέθοδος Adams-Bashforth θα είναι μια άμεση
μέθοδος.
Μια άλλη κατηγορία πολυβηματικών μεθόδων, οι οποίες παράγονται με παρόμοιο τρόπο με τις Adams-
Bashforth είναι οι μέθοδοι Adams-Moulton. Μια k-βηματική Adams-Moulton προκύπτει αν θεωρήσουμε
το πολυώνυμο παρεμβολής P βαθμού k, το οποίο παρεμβάλλει την f (·, y(·)) στα k + 1 σημεία tn , . . . , tn+k .
Οπότε για να ορίσουμε τη διβηματική μέθοδο Adams-Moulton, θεωρούμε το τετραγωνικό πολυώνυμο
παρεμβολής P της f (·, y(·)) στα σημεία tn , tn+1 , tn+2 , για το οποίο θα ισχύει
Z tn+2
5 2 n+1 1
P (s) ds = h f (t , y(t )) + f (t , y(t )) − f (t , y(t )) .
n+2 n+2 n+1 n n
tn+1 12 3 12
Συνεπώς η διβηματική μέθοδος Adams-Moulton (ΑM2) ορίζεται ως

5 2 n+1 n+1 1
y n+2
−y n+1
=h f (t , y ) + f (t , y ) − f (t , y )
n+2 n+2 n n
(11.13)
12 3 12
Παρόμοια προκύπτει και η τριβηματική μέθοδος Adams-Moulton (ΑM3), η οποία ορίζεται ως
9 19 5 1
y n+3 −y n+2 = h( f (tn+3 , y n+3 )+ f (tn+2 , y n+2 )− f (tn+1 , y n+1 )+ f (tn , y n )). (11.14)
24 24 24 24
11.2.2 Μέθοδοι BDF
Μια άλλη γνωστή κατηγορία πολυβηματικών μεθόδων είναι οι μέθοδοι ανάδρομων διαφορών (Backward Dif-
ference Formula ή BDF), οι οποίες προκύπτουν με τον ακόλουθο τρόπο. Θεωρούμε το πολυώνυμο παρεμβολής
P , βαθμού το πολύ k, της y στα k + 1 σημεία tn , . . . , tn+k , δηλαδή
P (tn+i ) = y(tn+i ), i = 0, . . . , k. (11.15)
Οπότε
P ′ (tn+k ) ≈ y ′ (tn+k ) = f (tn+k , y(tn+k )). (11.16)
Αν θεωρήσουμε τώρα τον συμβολισμό ∇1 g n = g n − g n−1 , ∇j g n = ∇1 (∇j−1 g n ), μπορούμε να υπολογί-

σουμε την P ′ (tn+k ) συναρτήσει των y(tn+i ), i = 0, . . . , k
1 X 1 j n+k
k
′
P (t n+k
)= ∇ y(t ). (11.17)
h j=1 j
Συνεπώς η k-βηματική μέθοδος BDF ορίζεται ως

X
k
1
∇j y n+k = hf (tn+k , y n+k ). (11.18)
j=1
j
Επομένως για k = 1, 2, 3, . . . , οι μέθοδοι BDF μπορούν να διατυπωθούν ως

k=1: y n+1 − y n = hf n+1 (πεπλεγμένη Euler),
4 1 2
k = 2 : y n+2 − y n+1 + y n = hf n+2 , (11.19)
3 3 3
18 9 2 6
k = 3 : y n+3 − y n+2 + y n+1 − y n = hf n+2 ,
11 11 11 11
Ένα ακόμα παράδειγμα είναι οι μέθοδοι της μορφής
X
k
y n+k − y n+k−2 = h βj f n+j , (11.20)
j=0
οι οποίες λέγονται μέθοδοι Nyström αν βk = 0 και μέθοδοι Milne-Simpson διαφορετικά.
11.3 Γραμμικές εξισώσεις διαφορών
Θεωρούμε μια ακολουθία αριθμών y n , n ≥ 0, η οποία ικανοποιεί την ακόλουθη εξίσωση διαφορών k + 1
όρων, k ≥ 1,
αk y n+k + αk−1 yy+k−1 + · · · + α1 y n+1 + α0 y n = 0, n ≥ 0, (11.21)
όπου α0 , . . . , αk ∈ R, δοσμένοι αριθμοί και υποθέτουμε ότι α0 και αk είναι διαφορετικοί του 0. Κάθε ακο-
λουθία (y n )n∈N0 ⊂ C η οποία πληροί την (11.21) είναι λύση της γραμμικής εξίσωσης.
Εύκολα μπορούμε να δούμε ότι ο χώρος των λύσεων της (11.21) είναι γραμμικός χώρος. Πράγματι, αν
θεωρήσουμε (y n )n∈N0 , (wn )n∈N0 ⊂ C δύο λύσεις της (11.21) και c1 , c2 ∈ C, τότε (c1 y n + c2 wn )n∈N0
είναι λύση της. Επίσης μπορούμε να προσδιορίσουμε τη διάσταση του χώρου των λύσεων της (11.21). Για
οποιαδήποτε αρχικά δεδομένα y 0 , . . . , y k−1 , υπάρχει μοναδική ακολουθία (y n )n∈N0 ⊂ C η είναι λύση της
(11.21).
Έστω (yjn )n∈N0 ⊂ C, j = 1, . . . , m, λύσεις της (11.21). Θα λέμε ότι οι (yjn )n∈N0 ⊂ C είναι γραμμικώς
εξαρτημένες αν υπάρχουν σταθερές c1 , . . . cm , όχι όλες μηδέν, τέτοιες ώστε
c1 y1n + c2 y2n + · · · + cm ym
n
= 0, n ∈ N0 .
Αν οι (yjn )n∈N0 ⊂ C, j = 1, . . . , m, δεν είναι γραμμικά εξαρτημένες, τις καλούμε γραμμικά ανεξάρτητες.
Λήμμα 11.1. Η διάσταση του χώρου των λύσεων της εξίσωσης διαφορών k + 1 όρων (11.21) είναι k.
Απόδειξη. Ας θεωρήσουμε τις k ακολουθίες (wjn )n∈N0 ⊂ R, j = 0, . . . , k − 1, οι οποίες είναι λύσεις της
(11.21) και οι πρώτοι k όροι κάθε μίας δίνονται ως εξής:
(
1, j = m,
wjm = j, m = 0, . . . , k − 1. (11.22)
0, διαφορετικά,
Είναι εύκολο να δούμε ότι αυτές οι k ακολουθίες (wjn )n∈N0 είναι γραμμικά ανεξάρτητες.
Ας θεωρήσουμε τώρα μια λύση (y n )n∈N0 της (11.21). Μπορούμε να δούμε τότε ότι γράφεται ως γραμμικός
συνδυασμός των (wjn )n∈N0 με συντελεστές τις k αρχικές τιμές y 0 , . . . , y k−1 ,
y n = y 0 w0n + · · · + y k−1 wk−1
n
. (11.23)
Επομένως καταλήγουμε στο γεγονός ότι η διάσταση του χώρου των λύσεων είναι k.
Κάθε βάση του χώρου των λύσεων λέγεται θεμελιώδες σύστημα της (11.21). Υπάρχουν διάφοροι τρόποι
για να προσδιορίσουμε μια βάση του χώρου των λύσεων της (11.21). Ένας τρόπος, ο οποίος θα δειχθεί στη
συνέχεια ότι είναι αρκετά χρήσιμος είναι ο ακόλουθος.
Χρησιμοποιούμε τους συντελεστές α0 , . . . , αk της (11.21) για να ορίσουμε το πολυώνυμο
ϱ(z) = αk z k + · · · + α1 z + α0 . (11.24)
Είναι προφανές ότι το ϱ δεν έχει ρίζα το 0, γιατί ο σταθερός όρος α0 6= 0. Έστω z ∈ C και ορίζουμε την
ακολουθία (y n )n∈N0 τέτοια ώστε y n = z n . Είναι προφανές ότι z = 0, η (y n )n∈N0 είναι λύση της (11.21).
Θέλουμε να βρούμε z 6= 0, τέτοιο ώστε η ακολουθία (z n )n∈N0 να είναι μια μη τετριμμένη (διαφορετική από
τη μηδενική) λύση της (11.21). Τότε όμως επειδή
αk z n+k + · · · + α1 z 1+k + α0 z n = z n ϱ(z) = 0,
και z n 6= 0 θα έχουμε ϱ(z) = 0. Συνεπώς, αναζητούμε ρίζες του πολυωνύμου ϱ. Αν όλες οι ρίζες του ϱ
είναι απλές, zj ∈ C, j = 1, . . . , k, ϱ(zj ) = 0, τότε ορίζουμε τις ακολουθίες (yjn )n∈N0 , με yjn = zjn ,
j = 1, . . . , k. Αυτές θα αποτελούν ένα θεμελιώδες σύστημα της (11.21).
Έστω τώρα ότι η z είναι ρίζα της ϱ, πολλαπλότητας μεγαλύτερης του 1. Για ευκολία ας υποθέσουμε ότι
η z είναι ρίζα της ϱ, πολλαπλότητας 2. Τότε μπορούμε να ορίσουμε, όπως προηγουμένως, την ακολουθία
(y1n )n∈N0 με y1n = z n η οποία είναι προφανώς λύση της (11.21) και την ακολουθία (y2n )n∈N0 με y2n = nz n
η οποία εύκολα βλέπουμε ότι ειναι γραμμικώς ανέξαρτητη της y1n . Μπορούμε να δούμε ότι και y2n είναι λύση
της (11.21). Το z εκτός του ϱ είναι και ρίζα του πολυωνύμου r(x) = xϱ(x), πολλαπλότητας 2. Πράγματι,
r(z) = r′ (z) = zϱ′ (z) + ϱ(z) = 0. Επομένως
zϱ′ (z) + ϱ(z) = z(αk kz k−1 + · · · + α2 z + α1 ) + αk z k + · · · + α0
(11.25)
= αk kz k + · · · + α2 2z 2 + α1 z + α0 = 0.
Οπότε προκύπτει ότι η y2n είναι λύση της (11.21). Με ανάλογο τρόπο, αν η z είναι ρίζα πολλαπλότητας m ≥
3, του ϱ, μπορούμε να ορίσουμε m γραμμικώς ανεξάρτητες λύσεις της (11.21), (yjn )n∈N0 ως εξής: y1n = z n ,
y2n = nz n , yjn = n(n − 1) . . . (n − j + 2)z n , j = 3, . . . , m.
11.4 Ευστάθεια και συνέπεια πολυβηματικών μεθόδων
Ορισμός 11.2 (Ευστάθεια πολυβηματικών μεθόδων). Μια k−βηματική μέθοδος η οποία περιγράφεται από
τις σταθερές α0 , . . . , αk , β0 , . . . , βk , λέγεται ευσταθής αν υπάρχει μια σταθερά C που εξαρτάται από την f
αλλά είναι ανεξάρτητη του N τέτοια ώστε για τις ακολουθίες (y n ), (z n ), τέτοιες ώστε να ισχύει
 0 k−1

y , . . . , y , δεδομένα,
αk y n+k + · · · + α0 y n = (11.26)


h[βk f (t , y ) + · · · + β0 f (t , y )], n = 0, . . . , N − k,
n+k n+k n n
και  0 k−1

z , . . . , z , δεδομένα,
αk z n+k + · · · + α0 z n = (11.27)


h[βk f (t , z ) + · · · + β0 f (t , z )], n = 0, . . . , N − k,
n+k n+k n n
να ισχύει
max |y n − z n | ≤ C max |y j − z j |. (11.28)
0≤n≤N 0≤j≤k−1
Στη συνέχεια θα αναζητήσουμε μια ιδιότητα που θα πρέπει να ικανοποιούν οι σταθερές αi , βi , i = 0, . . . ,

k, ώστε η μέθοδος να είναι ευσταθής. Η ευστάθεια είναι μια ιδιότητα της πολυβηματικής μεθόδου η οποία
θα πρέπει να ισχύει ανεξαρτήτως του προβλήματος αρχικών τιμών (11.1), επομένως και για το πρόβλημα με
f ≡ 0. Επομένως, η ιδιότητα που αναζητούμε θα πρέπει να είναι ανεξάρτητη των σταθερών βi , i = 0, . . . , k.
Ορισμός 11.3 (Συνθήκη των ριζών). Λέμε ότι η πολυβηματική μέθοδος πληροί τη συνθήκη των ριζών αν για
το χαρακτηριστικό της πολυώνυμο ϱ που ορίζεται ως
ϱ(z) = αk z k + · · · + α0 , (11.29)
ισχύει ότι (
|z| ≤ 1, αν z απλή ρίζα,
αν z ρίζα του ϱ τοτε (11.30)
|z| < 1, αν ϱ(z) = ϱ′ (z) = 0,
δηλαδή όλες οι ρίζες του ϱ δεν έχουν απόλυτη τιμή μεγαλύτερη του ένα και όσες έχουν απόλυτη τιμή ίση με
ένα είναι απλές ρίζες.
Θα δείξουμε ότι αν μια πολυβηματική μέθοδος ικανοποιεί τη συνθήκη των ριζών αν και μόνο αν είναι ευ-
σταθής. Πρώτα δείχνουμε ότι αν μια πολυβηματική μέθοδος είναι ευσταθής, τότε αυτή ικανοποιεί τη συνθήκη
των ριζών.
Θεώρημα 11.1. Αν η k−βηματική μέθοδος (11.5) είναι ευσταθής, τότε αυτή ικανοποιεί τη συνθήκη των ριζών
(βλ. Ορισμό 11.3).
Απόδειξη. Εφόσον η k−βηματική μέθοδος είναι ευσταθής, θα ικανοποιείται η (11.28) και για το πρόβλημα
αρχικών τιμών με f = 0 οι (11.26) και (11.27) . Επίσης μπορούμε να επιλέξουμε z j = 0, j = 0, . . . , k −1,
οπότε θα έχουμε z n = 0, n = 0, . . . , N . Επομένως σύμφωνα με την (11.28) έχουμε
max |y n | ≤ C max |y j |. (11.31)

0≤n≤N 0≤j≤k−1
Επίσης η y n θα πρέπει να ικανοποιεί την εξίσωση διαφορών
αk y n+k + · · · + α0 y n = 0. (11.32)
Θεωρούμε τώρα μια ρίζα του χαρακτηριστικού πολυωνύμου ϱ της πολυβηματικής μεθόδου (11.5). Αν θε-
ωρήσουμε τώρα την ακολουθία z n , n ∈ N0 , αυτή θα είναι λύση της εξίσωσης διαφορών (11.32) και άρα, θα
έχουμε
max |z n | ≤ C max |z j |. (11.33)
0≤n≤N 0≤j≤k−1
Αυτή η σχέση όμως δεν μπορεί να ισχύει αν |z| > 1, γιατί τότε |z|N → ∞, N → ∞. Συνεπώς αν η μέθοδος
είναι ευσταθής, θα πρέπει |z| ≤ 1.
Στη συνέχεια θα εξετάσουμε την περίπτωση η ρίζα z να είναι πολλαπλή, δηλαδή ϱ(z) = ϱ′ (z) = 0. Σε
αυτή τη περίπτωση έχουμε δεί ότι η ακολουθία nz n , n ∈ N0 είναι λύση της εξίσωσης διαφορών (11.32) και
επομένως λόγω ευστάθειας της k-βηματικής μεθόδου
max |nz n | ≤ C max |jz j |. (11.34)

0≤n≤N 0≤j≤k−1
Αν υποθέσουμε ότι |z| = 1, τότε αυτή η σχέση δεν μπορεί να ισχύει για καμιά σταθερά C και άρα θα πρέπει
να ισχύει |z| < 1. Συνεπώς έχουμε δείξει ότι αν μια k-βηματική μέθοδος είναι ευσταθής, τότε αυτή θα πρέπει
να ικανοποιεί τη συνθήκη των ριζών.
Στη συνέχεια θέλουμε να δείξουμε το αντίστροφο του Θεωρήματος 11.28, δηλαδή ότι αν μια k−βηματική
μέθοδος (11.5) ικανοποιεί τη συνθήκη των ριζών, τότε αυτή είναι ευσταθής. Για να το δείξουμε θα χρεια-
στούμε 2 βοηθητικά λήμματα (τα οποία οφείλονται στον Butcher).
Λήμμα 11.2. Έστω ϱ, ϱ(z) = α0 + α1 z + · · · + αk z k , ένα πολυώνυμο με αk = 1 το οποίο ικανοποιεί τη

συνθήκη των ριζών (βλ. Ορισμό 11.3). Θεωρούμε τώρα τον k × k πίνακα
 
−αk−1 −αk−2 . . . −α0
 1 0 0 
 
A= . .. . (11.35)
 .. . 
0 1 0
Τότε υπάρχει νόρμα k · k στον Ck τέτοια ώστε για την επαγόμενη φυσική νόρμα πινάκων να ισχύει
kAk ≤ 1. (11.36)
Απόδειξη. Γνωρίζουμε ότι αν ϱ πολυώνυμο βαθμού k με πραγματικούς συντελεστές, τότε αυτό έχει k ρίζες
όχι απαραίτητα διαφορετικές μεταξύ τους. Έστω λ1 , . . . , λm , m ≥ 1, οι απλές ρίζες του πολυωνύμου και
λm+1 , . . . , λk , οι ρίζες που δεν είναι απλές. Σύμφωνα με τη συνθήκη των ριζών θα έχουμε ότι
|λi | ≤ 1, 1 ≤ i ≤ m, και |λi | < 1, m + 1 ≤ i ≤ k.
Μπορούμε να δούμε ότι αναπτύσσοντας την ορίζουσα det(A − λI) ως προς την τελευταία της στήλη
 
−αk−1 − λ −αk−2 . . . −α1
 1 −λ 0 
 
det(A − λI) = (−1)k α0 − λ det  . . 
 . . . . 
0 1 −λ
  
−αk−1 − λ −αk−2 . . . −α2
  1 −λ 0  
  
= (−1)k α0 − λ(−1)k−1 α1 − λ det  .. .. 
  . . 
0 1 −λ
= · · · = (−1)k ϱ(λ).
Επομένως κάθε ρίζα του ϱ είναι ιδιοτιμή του A και αντιστρόφως. Συνεπώς υπάρχει αντιστρέψιμος πίνακας
T ∈ Ck×k τέτοιος ώστε T −1 AT = J, όπου J είναι η κανονική μορφή Jordan του A
 
λ1 0 ... 0
 .. 
 . 
 
 .. 
 0 λm . 
J =
 λm+1 σm+1 

 .. .. .. 
 . . . 0 
 
 σk−1 
0 0 λk
και όπου οι αριθμοί σi , i = m + 1, . . . , k − 1, είναι ίσοι με μηδέν ή ένα. Θεωρούμε τώρα τον πίνακα
D = diag(1, ε, ε2 , . . . , εk−1 ), όπου ε ένας θετικός αριθμός. Τότε ο πίνακας Je = D−1 JD είναι της μορφής
 
λ1 0 ... 0
 .. 
 . 
 
 .. 
 0 λm . 
Je = 
 em+1
λm+1 σ 

 .. ... ... 
 . 0 
 
 ek−1
σ 
0 0 λk
ei , i = m + 1, . . . , k − 1, είναι ίσοι με μηδέν ή ε. Εύκολα μπορούμε να δούμε ότι

όπου οι αριθμοί σ
e ∞ ≤ max{ max {|λi |}, max {|λi | + ε}}.

kJk
1≤i≤m m+1≤i≤k
Συνεπώς, επειδή ικανοποιείται η συνθήκη των ριζών, αν επιλέξουμε ε > 0 τέτοιο ώστε maxm+1≤i≤k {|λi | +
ε} ≤ 1 θα έχουμε
e ∞ ≤ 1.
kJk (11.37)
Αν τώρα ορίσουμε Q = T D θα έχουμε Je = Q−1 AQ. Επίσης, θεωρούμε την ακόλουθη νόρμα στον Ck ,
kxk ≡ kQ−1 xk∞ , x ∈ Ck . (11.38)
Οπότε λόγω της (11.37) έχουμε
kAxk kQ−1 Axk∞ e −1 xk∞

kJQ
kAk = sup = sup = sup
x∈Ck kxk x∈Ck kQ xk∞
−1
x∈Ck kQ xk∞
−1
x̸=0 x̸=0 x̸=0
e ∞
kJyk
= sup e ∞ ≤ 1.
= kJk
y∈Ck kyk∞
y̸=0
Θεώρημα 11.2. Έστω ότι η k-βηματική μέθοδος (11.5) ικανοποιεί τη συνθήκη των ριζών. Έστω λn , n =
0, . . . , N − k, δεδομένες σταθερές και έστω βin , i = 0, . . . , k, n = 0, . . . , N − k, δεδομένοι αριθμοί με
|βin | ≤ B < ∞. Για h = b−a N
θεωρούμε την εξίσωση διαφορών
αk ψ n+k + · · · + α0 ψ n = h[βkn ψ n+k + · · · + β0 ψ n ] + λn , n = 0, . . . , N − k. (11.39)
Τότε υπάρχει h0 > 0 τέτοιο ώστε για h ≤ h0 να ισχύει
max |ψ n | ≤ C( max |λn | + max |ψ j |), (11.40)

0≤n≤N 0≤n≤N −k 0≤j≤k−1
όπου η σταθερά C εξαρτάται από τα b − a, h0 , B, αλλά είναι ανεξάρτητη των h, λn , ψ n , N και βin .
Απόδειξη. Μπορούμε να υποθέσουμε χωρίς περιορισμό της γενικότητας ότι αk = 1, οπότε η (11.39) παίρνει
τη μορφή
ψ n+k + · · · + α0 ψ n = h[βkn ψ n+k + · · · + β0 ψ n ] + λn , n = 0, . . . , N − k. (11.41)

Θεωρούμε τώρα τα διανύσματα Y j , Gj

   
ψ j+k−1 h[βkj ψ j+k + · · · + β0 ψ j ] + λj
 ψ j+k−2   
   0 
Yj = .. , Gj =  ..  (11.42)
 .   . 
j
ψ 0
και τον πίνακα A του λήμματος 11.2. Τότε η (11.41) μπορεί να γραφεί ισοδύναμα ως
Y n+1 = AY n + Gn , 0 ≤ n ≤ N − k. (11.43)
Συνεπώς χρησιμοποιώντας τη νόρμα k · k που θεωρήσαμε στο Λήμμα 11.2 έχουμε
kY n+1 k ≤ kAkkY n k + kGn k ≤ kY n k + kGn k, 0 ≤ n ≤ N − k. (11.44)
Λόγω της ισοδυναμίας των νορμών στον Ck υπάρχουν θετικές σταθερές C1 και C2 τέτοιες ώστε
kGn k ≤ hC1 |ψ n+k | + hC1 (|ψ n+k−1 | + · · · + |ψ n |) + C1 |λn |

≤ hC2 kY n+1 k + C2 hkY n k + C1 |λn |.
Χρησιμοποιώντας την παραπάνω ανισότητα στην (11.44) παίρνουμε
(1 − C2 h)kY n+1 k ≤ (1 + C2 h)kY n k + C1 |λn |, 0 ≤ n ≤ N − k.
Επομένως αν υποθέσουμε ότι h ≤ h0 ≤ 1/C2 έχουμε
1 + C2 h n C1
kY n+1 k ≤ kY k + |λn |, 0 ≤ n ≤ N − k. (11.45)
1 − C2 h 1 − C2 h
Μπορούμε τώρα να παρατηρήσουμε ότι
1 + C2 h 2C2 h 2C2
≤1+ ≤1+ h,
1 − C2 h 1 − C2 h 1 − C2 h0
καθώς και ότι
C1 C1
≤ .
1 − C2 h 1 − C2 h0
2C2 C1
Συνεπώς αν θέσουμε C3 = max{ , } από την (11.45) προκύπτει
1 − C2 h0 1 − C2 h0
kY n+1 k ≤ (1 + C3 h)kY n k + C3 |λn |, 0 ≤ n ≤ N − k. (11.46)
Χρησιμοποιώντας τώρα το Λήμμα 9.1 έχουμε ότι υπάρχει σταθερά C4 τέτοια ώστε
max kY n+1 k ≤ C4 (kY n k + N max |λn |). (11.47)

0≤n≤N −k 0≤n≤N −k
Στη συνέχεια, λόγω και πάλι της ισοδυναμίας των νορμών στο Ck υπάρχουν σταθερές C5 , C6 τέτοιες ώστε
|ψ n+k | ≤ kY n+1 k∞ ≤ C5 kY n+1 k

kY0 k ≤ C6 kY 0 k∞ = C6 max |ψ j |.
0≤j≤k−1
Οπότε η ζητούμενη ανισότητα (11.40) προκύπτει εύκολα από την (11.47).

Θεώρημα 11.3. Αν η k−βηματική μέθοδος (11.5) ικανοποιεί τη συνθήκη των ριζών, τότε η k-βηματική μέθοδος
είναι ευσταθής.
Απόδειξη. Σύμφωνα με τον ορισμό της ευστάθειας πολυβηματικών μεθόδων, αν έχουμε δύο ακολουθίες (y n ),
(z n ), τέτοιες ώστε να ικανοποιούν τις (11.26), (11.27), τότε θέλουμε να δείξουμε ότι θα ισχύει η (11.28).
Θέτοντας ψ j = y j − z j , j = 0, . . . , N με y j , z j και αφαιρώντας κατά μέλη τις (11.26), (11.27) λαμβά-
νουμε
αk ψ n+k + · · · + α0 ψ n = h[βk [f (tn+k , y n+k ) − f (tn+k , z n+k )] + . . .
(11.48)
+ β0 [f (tn , y n ) − f (tn , z n )]], n = 0, . . . , N − k.
Θέτοντας τώρα για m = 0, . . . , N ,
 m m
 f (t , y ) − f (t , z ) ,
m m
αν y m 6= z m ,
gm = ym − zm (11.49)
 m m
0, αν y = z ,
έχουμε προφανώς |g m | ≤ L, όπου L η σταθερά Lipschitz της f ως προς τη δεύτερη μεταβλητή. Με βin =
βi g n+i , i = 0, . . . , k, n = 0, . . . , N − k η (11.48) γράφεται ως
αk ψ n+k + · · · + α0 ψ n = h(βkn ψ n+k + · · · + β0n ψ n ), n = 0, . . . , N − k. (11.50)
Παρατηρούμε λοιπόν ότι η (11.50) ικανοποιεί την (11.39) με λn = 0 και, επειδή η k−βηματική μέθοδος
(11.5) ικανοποιεί τη συνθήκη των ριζών, μπορούμε να χρησιμοποιήσουμε το Θεώρημα 11.2. Συνεπώς
max |ψ n | ≤ C max |ψ j |,
0≤n≤N 0≤j≤k−1
δηλαδή παίρνουμε τη ζητούμενη σχέση ευστάθειας (11.28).

Από τα Θεωρήματα 11.1 και 11.3 έχουμε ότι μια k-βηματική μέθοδος (11.5) ικανοποιεί τη συνθήκη των
ριζών αν και μόνο αν είναι ευσταθής.
Παράδειγμα 11.1 (Ευσταθείς μέθοδοι). Ας θεωρήσουμε τις μεθόδους Euler, πεπλεγμένη Euler και τη μέ-
θοδο του τραπεζίου ως k-βηματικές μεθόδους με k = 1. Τότε το χαρακτηριστικό πολυώνυμο και για τις τρεις
αυτές μεθόδους είναι το ίδιο ϱ(z) = z − 1. Συνεπώς, επειδή η ρίζα |z| = 1 είναι απλή, ικανοποιούν και οι
τρεις τη συνθήκη των ριζών και άρα είναι ευσταθείς.
Άλλα παράδειγματα ευσταθών μεθόδων είναι η μέθοδος του Simpson (11.4) και οι μέθοδοι Adams, Παρά-
γραφος 11.2.1. Για τη μέθοδο Simpson έχουμε ϱ(z) = z 2 −1 με ρίζες ±1 οι οποίες ικανοποιούν τη συνθήκη
των ριζών. Το ίδιο ισχύει και για τις k-βηματικές μεθόδους Adams για τις οποίες έχουμε ϱ(z) = z k−1 (z−1).
Παράδειγμα 11.2 (Μια μη ευσταθής μέθοδος). Μπορούμε να δούμε τη συμπεριφορά μιας ασταθούς μεθό-
δου με ένα συγκεκριμένο παράδειγμα. Αν θεωρήσουμε την πολυβηματική μέθοδο
y n+2 − 3y n+1 + 2y n = −hf n , n ≥ 0,
με y 0 , y 1 δεδομένα, τότε p(z) = z 2 − 3z + 2 = (z − 1)(z − 2). Συνεπώς δεν ικανοποιείται η συνθήκη
των ριζών και η μέθοδος δεν είναι ευσταθής. Αν τώρα θεωρήσουμε την εξίσωση διαφορών
y n+2 − 3y n+1 + 2y n = 0, n ≥ 0,
μπορούμε εύκολα να δείξουμε, π.χ., με επαγωγή ότι η γενική λύση της είναι
y n = 2y 0 − y 1 + 2n (y 1 − y 0 ), n ≥ 0.
Για τη λύση του προβλήματος y ′ (t) = 0, t ∈ [0, 1], με την αρχική συνθήκη y(0) = 0 ας πάρουμε y 0 = 0
και y 1 = h, όπου h = 1/N . Τότε y n = h(2n − 1), n ≥ 0, και ειδικότερα y N = (2N − 1)/N → ∞
καθώς N → ∞.
Παρατήρηση 11.1. Αν το χαρακτηριστικό πολυώνυμο ϱ(z) είναι δευτέρου βαθμού, μπορούμε εύκολα να
προσδιορίσουμε τις ρίζες του και να ελέγξουμε αν ικανοποιείται η συνθήκη των ριζών. Αν το ϱ είναι πολυώ-
νυμο βαθμού k > 2, τότε δεν είναι εύκολο να προσδιορίσουμε ακριβώς τις ρίζες του. Αλλά για να ελέγξουμε
αν ικανοποιείται η συνθήκη των ριζών δεν χρειάζεται να τις προσδιορίσουμε ακριβώς. Υπάρχουν αναλυτικές
συνθήκες που αν ικανοποιούν οι συντελεστές του πολυωνύμου ϱ, τότε αυτό πληροί τη συνθήκη των ριζών,
όπως π.χ. αυτές που ορίζονται από τη λεγόμενη θεωρία του Schur, βλ. π.χ. [12].
Λέμε ότι ένα πολυώνυμο π, βαθμού το πολύ k με συντελεστές αj ∈ C, j = 0, . . . , k, π(z) = αk z k · · ·+
α1 z + α0 με α0 αk 6= 0 είναι πολυώνυμο Schur αν όλες οι ρίζες του είναι στον D = {z ∈ C : |z| < 1}. Ένα
πολυώνυμο π που πληροί τη συνθήκη των ριζών λέγεται απλό πολυώνυμο von Neumann . Για ένα πολυώνυμο
π θεωρούμε το πολυώνυμο π ⋆ ,
Xk
⋆
π (z) = ᾱk−j z j ,
j=0
όπου ᾱj είναι ο συζυγής του αj , j = 0, . . . , k. Είναι απλό να δούμε ότι π ⋆ (z) = z k π̄( z1 ). Ακόμα θεωρούμε
το πολυώνυμο π1 ,
1
π1 (z) = [π ⋆ (0)π(z) − π(0)π ⋆ (z)],
z
το οποίο έχει βαθμό το πολύ k − 1. Τότε ισχύει ότι,
i) Το π είναι πολυώνυμο Schur αν και μόνο αν |π ⋆ (0)| > |π(0)| και το π1 είναι πολυώνυμο Schur
ii) Το π είναι πολυώνυμο von Neumann αν και μόνο αν
a.) είτε |π ⋆ (0)| > |π(0)| και το π1 είναι απλό πολυώνυμο von Neumann,
b.) είτε π1 = 0 και π ′ (z) είναι πολυώνυμο Schur.
Με βάση αυτήν τη θεωρία μπορούμε να ανάγουμε το ερώτημα αν ένα πολυώνυμο είναι τύπου Schur ή von
Neumann σε ανάλογο ερώτημα για ένα πολυώνυμο βαθμού κατά ένα μικρότερο και προχωρούμε τη διερεύ-
νηση με αυτόν τον τρόπο. Αυτή η μεθοδολογία είναι εύχρηστη για να αποφανθούμε αν ένα πολυώνυμο ικα-
νοποιεί τη συνθήκη των ριζών όταν k = 3 ή k = 4.
Σημαντικό ρόλο στη μελέτης της σύγκλισης των πολυβηματικών μεθόδων εκτός από την έννοια της ευ-
στάθειας έχει και η έννοια της συνέπειας. Τον ορισμό των εννοιών αυτών και τα θεωρήματα που τις συνδέουν
έδωσε ο Dahlquist (1956).
Θεωρούμε ότι η λύση του y του προβλήματος αρχικών τιμών είναι αρκετά ομαλή και για t ∈ [a, b − kh]
ορίζουμε την ποσότητα
X
k
δ[y(t); h] = [αj y(t + jh) − hβj y ′ (t + jh)] , (11.51)
j=0
που παίζει τον ρόλο του τοπικού σφάλματος διακριτοποίησης στην περίπτωση των μεθόδων Runge–Kutta.
Ορισμός 11.4. Έστω y μια τυχαία αρκετά ομαλή συνάρτηση. Αν p είναι ο μεγαλύτερος ακέραιος για τον
οποίο ισχύει
∃C = C(y), ∀t ∈ [a, b − kh], |δ[y(t); h]| ≤ Chp+1 , (11.52)
με δ[y(t); h] όπως ορίστηκε στην (11.51), τότε λέμε ότι η τάξη ακρίβειας της πολυβηματικής μεθόδου (11.5)
είναι p.
Ορισμός 11.5. Λέμε ότι η μέθοδος (11.5) είναι συνεπής αν η τάξη ακρίβειάς της είναι τουλάχιστον ένα.
Για την πολυβηματική μεθόδο (11.5) θεωρούμε τις παρακάτω σταθερές C0 , C1 , C2 , . . . ,
C0 = α 0 + α 1 + · · · + α k (11.53)
C1 = α1 + 2α2 + · · · + kαk − (β0 + · · · + βk ) (11.54)
και για j ≥ 2,
1
Cj = (α1 + 2j α2 + 3j αj + · · · + k j αk )
j!
(11.55)
1
− (β1 + 2j−1 β2 + 3j−1 β3 + · · · + k j−1 β k ).
(j − 1)!
Σύμφωνα με το Θεώρημα 11.4, υπολογίζοντας τις παραπάνω σταθερές C0 , C1 , C2 , . . . , μπορούμε εύκολα
να βρούμε αν μια πολυβηματική μέθοδος είναι συνεπής και ποια η τάξη ακρίβειάς της.
Θεώρημα 11.4. Μια πολυβηματική μέθοδος (11.5) είναι συνεπής ακριβώς τότε αν C0 = C1 = 0. Επιπλέον
έχει τάξη ακρίβειας p ακριβώς τότε αν C0 = C1 = · · · = Cp = 0 αλλά Cp+1 6= 0.
Απόδειξη. Έστω y μια αρκετά ομαλή συνάρτηση. Θεωρούμε το ανάπτυγμα Taylor των y(t + jh), y ′ (t + jh)
με κέντρο t, οπότε
X
k
δ[y(t); h] = [αj y(t + jh) − hβj y ′ (t + jh)]
j=0
X
k
(jh)2 ′′ (jh)p+2 (p+2)
= αj (y(t) + (jh)y ′ (t) + y (t) + ... + y (ξj ))
j=0
2 (p + 2)!
X
k
(jh)2 ′′′ (jh)p+1 (p+2) e
−h βj (y ′ (t) + (jh)y ′′ (t) + y (t) + ... + y (ξj ))
j=0
2 (p + 1)! (11.56)
X
k X
k X
k
j2
= αj y(t) + h (jαj − βj )y ′ (t) + h2 αj − jβj )y ′′ (t)
j=0 j=1 j=1
2
X
k
j p+2 (p+2) (j)p+1 (p+2) e
+ · · · + hp+1 ( αj y (ξj ) − y (ξj ))
j=0
(p + 2)! (p + 1)!
= C0 y(t) + C1 hy ′ (t) + · · · + Cp hp y (p) + Cp+1 hp+1 y (p) .
Συνεπώς, αν και μόνο αν C0 = C1 = · · · = Cp = 0 και Cp+1 6= 0, θα ισχύει ότι |δ[y(t); h]| ≤ Chp+1 ,
δηλαδή ότι η τάξη ακρίβειας είναι p. Επίσης είναι προφανές ότι αν και μόνο αν C0 = C1 = 0, η μέθοδος είναι
συνεπής.
Όπως θα δούμε παρακάτω, η συνέπεια και η ευστάθεια είναι ικανές και αναγκαίες συνθήκες για τη σύγκλιση
μια πολυβηματικής μεθόδου. Το επόμενο θεώρημα όμως, περιορίζει τη δυνατή τάξη ακρίβειας μιας ευσταθούς
μεθόδου.
Θεώρημα 11.5 (Dahlquist, 1956). Η μέγιστη τάξη ακρίβειας μια ευσταθούς k-βηματικής μεθόδου της μορφής
(11.5) είναι p = k + 1 αν k περιττός και p = k + 2 αν k άρτιος.
Παράδειγμα 11.3. Για τη μέθοδο του Simpson (11.4) έχουμε α2 = 1, α1 = 0, α0 = −1 και β2 = 1/3,
β1 = 4/3, β0 = 1/3. Τότε
C0 = α0 + α1 + α2 = 0 − 1 + 1 = 0,
1 4 1 6
C1 = α1 + 2α2 − (β0 + β1 + β2 ) = 2 − ( + + ) = 2 − = 0,
3 3 3 3
1 1 1 4 2
C2 = (α1 + 4α2 ) − (β1 + 2β2 ) = (4) − ( + ) = 0,
2 1 2 3 3
1 1 1 1 8
C3 = (α1 + 8α2 ) − (β1 + 4β2 ) = (8) − ( ) = 0,
6 2 6 2 3
1 1 1 1
C4 = (α1 + 16α2 ) − (β1 + 8β2 ) = (16) − (4) = 0,
24 6 24 6
1 1 1 1 20 1
C5 = (α1 + 32α2 ) − (β1 + 16β2 ) = (32) − ( ) = − ,
120 24 120 24 3 90
συνεπώς η τάξη ακρίβειας της μεθόδου του Simpson είναι p = 4.
Από τη σχέση (11.54) βλέπουμε ότι η μέθοδος (11.5) είναι συνεπής αν C0 = C1 = 0, δηλαδή αν
X
k X
k X
k
αj = 0, jαj = βj. (11.57)
j=0 j=1 j=0
Εισάγοντας το πολυώνυμο
σ(z) = βk z k + βk−1 z k−1 + · · · + β0 , (11.58)
βλέπουμε ότι οι σχέσεις (11.57) γράφονται ισοδύναμα ως
ϱ(1) = 0, ϱ′ (1) = σ(1). (11.59)
11.5 Σύγκλιση
Ορισμός 11.6. Θα λέμε ότι η μέθοδος (11.5) συγκλίνει αν για κάθε πραγματική συνάρτηση f (t, y) που
ικανοποιεί τις υποθέσεις του Θεωρήματος 8.1 έχουμε για κάθε t ∈ [a, b] ότι ισχύει
lim y n = y(t), καθώς h → 0, n → ∞, tn = a + nh → t, (11.60)
για κάθε λύση της (11.5) με αρχικές τιμές y 0 , . . . , y k−1 τέτοιες ώστε
lim y j = y0 , 0 ≤ j ≤ k − 1. (11.61)
h→0
Θεώρημα 11.6. Κάθε συγκλίνουσα πολυβηματική μέθοδος είναι ευσταθής.

Απόδειξη. Για να δείξουμε ότι μια πολυβηματική μέθοδος είναι ευσταθής, αρκεί να δείξουμε ότι ικανοποιεί τη
συνθήκη των ριζών. Δηλαδή ότι αν z ρίζα του χαρακτηριστικού πολυωνύμου ϱ, τότε |z| ≤ 1. Αν ϱ′ (z) = 0,
τότε επιπλέον θα πρέπει |z| < 1.
Μπορούμε να παρατηρήσουμε ότι στον ορισμό της συνθήκης των ριζών και κατ’επέκταση για να προσ-
διορίσουμε αν μια μέθοδος είναι ευσταθής, δεν παίζουν κανένα ρόλο οι συντελεστές β0 , . . . , βk . Επομένως
για να διαπιστώσουμε αν μια μέθοδος είναι ευσταθής, μπορούμε να χρησιμοποιήσουμε προβλήματα αρχικών
τιμών με f = 0.
Έστω T > 0. Θεωρούμε το εξής πρόβλημα αρχικών τιμών: Ζητούμε y : [0, T ] → R, τέτοια ώστε
(
y ′ (t) = 0, 0 ≤ t ≤ T,
(11.62)
y(0) = 0.
Η μοναδική λύση αυτού του προβλήματος είναι η y(t) = 0, 0 ≤ t ≤ T . Επομένως αν έχουμε y 0 , y 1 , . . . ,

y k−1 , δοσμένες αρχικές προσεγγίσεις εφαρμόζοντας την k-βηματική μέθοδο (11.5), για να προσεγγίσουμε
τη λύση του (11.62) θα πάρουμε μια ακολουθία τέτοια ώστε
αk y n+k + · · · + α0 y n = 0, n = 0, . . . , N − k. (11.63)
Επειδή έχουμε υποθέσει ότι η k-βηματική μέθοδος είναι συγκλίνουσα, έχουμε ότι αν
lim y j = 0, j = 0, . . . , k − 1, (11.64)
h→0
τότε
T
lim y n = 0, h=
. (11.65)
n→∞ n
Έστω λοιπόν μια ρίζα z του χαρακτηριστικού πολυωνύμου. Μπορούμε να γράψουμε το z στη μορφή z =
re με r ≥ 0, 0 ≤ ϕ < 2π. Θεωρούμε τώρα την ακολουθία (y j )j∈N0 με y j = hRe(z j ) = hrj cos(jϕ),
iϕ
j ∈ N0 , η οποία ικανοποιεί την (11.63). Επίσης εύκολα βλέπουμε ότι οι πρώτοι k-όροι ικανοποιούν την
(11.64) και άρα θα ισχύει η (11.65).
T
Αν z ∈ R, δηλαδή ϕ = 0 ή ϕ = π τότε, επειδή |y n | = hrn = rn → 0, n → ∞ θα πρέπει r ≤ 1.
n
Δηλαδή ισχύει η ζητούμενη σχέση |z| ≤ 1. Αν τώρα ϕ 6= 0, ϕ 6= π, τότε χρησιμοποιώντας μια γνωστή
τριγωνομετρική ταυτότητα έχουμε
(y n )2 − y n+1 y n−1 = h2 r2n [cos2 (nϕ) − cos((n + 1)ϕ) cos((n − 1)ϕ)] = h2 r2n sin2 (ϕ).
Επομένως
(y n )2 − y n+1 y n−1
= h2 r2n . (11.66)
sin2 (ϕ)
Συνεπώς λόγω της (11.65) (y n )2 − y n+1 y n−1 → 0, n → ∞, οπότε λόγω της (11.66),
rn 2
h2 r2n = T 2 ( ) → 0, n → ∞.
n
Άρα |r| ≤ 1. Δείξαμε λοιπόν ότι αν z ρίζα του χαρακτηριστικού πολυωνύμου ϱ, τότε |z| ≤ 1.
Θέλουμε να δείξουμε τώρα ότι αν z είναι πολλαπλή ρίζα, δηλαδή ϱ(z) = ϱ′ (z) = 0, τότε |z| < 1. Είδαμε
στην Παράγραφο 11.3 ότι τότε η ακολουθία (y j )(j∈N0 ) με y j = hjRe(z j ) = hjrj cos(jϕ) είναι λύση της
εξίσωσης διαφορών (11.21). Επίσης ικανοποιεί την (11.64) και επομένως ισχύει η (11.65). Αν τώρα z ∈ R,
δηλαδή ϕ = 0 ή ϕ = π, τότε
|y n | = hnrn = T rn → 0, n → ∞,
συνεπώς r < 1. Έστω τώρα ϕ 6= 0, ϕ 6= π τότε για xj = 1 j

jh
y έχουμε
(xn )2 − xn+1 xn−1

= r2n . (11.67)
sin2 (ϕ)
Επειδή xn = T1 y n → 0, n → ∞, έπεται ότι rn → 0, δηλαδή r < 1. Συνεπώς, αν z είναι πολλα-

πλή ρίζα του ϱ τότε |z| < 1. Συμπεραίνουμε λοιπόν ότι ισχύει η συνθήκη των ριζών για μια συγκλίνουσα
πολυβηματική μέθοδο.
Θεώρημα 11.7 (Dahlquist). Αν η πολυβηματική μέθοδος (11.5) συγκλίνει, τότε είναι συνεπής.
Απόδειξη. Θεωρούμε ότι η μέθοδος (11.5) συγκλίνει. Αρκεί να δείξουμε ότι ϱ(1) = 0 και ϱ′ (1) = σ(1). Για
τον έλεγχο αυτών των ιδιοτήτων αρκεί να βρούμε κατάλληλα προβλήματα αρχικών τιμών που να μας βοηθούν
ώστε να καταλήξουμε στο ζητούμενο.
Πρώτα θα δείξουμε ότι ϱ(1) = 0. Επειδή για τον έλεγχο αυτής της ιδιότητας δεν λαμβάνουμε καθόλου
υπόψη μας τους συντελεστές β0 , . . . , βk , μπορούμε να θεωρήσουμε ένα πρόβλημα αρχικών τιμών f = 0.
Έστω λοιπόν το ακόλουθο πρόβλημα
(
y ′ (t) =0, 0 ≤ t ≤ T,
y(0) =1.
Εύκολα μπορούμε να δούμε ότι η y(t) = 1, t ∈ [0, T ], είναι λύση αυτού του προβλήματος αρχικών τιμών.
Επομένως η πολυβηματική μέθοδος (11.5) για αυτό το πρόβλημα διατυπώνεται ως εξής:
(
y 0 , y 1 , . . . , y k−1 , δεδομένα
αk y n+k + αk−1 y n+k−1 + · · · + α0 y n = 0, 0 ≤ n ≤ N − k.
Έστω λοιπόν y 0 = y 1 = · · · = y k−1 = 1. Επειδή η μέθοδος συγκλίνει θα πρέπει y k = 1. Επομένως
αk + αk−1 + · · · + α0 = 0, δηλαδή ϱ(1) = 0.
Στη συνέχεια θέλουμε να δείξουμε ότι ϱ′ (1) = σ(1). Επειδή για τον έλεγχο αυτής της ιδιότητας λαμβά-
νουμε υπόψη μας τους συντελεστές β0 , . . . , βk , τώρα θα πρέπει θεωρήσουμε ένα πρόβλημα αρχικών τιμών
με f 6= 0. Μια τέτοια επιλογή είναι f = 1. Έστω λοιπόν το ακόλουθο πρόβλημα
(
y ′ (t) =1, 0 ≤ t ≤ T,
y(0) =0.
Εύκολα μπορούμε να δούμε ότι η y(t) = t, t ∈ [0, T ], είναι λύση αυτού του προβλήματος αρχικών τιμών.
Επομένως η πολυβηματική μέθοδος (11.5) για αυτό το πρόβλημα διατυπώνεται ως εξής:
(
y 0 , y 1 , . . . , y k−1 , δεδομένα
(11.68)
αk y n+k + αk−1 y n+k−1 + · · · + α0 y n = h(βk + · · · + β0 ), 0 ≤ n ≤ N − k.
Επειδή η πολυβηματική μέθοδος είναι συγκλίνουσα, κάθε λύση της (11.68) για την οποία έχουμε ότι
lim y j = 0, j = 0, . . . , k − 1, (11.69)
h→0
θα πρέπει να ικανοποιεί ότι

lim y N = T, N h = T. (11.70)
N →∞
Επειδή έχουμε υποθέσει ότι η μέθοδος (11.5) είναι συγκλίνουσα, λόγω του Θεωρήματος 11.6 θα έχουμε ότι
ικανοποιεί τη συνθήκη των ριζών. Επομένως, αφού ϱ(1) = 0 θα έχουμε ότι ϱ′ (1) 6= 0. Έστω τώρα ότι
σ(1)
M= ′ και θεωρούμε
ϱ (1)
yhn = nhM, n = 0, . . . , N, h = T /N. (11.71)
Τότε μπορούμε να δούμε ότι για αυτήν την ακολουθία, επειδή ϱ(1) = 0, ισχύει ότι
X
k X
k
αj yhn+j = hM (n + j)αj
j=0 j=0
X
k X
k X
k
= hM (n αj + jαj ) = hM jαj (11.72)
j=0 j=0 j=0
X
k
′
= hM ϱ (1) = hσ(1) = h βj ,
j=0
δηλαδή ικανοποιείται η (11.68). Επίσης εύκολα βλέπουμε ότι ισχύει η (11.69). Επομένως, λόγω της σύγκλι-
σης της μεθόδου, από την (11.70) έχουμε
T = lim hN M = T M.
N →∞
Συνεπώς M = 1, άρα ϱ′ (1) = σ(1). Οπότε έχουμε δείξει το ζητούμενο.
Θεώρημα 11.8. Υποθέτουμε ότι η k-βηματική μέθοδος (11.5) είναι ευσταθής και έχει τάξη ακρίβειας p ≥ 1.
Έστω ότι η λύση y του προβλήματος αρχικών τιμών (11.1) ανήκει στον χώρο C p+1 [a, b]. Τότε υπάρχει h0 > 0
τέτοιο ώστε για 0 ≤ h ≤ h0 να ισχύει

max |y − y(t )| ≤ C
n n
max |y − y(t )| + h max |y
j j p (p+1)
(t)| , (11.73)
0≤n≤N 0≤j≤k−1 a≤t≤b
όπου C σταθερά ανεξάρτητη των y n , y(t), h και N .
Απόδειξη. Αφού η τάξη ακρίβειας της πολυβηματικής μεθόδου είναι p, τότε αναπτύσσοντας κατά Taylor με
κέντρο το tn , εύκολα βλέπουμε ότι για την ποσότητα
X
k
n
ρ = [αj y(tn + jh) − hβj y ′ (tn + jh)], n = 0, . . . , N − k. (11.74)
j=0
Ισχύει ότι
max |ρn | ≤ Chp+1 ky (p+1) k∞ . (11.75)
0≤n≤N −k
Θέτουμε τώρα εn = y(tn ) − y n . Οπότε χρησιμοποιώντας την (11.5) και την (11.74) έχουμε
X
k X
k X
k
αj ε n+j
= αj y(t n+j
)− αj y n+j
j=0 j=0 j=0
X
k X
k
′
= h( βj y (t n+j
)− βj f n+j ) + ρn (11.76)
j=0 j=0
X
k
=h βj (f (tn+j , y(tn+j )) − f n+j ) + ρn .
j=0
Θέτουμε τώρα για m = 0, . . . , N

 n+j
 f (t , y(tm )) − f n+j
, αν εm 6= 0,
gm = εm
0, αν εm = 0,
οπότε η (11.76) γίνεται
X
k X
k
αj εn+j = h βj g n+j εn+j + ρn , n = 0, . . . , N − k. (11.77)
j=0 j=0
Παρατηρούμε τώρα ότι

|g n | ≤ L, n = 0, . . . , N,
όπου L είναι η σταθερά Lipschitz της f ως προς τη δεύτερη μεταβλητή της. Επίσης θέτουμε βin = βi g n+i ,
i = 0, . . . , k, n = 0, . . . , N − k. Οπότε η (11.77) γράφεται ως εξής
X
k X
k
αj ε n+j
=h βjn εn+j + ρn , n = 0, . . . , N − k. (11.78)
j=0 j=0
Εύκολα βλέπουμε ότι

max |βin | ≤ L max |βi | < ∞. (11.79)
i,n i
Οπότε αν εφαρμόσουμε το Θεώρημα 11.2 ισχύει ότι
max |εn | ≤ C(N max |ρn | + max |εj |). (11.80)

0≤n≤N 0≤n≤N −k 0≤j≤k−1
Επομένως, λόγω της (11.75) και επειδή N h = b − a, η (11.80) δίνει τη ζητούμενη ανισότητα (11.73).
Παράδειγμα 11.4. Θεωρούμε το πρόβλημα αρχικών τιμών: Έστω y : [0, 2] → R, τέτοια ώστε
p
y ′ (t) = 4t y(t), t ∈ [0, 2], y(0) = 1. (11.81)
Η ακριβής λύση του προβλήματος (11.81) είναι y(t) = (t2 +1)2 . Θεωρήστε τη μέθοδο: Για δοσμένα y0 , y1 ,
h
y n+2 − y n+1 = (4f (tn+2 , y n+2 ) + 8f (tn+1 , y n+1 ) − f (tn , y n )), n = 0, . . . , N − 2.
12
Εύκολα μπορούμε να δούμε ότι αυτή η μέθοδος ικανοποιεί τη συνθήκη των ριζών, αλλά δεν είναι συνεπής.
Πράγματι, έχουμε ϱ(z) = z 2 − z, που έχει ρίζες z = 0 και z = 1 και άρα ικανοποιεί τη συνθήκη των
ριζών. Επίσης έχουμε ότι η σταθερά C0 = ϱ(1) = 0. Τώρα, ϱ′ (z) = 2z − 1, οπότε ϱ′ (1) = 1. Όμως
σ(z) = (4z + 8z − 1)/12 και σ(1) = 11/12 6= 1, άρα C1 = ϱ′ (1) − σ(1) 6= 0. Συνεπώς η μέθοδος
δεν είναι συνεπής.
Θεωρούμε τώρα διαμερίσεις του [0, 2] με N = 20, 40, 80, 160 και αρχικές τιμές y0 = 1 και y1 που να
δίνεται από την άμεση μέθοδο του Euler και υλοποιούμε τη μέθοδο. Στον Πίνακα 11.1 αναφέρουμε τα σφάλ-
ματα |y(tn ) − y n |. Παρατηρήστε ότι καθώς το N αυξάνεται ή το h ελαττώνεται οι τιμές |y(tn ) − y n | τείνουν
να σταθεροποιηθούν, χωρίς όμως το σφάλμα να μειώνεται. Αυτό δηλώνει ότι οι τιμές y n που υπολογίζουμε με
τη μέθοδο προσεγγίζουν μια συνάρτηση, όχι όμως τη λύση του προβλήματος (11.81).
h t = 0.5 t=1 t = 1.5 t=2

1/20 1.1112 1.4999 2.2788 3.6432
1/40 1.1156 1.5067 2.2895 3.6604
1/80 1.1170 1.5091 2.2937 3.6675
1/160 1.1175 1.5100 2.2955 3.6707
Πίνακας 11.1: Σφάλματα της μεθόδου του Παραδείγματος 11.4 για t = 0.5, 1, 1.5, 2 και N = 20, 40, 80,
160.
11.6 Μέθοδοι Πρόβλεψης-Διόρθωσης
Στην περίπτωση μιας πεπλεγμένης πολυβηματικής μεθόδου πρέπει να λύσουμε σε κάθε βήμα μια μη γραμμική
εξίσωση για τον υπολογισμό του αγνώστου y n+k . Στην πράξη είναι πολύ συνηθισμένο να γίνεται μια αρκετά
ακριβής πρόβλεψη y0n+k του y n+k με μια βοηθητική άμεση πολυβηματική μέθοδο και να χρησιμοποιείται η
κύρια, πεπλεγμένη μέθοδος για τον υπολογισμό διορθώσεων yin+k , i ≥ 1, με απλή επανάληψη. Προκύπτουν
έτσι ζευγάρια μεθόδων, οι λεγόμενες μέθοδοι πρόβλεψης-διόρθωσης (Π/Δ) που μπορούν να γραφούν γενικά
στη μορφή
X
k−1 X
k−1
(Π): y0n+k + α̃j y n+j = h β̃j f n+j ,
j=0 j=0
X
k−1 X
k−1
n+k
(Δ): yi+1 + αj y n+j
= hβk f (t n+k
, yin+k ) +h βj f n+j , i = 0, 1, . . .
j=0 j=0
Η μέθοδος πρόβλεψης είναι μια άμεση k-βηματική μέθοδος που παράγει μια αρχική τιμή y0n+k για τη μέθοδο
διόρθωσης. Η μέθοδος διόρθωσης χρησιμοποιείται είτε ως απλή επαναληπτική μέθοδος για τη λύση της μη
γραμμικής εξίσωσης, οπότε η διόρθωση επαναλαμβάνεται μέχρις ότου, π.χ., |yi+1
n+k
− yin+k | < ϵ, για κάποιο
δεδομένο ϵ > 0 της τάξης του σφάλματος στρογγύλευσης είτε για να παράγει ένα yin+k για μικρό i, συνήθως
i = 1 ή i = 2, το οποίο ορίζουμε ως y n+k και προχωρούμε στο επόμενο βήμα. Δυο γνωστά ζευγάρια μεθόδων
διόρθωσης-πρόβλεψης είναι το ζεύγος Euler-τραπεζίου
(Π): y n+1 − y n = hf n ,
(Δ): y n+1 − y n = h(f n+1 + f n )/2,
και η μέθοδος του Milne

4h
(Π): y n+4 − y n = 2f n+3 − f n+2 + 2f n+1 ,
3
h n+4
(Δ): y n+4 − y n+2 = f + 4f n+3 + f n+2 .
3
Αν η τάξη ακρίβειας της μεθόδου πρόβλεψης είναι p̃ και της μεθόδου διόρθωσης είναι p, τότε ανάλογα με τον
αριθμό m ≥ 1 των διορθώσεων μπορούμε να υπολογίσουμε την τάξη ακρίβειας του ζεύγους. Για παράδειγμα,
αν m ≥ 1 και p̃ ≥ p − 1, τότε η τελική τάξη ακρίβειας είναι p. Αν p̃ = p − 2 και m = 1, η τελική τάξη
είναι p − 1. Αν p̃ = p − 2 και m > 1, τότε η τελική τάξη είναι p. Έτσι, η μέθοδος Euler-τραπεζίου με p̃ = 1
και p = 2 έχει τελική τάξη ακρίβειας 2 για οποιοδήποτε αριθμό διορθώσεων m ≥ 1. Για τη μέθοδο του
Milne έχουμε p̃ = p = 4, οπότε η τελική τάξη είναι 4. Ακόμα, η μέθοδος διόρθωσης καθορίζει την ευστάθεια
του ζεύγους το οποίο είναι ευσταθές αν και μόνο αν η μέθοδος διόρθωσης είναι ευσταθής. Με άλλα λόγια, δεν
χρειάζεται και η μέθοδος πρόβλεψης να είναι ευσταθής.
βουλευτεί: [1], [2], [4], [5], [6], [7], [8], [12], [13].
11.7.1 Έστω σ(z) = z 2 . Βρείτε πολυώνυμο ϱ(z) δευτέρου βαθμού έτσι ώστε η αντίστοιχη πολυβηματική
μέθοδος να έχει τάξη ακρίβειας 2. Είναι ευσταθής;
11.7.2 Έστω σ(z) = z 2 . Βρείτε πολυώνυμο ϱ(z) τρίτου βαθμού έτσι ώστε η αντίστοιχη πολυβηματική μέ-
θοδος να έχει τάξη ακρίβειας 3. Είναι ευσταθής;
11.7.3 Δείξτε ότι η μονοβηματική μέθοδος y n+1 = y n +2hf n δεν είναι συνεπής και όταν τη χρησιμοποιούμε
για να λύσουμε το πρόβλημα αρχικών τιμών y ′ (t) = 1, t ∈ [0, 1], με y(0) = 0 και βήμα h, το ολικό
σφάλμα για t = 1 είναι πάντα σταθερό.
11.7.4 Έστω ϱ(z) = z 4 −1. Βρείτε πολυώνυμο σ(z) τέταρτου βαθμού έτσι ώστε η αντίστοιχη πολυβηματική
μέθοδος να έχει μέγιστη τάξη ακρίβειας. Ποια είναι η τάξη ακρίβειας;
11.7.5 Εξετάστε αν η μέθοδος
h
y n+2 − y n = (3f (tn+1 , y n+1 ) − f (tn , y n ))
4
είναι συνεπής.
11.7.6 Τι τιμές πρέπει να έχουν οι παράμετροι a και b ώστε οι ακόλουθες μέθοδοι να είναι συνεπείς;
i.) y n+2 − ay n+1 − 2y n = hbf (tn , y n ).
ii.) y n+2 + y n+1 + ay n = h(f (tn+2 , y n+2 ) + bf (tn , y n )).
11.7.7 Θεωρούμε τις διβηματικές μεθόδους της μορφής
y n+2 + a1 y n+1 − ay n = hb2 f (tn+2 , y n+2 ), με a1 , a, b2 ∈ R.
Βρείτε τα a1 , b2 ώστε για οποιοδήποτε a ∈ R να έχουμε τη μέγιστη τάξη συνέπειας. Στη συνέχεια
βρείτε για ποια a έχουμε τη μέγιστη δυνατή τάξη συνέπειας.
11.7.8 Μια ενδιαφέρουσα κατηγορία πολυβηματικών μεθόδων προκύπτει με τεχνικές παρεμβολής και αριθ-
μητικής παραγώγισης. Θεωρώντας το πολυώνυμο παρεμβολής Pn,k (t) βαθμού μικρότερου ή ίσου του
k που παρεμβάλλεται στα σημεία tn+k , tn+k−1 , . . . , tn , στις τιμές y(tn+k ), y(tn+k−1 ), . . . , y(tn ),
αντίστοιχα και υπολογίζοντας την παράγωγό του στο σημείο tn+k , παίρνουμε τις μεθόδους ανάδρομων
διαφορών
′
Pn,k (tn+k ) ≈ y ′ (tn+k ) = f (tn+k , y(tn+k ).
Αντικαθιστώντας τα y(tn+k ) με τα y n+k παίρνουμε
X
k
j −1 ∇j y n+k = hf n+k , 0 ≤ n ≤ N − k,
j=1
όπου χρησιμοποιούμε τον συμβολισμό ∇1 y n = y n − y n−1 , ∇2 y n = ∇1 (∇1 y n ), κ.ο.κ. Γράψτε τις

μεθόδους αυτές σε κανονική μορφή για 1 ≤ k ≤ 4 και αποδείξτε ότι είναι ευσταθείς.
11.7.9 Βρείτε την τάξη ακρίβειας της τριβηματικής μεθόδου
3 9 9 3
y n+3 − y n = h( f n+3 + f n+2 + f n+1 + f n ).
8 8 8 8
Είναι συγκλίνουσα;
11.7.10 Η τριβηματική μεθόδος
11 n+2 1 1 1 1 7
y n+3 − y + y n+1 − y n = h( f n+3 + f n+2 − f n+1 + f n ),
6 6 12 6 2 12
είναι συνεπής και γιατί; Ποια είναι η τάξη ακρίβειας;
11.7.11 Θεωρήστε τη μέθοδο
h
y n+2 − y n+1 = (4f n+2 + 8f n+1 − f n )
12
για να λύσετε το πρόβλημα y ′ (t) = t στο [0, 1] με y(0) = 0. Η ακριβής λύση είναι y(t) = t2 /2.
Θεωρούμε ότι οι δύο πρώτες προσεγγίσεις y 0 , y 1 δίνονται από y 0 = 0, y 1 = h2 /2. Για N > 0 και
h = 1/N βρείτε που συγκλίνει y N , N → ∞. Είναι αυτή η επιθυμητή σύγκλιση; (Υπόδειξη: Βρείτε
κατάλληλες σταθερές A, B, C, τέτοιες ώστε y n = h2 (An2 + Bn + C)).
Wiley & Sons, 1987.
Press, Inc., 1984.
1007/978‐0‐85729‐148‐6.
[6] P. Henrici. Discrete Variable Methods in Ordinary Differential Equations. New York: Wiley, 1962.
10.1017/CBO9780511995569.
isbn: 0-521-00794-1.
Κρήτης, 2017.
ΚΕΦΑΛΑΙΟ 12
ΕΥΣΤΑΘΕΙΑ ΑΚΑΜΠΤΩΝ ΔΙΑΦΟΡΙΚΩΝ ΕΞΙΣΩΣΕΩΝ

Περίληψη
Άκαμπτες γραμμικές διαφορικές εξισώσεις είναι αυτές για τις οποίες η ακριβής λύση είναι γενικά μια ομαλή
συνάρτηση και μεταβάλλεται αργά ως τη μεταβλητή της t, όταν το t δεν ειναι κοντά σε κάποια τιμή t∗ . Ορισμέ-
νες αριθμητικές μέθοδοι είναι ασταθείς, χρειάζονται μικρό σχετικό βήμα για να μπορέσουν να προσεγγίσουν
την ακριβή λύση αυτών των προβλημάτων. Αυτή η ιδιότητα ευστάθειας που σχετίζεται με την προσεγγιστική
λύση μιας μεθόδου για ένα άκαμπτο πρόβλημα διαφορικών εξισώσεων ονομάζεται απόλυτη ευστάθεια. Η από-
λυτη ευστάθεια είναι μια πολύ σημαντική ιδιότητα των αριθμητικών μεθόδων και θα τη μελετήσουμε για τις
μεθόδους που παρουσιάσαμε στα προηγούμενα κεφάλαια. Η περιοχή απόλυτης ευστάθειας δηλώνει την πε-
ριοχή που πρέπει να ανήκει το σχετικό μέγεθος του βήματος ώστε η αριθμητική μέθοδος να προσεγγίζει την
ακριβή λύση. Όσο μεγαλύτερη είναι η περιοχή απόλυτης ευστάθειας τόσο λιγότερους περιορισμούς έχουμε
στην επιλογή του βήματος. Αν δεν υπάρχει κανένας περιορισμός για το βήμα, η αριθμητική μέθοδος θα κα-
λείται A-ευσταθής.
Επίσης θα μελετήσουμε την ευστάθεια αριθμητικών μεθόδων για άκαμπτα μη γραμμικά προβλήματα, όπου
για ένα πρόβλημα αρχικών τιμών που δίνεται από ένα σύστημα διαφορικών εξισώσων πρώτης τάξεως της
μορφής y ′ (t) = f (t, y), η συνάρτηση f ικανοποιεί μια μονόπλευρη συνθήκη του Lipschitz. Γενικότερα, η
B-ευστάθεια είναι μια επέκταση της απόλυτης ευστάθειας. Αν μια μέθοδος Runge-Kutta είναι B-ευσταθής,
τότε θα είναι και A-ευσταθής. Στις πολυβηματικές μεθόδους η αντίστοιχη έννοια καλείται G-ευστάθεια.
Προαπαιτούμενη γνώση: Βασικές γνώσεις Συνήθων Διαφορικών Εξισώσεων και Απειροστικού Λογισμού
σε πολλές διαστάσεις. Διανυσματικοί χώροι με νόρμα. Αριθμητική επίλυση μη γραμμικών συστημάτων. Μο-
νοβηματικές και πολυβηματικές μέθοδοι για την αριθμητική επίλυση διαφορικών εξισώσεων.

184 ΕΥΣΤΑΘΕΙΑ ΑΚΑΜΠΤΩΝ ΔΙΑΦΟΡΙΚΩΝ ΕΞΙΣΩΣΕΩΝ
12.1 Άκαμπτα προβλήματα και απόλυτη ευστάθεια
Θεωρούμε το πρόβλημα αρχικών τιμών

(
y ′ (t) = λy(t), t ≥ 0,
(12.1)
y(0) = 1,
με λ < 0 και |λ| 1. Η λύση του (12.1) είναι η y(t) = eλt η οποία τείνει πολύ γρήγορα στο μηδέν καθώς
t → ∞.
Παράδειγμα 12.1. Ας θεωρήσουμε λ = −20, −40, −80, −100 στο πρόβλημα (12.1). Τότε για h = 1/50
μπορούμε να δούμε στο Σχήμα 12.1 ότι οι προσεγγίσεις με τη μέθοδο Euler, καθώς η παράμετρος λ ελαττώ-
νεται, χειροτερεύουν. Αν τώρα, θεωρήσουμε σταθερό π.χ. λ = −105 και χρησιμοποιήσουμε διαμερίσεις για
τις οποίες το h ελαττώνεται, h = 1/80, 1/100, 1/120, παρατηρούμε ότι οι προσεγγίσεις πλησιάζουν την
ακριβή λύση, βλ. Σχήμα 12.2.
Σχήμα 12.1: Η μέθοδος Euler με h = 1/50 για την αριθμητική λύση του Παραδείγματος 12.1.
Είναι προφανές ότι για οποιοδήποτε βήμα h, όσο μικρό και να είναι, μπορούμε να βρούμε, κατάλληλα με-
γάλο κατ’ απόλυτο τιμή λ < 0, ώστε να παρατηρήσουμε ένα ανάλογο φαινόμενο αστάθειας όπως στο Πα-
ράδειγμα 12.1. Αυτή η συμπεριφορά αστάθειας της μεθόδου δηλώνει μια ακαμψία η οποία σχετίζεται με την
έννοια της απόλυτης ευστάθειας μιας αριθμητικής μεθόδου, που θα ορίσουμε παρακάτω.
Στη συνέχεια θα δούμε τη σημασία που έχει η ιδιότητα ακαμψίας που παρουσιάσαμε στο Παράδειγμα 12.1
στους αριθμητικούς υπολογισμούς. Η ακολουθία προσεγγίσεων που παράγει η μέθοδος Euler με σταθερό
βήμα h είναι
y n = (1 + hλ)n , n ≥ 0. (12.2)
Αν σε κάποιο βήμα k της μεθόδου υπολογίζουμε π.χ., λόγω σφαλμάτων στρογγύλευσης τον αριθμό z k αντί
του y k και στη συνέχεια υπολογίζουμε τους όρους z n , n > k ακριβώς, τότε
zn = yn, 0 ≤ n ≤ k − 1, z n+1 = (1 + hλ)z n , n ≥ k, z k 6= y k .
Σχήμα 12.2: Η μέθοδος Euler με h = 1/50, 1/80, 1/100, 1/120, για την αριθμητική λύση του Παραδείγ-
ματος 12.1.
Συνεπώς
|y n − z n | ≤ |1 + hλ|n−k |y k − z k |, n ≥ k, (12.3)
από την οποία βλέπουμε ότι αν |1 + hλ| < 1, δηλαδή αν 0 < h < −2/λ, η διαταραχή |y k − z k | δεν θα
έχει σοβαρές επιπτώσεις. Αν |1 + hλ| = 1 τότε το σφάλμα διατηρείται, δηλαδή |y n − z n | = |y k − z k |,
n ≥ k. Αν |1 + hλ| > 1 τότε |y n − z n | → ∞ εκθετικά με το n. Για παράδειγμα, αν υπολογίζουμε τη λύση
στο διάστημα [0, T ] με h = T /N , τότε
max |y n − z n | ≤ |1 + hλ|N −k |y k − z k |
0≤n≤N
≤ (1 + h|λ|)N |y k − z k |
≤ e|λ|T |y k − z k |.
Αν η σταθερά Lipschitz L = |λ| του προβλήματος (12.1) είναι μεγάλη, το παραπάνω σφάλμα δεν έχει πρα-
κτική σημασία. Το παράδειγμα αυτό όμως δείχνει ότι η συνθήκη |1 + hλ| < 1 εξασφαλίζει μια πραγματική
ευστάθεια της μεθόδου με την έννοια ότι καταστέλλει τυχόν σφάλματα, όπως το |y k −z k | και δεν τους επιτρέ-
πει να επηρεάσουν σημαντικά τους υπολογισμούς για n ≥ k. Επιπλέον, η συνθήκη |1+hλ| < 1 εξασφαλίζει
ότι y n → 0 καθώς n → ∞ (για σταθερό h), δείτε την (12.2). Με άλλα λόγια, είναι ικανή και αναγκαία συν-
θήκη έτσι ώστε η λύση {y n } του διακριτού προβλήματος να μιμείται τη συμπεριφορά της λύσης του συνεχούς
προβλήματος (12.1), την y(t) = eλt , η οποία προφανώς τείνει στο μηδέν καθώς t → ∞.
Παράδειγμα 12.2. Ας θεωρήσουμε λ = −20, −100, −200, −400, στο πρόβλημα (12.1). Τότε, στο Σχήμα
12.3 μπορούμε να δούμε για h = 1/50 ότι οι προσεγγίσεις με την πεπλεγμένη μέθοδο Euler παραμένουν
κοντά στην ακριβή λύση, καθώς η παράμετρος λ ελαττώνεται. Αυτό είναι σε αντίθεση με τη συμπεριφορά των
λύσεων με την άμεση μέθοδο Euler που είδαμε στο Παράδειγμα 12.1.
Στο Παράδειγμα 12.2 δεν παρατηρούμε για την πεπλεγμένη μέθοδο Euler την ανάλογη αστάθεια που
Σχήμα 12.3: Η πεπλεγμένη μέθοδος Euler με h = 1/50 για την αριθμητική λύση του Παραδείγματος (12.2).
είδαμε στο Παράδειγμα 12.1. Για να εξηγήσουμε γιατί συμβαίνει αυτό το φαινόμενο, ας θεωρήσουμε την ακο-
λουθία προσεγγίσεων που παράγει η πεπλεγμένη μέθοδος Euler για το ίδιο πρόβλημα (12.1) είναι
y n = (1 − hλ)−n , n ≥ 0, (12.4)
και το ανάλογο της σχέσης (12.3) είναι το
|y n − z n | = |1 − hλ|−(n−k) |y k − z k |, n ≥ k. (12.5)
Επειδή λ < 0 συμπεραίνουμε ότι |1 − hλ|−1 < 1 για κάθε h > 0, δηλαδή ότι η (12.5) δίνει |y n − z n |
|y k −z k | για n k και συνεπώς η πεπλεγμένη μέθοδος Euler δεν επηρεάζεται από σφάλματα |y k −z k | 6= 0.
Ισοδύναμα, η ακολουθία (12.4) ικανοποιεί y n → 0 καθώς n → ∞, μιμείται δηλαδή τη συμπεριφορά της
λύσης του συνεχούς προβλήματος (12.1).
Ο ακόλουθος ορισμός της έννοιας της ευστάθειας οφείλεται στον Dahlquist (1963).
Ορισμός 12.1. Λέμε ότι μια μέθοδος (με συγκεκριμένο βήμα h) είναι απόλυτα ευσταθής για απλές διαφορικές
εξισώσεις αν όταν εφαρμοσθεί στο πρόβλημα (12.1) με λ < 0, έχει την ιδιότητα να δίνει προσεγγίσεις {y n },
n ≥ 0, τέτοιες ώστε y n → 0 καθώς n → ∞. Οι τιμές του γινομένου λh για τις οποίες η μέθοδος έχει
αυτήν την ιδιότητα αποτελούν το διάστημα απόλυτης ευστάθειας της μεθόδου και είναι συνεπώς υποσύνολο
του αρνητικού πραγματικού ημιάξονα.
Είδαμε ότι για τη μέθοδο Euler το διάστημα απόλυτης ευστάθειας είναι το (−2, 0), ενώ για την πεπλεγ-
μένη μέθοδο Euler το (−∞, 0). Συμπεραίνουμε λοιπόν ότι για τη μέθοδο Euler, αν το λ είναι μεγάλο κατ’
απόλυτο τιμή, η συνθήκη λh ∈ (−2, 0) αποτελεί σοβαρό περιορισμό για το μέγιστο βήμα h που μπορούμε
να χρησιμοποιήσουμε για να υπολογίσουμε τις προσεγγίσεις y n και να έχουμε αποδεκτά αποτελέσματα.
Ένα πρόβλημα αρχικών τιμών,
(
y ′ (t) = f (t, y(t)), t ≥ 0,
(12.6)
y(0) = y0 ,
θεωρείται άκαμπτο, αν η λύση του είναι βασικά ομαλή και μεταβάλλεται αργά με τον χρόνο για t > ϵ, ϵ
μικρό, αλλά περιέχει μια συνιστώσα η οποία αποσβένεται εκθετικά καθώς αυξάνεται το t και πρακτικά παύει
να συνεισφέρει στη λύση για t > ϵ. Ας θεωρήσουμε το πρόβλημα
Θεωρούμε τώρα το πρόβλημα
(
y ′ (t) = λy(t) + f ′ (t) − λf (t), t ≥ 0,
(12.7)
y(0) = y0 ,
του οποίου η λύση είναι η

y(t) = f (t) + eλt (y0 − f (0)), t ≥ 0. (12.8)
Το πρόβλημα (12.7) αποτελεί τυπικό δείγμα προβλήματος αρχικών τιμών για μια άκαμπτη διαφορική εξί-
σωση. Υποθέτουμε ξανά ότι λ 0 και ότι η f (t) είναι μια δεδομένη ομαλή συνάρτηση η οποία δεν μεταβάλ-
λεται γρήγορα με το t. Από την (12.8) βλέπουμε ότι η λύση y(t) εκφράζεται ως άθροισμα του όρου f (t) και
του εφήμερου όρου eλt (y0 − f (0)) που τείνει στο μηδέν πολύ γρήγορα και δεν συμβάλλει στη λύση καθώς
αυξάνεται το t. Απαλείφοντας τον όρο y0 − f (0) παίρνουμε την ταυτότητα
y(t + h) = f (t + h) + eλh (y(t) − f (t)), t ≥ 0. (12.9)
Συγκρίνοντας με τη μέθοδο Euler για το βήμα tn → tn+1 , δηλαδή
y n+1 = f (tn ) + hf ′ (tn ) + (1 + hλ)(y n − f (tn )), (12.10)
βλέπουμε ότι η (12.10) είναι όντως προσέγγιση της (12.9) για t = tn . Ενώ όμως στην (12.9) η «διαταραχή»
y(t) − f (t) πολλαπλασιάζεται επί eλh 1 και δεν διαταράσσει σχεδόν καθόλου τη σχέση y(t + h) ≈
f (t + h), αντίθετα στη σχέση (12.10), αν |1 + hλ| ≥ 1, η διαφορά y n − f (tn ) επηρεάζει σημαντικά τη
σχέση f (tn+1 ) ≈ f (tn )+hf ′ (tn ). Και πάλι βλέπουμε εδώ τον σημαντικό ρόλο της συνθήκης |1+hλ| < 1.
Η πεπλεγμένη μέθοδος Euler για το συγκεκριμένο πρόβλημα δίνει τη σχέση
(1 − hλ)y n+1 = [f (tn ) + hf ′ (tn+1 ) − λhf (tn+1 )] + (y n − f (tn )), n ≥ 0.
Ο πρώτος όρος είναι μια O(h2 ) προσέγγιση της ποσότητας f (tn+1 ), ενώ η «διαταραχή» y n −f (tn ) δεν είναι
ικανή να διαταράξει τη σχέση y n+1 ≈ f (tn+1 ), επειδή πολλαπλασιάζεται επί τον παράγοντα (1 − hλ)−1
1.
Από την (12.9) βλέπουμε όμως ότι η σχέση y(t + h) ≈ f (t + h) διαταράσσεται από μια μικρή μεταβολή,
την eλh (y(t) − f (t)), που προκύπτει από το γεγονός ότι y(t) 6= f (t) αλλά αποσβένεται γρήγορα από τον
παράγοντα eλh . Αν η αριθμητική μέθοδος προσεγγίζει το εκθετικό eλh με όχι καλό τρόπο για hλ 0, όπως
συμβαίνει με τη μέθοδο Euler όπου η προσέγγιση 1 + hλ είναι μεν αποδεκτή για |hλ| 1 αλλά τελείως
λανθασμένη για hλ 0, τότε περιμένουμε σοβαρή διαταραχή της λύσης y n , που θα προέλθει, φυσικά, από
τον όρο (1 + hλ)(y n − f (tn )). Πρέπει επομένως να επιβάλουμε στο βήμα της μεθόδου την περιοριστική
συνθήκη |1 + hλ| < 1, ισοδύναμα 0 < h < −2/λ, σε όλη τη διάρκεια των υπολογισμών έστω και αν ο
παράγοντας eλt (y 0 − f (0) δεν συνεισφέρει πρακτικά τίποτε στη λύση για t > ϵ. Αντίθετα η πεπλεγμένη
μέθοδος Euler προσεγγίζει το εκθετικό eλh με την ποιοτικά σωστή για λh 0 ρητή προσέγγιση (1−hλ)−1
και η οποία μιμείται την ιδιότητα eλh 1 για λh 0.
Παράδειγμα 12.3. Εφαρμόζουμε τη μέθοδο Euler στο πρόβλημα (12.7) με λ = −1000, f (t) = t2 και
y(0) = 0. Επειδή y0 − f (0) = 0, ο παράγοντας eλt (y0 − f (0)) δεν υπάρχει καθόλου στη λύση y(t) = t2 ,
αλλά η σχέση (12.10) εξακολουθεί να ισχύει. Ο Πίνακας 12.1 δείχνει την καταστροφικά αυξανόμενη αστάθεια
αν για το βήμα της μεθόδου επιλέξουμε h = 1/400 > 0.002 = −2/λ.
Παρατήρηση 12.1. Ο λόγος για τον οποίο εξετάζουμε το πρόβλημα (12.7) με λ < 0 είναι γιατί το αντί-
στοιχο πρόβλημα με λ > 0 έχει εκθετικά αυξανόμενες λύσεις για τις οποίες είναι δύσκολο να διακρίνει κανείς
τη λύση από την ασταθή διαταραχή της.
Πίνακας 12.1: Η μέθοδος Euler στο πρόβλημα (12.7) με λ = −1000, f (t) = t2 , y(0) = 0 και h = 1/400.
tn y(t) yn
0.0 0.00 0.0000
0.1 0.01 23.353
0.2 0.04 2.1850 × 108
0.3 0.09 2.0453 × 1015
0.4 0.16 1.9145 × 1022
0.5 0.25 1.7920 × 1029
0.6 0.36 1.6774 × 1036
0.7 0.49 1.5702 × 1043
0.8 0.64 1.4697 × 1050
0.9 0.81 1.3757 × 1057
1.0 1.00 1.2878 × 1064
Μπορούμε να επεκτείνουμε τον ορισμό της απόλυτης ευστάθειας για να μελετήσουμε την ευστάθεια μιας
μεθόδου όταν εφαρμοσθεί σε γραμμικά συστήματα διαφορικών εξισώσεων με σταθερούς συντελεστές, δηλαδή
σε συστήματα της μορφής y ′ (t) = Ay(t) + F (t), όπου A = (aij )m
i,j=1 ∈ R
m×m
, aij σταθερές.
Λέμε ότι ένα πρόβλημα της μορφής
(
y ′ (t) = Ay(t) + F (t), t ≥ 0
(12.11)
y(0) = y0 ,
όπου οι ιδιοτιμές λi του A ικανοποιούν Reλi < 0 είναι άκαμπτο αν max |λi | min |λi |. Για ένα τέτοιο
πρόβλημα υπάρχουν συνιστώσες της λύσης, αυτές που αντιστοιχούν σε ιδιοτιμές με μεγάλο |Reλi |, που τεί-
νουν στο μηδέν πολύ γρήγορα σε σχέση με άλλες συνιστώσες που τείνουν πιο αργά στο μηδέν ή μεταβάλλονται
σε χρονικές κλίμακες που εξαρτώνται από το F (t).
Για να είναι μια μέθοδος ευσταθής για το πρόβλημα (12.11) πρέπει να έχει μια μη κενή περιοχή απόλυτης
ευστάθειας S στο ημιεπίπεδο Rez < 0 και το βήμα h να είναι τέτοιο ώστε hλi ∈ S, για κάθε ιδιοτιμή λi .
Αν η περιοχή S είναι πολύ μικρή, θα πρέπει να πάρουμε πολύ μικρό βήμα έτσι ώστε όλες τις ιδιοτιμές λi —
ακόμα και εκείνες για τις οποίες |Reλi | 1 και που δεν συμβάλλουν καθόλου σχεδόν στη λύση—να έχουμε
hλi ∈ S.
Παράδειγμα 12.4. Θεωρούμε το σύστημα συνήθων διαφορικών εξισώσεων

d u1 9 24 u1 5 cos t + 31 sin t
= + , (12.12)
dt u2 −24 −51 u2 −9 cos t + 31 sin t
με αρχικές συνθήκες (u1 (0), u2 (0))T = (4/3, 2/3)T . Οι ιδιοτιμές του πίνακα ( −24 −51 ) είναι −3 και −39.
9 24
Οι ακριβείς λύσεις u1 (t), u2 (t) του συστήματος (12.12) περιέχουν τις συναρτήσεις e και e−39t , οι οποίες
−3t
φθίνουν με διαφορετική ταχύτητα. Αν προσεγγίσουμε τη λύση του συστήματος με τη μέθοδο Euler, τότε θα
πρέπει να διαλέξουμε το βήμα της έτσι ώστε −39h ∈ {z ∈ C : |1 + z| < 1}, δηλαδή h < 2/39 ≈ 0.051
για να μην δημιουργηθούν προβλήματα αστάθειας. Στο Σχήμα 12.4 βλέπουμε την «έκρηξη» της αριθμητικής
λύσης un καθώς αυξάνεται το n, με σταθερό βήμα h = 1/16 > 2/29.
Θεωρούμε το πρόβλημα αρχικών τιμών για το ομογενές γραμμικό σύστημα διαφορικών εξισώσεων
(
x′ = Ax, t ≥ 0,
(12.13)
x(0) = x0 ,
Σχήμα 12.4: Η μέθοδος Euler με h = 1/16 για την αριθμητική λύση του προβλήματος (12.12).
και υποθέτουμε για ευκολία, ότι ο A διαγωνοποιείται, δηλαδή ότι υπάρχει αντιστρέψιμος πίνακας S τέτοιος
ώστε S −1 AS = Λ = diag(λ1 , . . . , λm ), όπου λi , 1 ≤ i ≤ m, οι εν γένει μιγαδικές ιδιοτιμές του A. Η
αλλαγή των μεταβλητών y = Sx δίνει το ισοδύναμο σύστημα
(
y ′ = Λy, t ≥ 0,
(12.14)
y(0) = y0 = S −1 x0 ,
του οποίου η λύση είναι yi = y0,i eλi t , 1 ≤ i ≤ m. Συμπεραίνουμε ότι η λύση του (12.13) έχει την ιδιότητα¹
y(t) → 0, καθώς t → ∞ για κάθε y0 ∈ Rn αν και μόνο αν Reλi < 0, 1 ≤ i ≤ m. Επειδή στο σύστημα
(12.14) οι διαφορικές εξισώσεις έχουν αποσυνδεθεί σε m ανεξάρτητες απλές διαφορικές εξισώσεις της μορφής
yi′ = λi yi , φαίνεται λογικό ότι για να επεκτείνουμε την έννοια της απόλυτης ευστάθειας έτσι ώστε να έχει
εφαρμογή σε συστήματα της μορφής (12.13), θα πρέπει να μελετήσουμε τη συμπεριφορά των λύσεων της
αριθμητικής μεθόδου όταν εφαρμοσθεί σε απλή διαφορική εξίσωση της μορφής (12.1), αλλά με μιγαδικό λ
με Reλ < 0.
Θα λέμε ότι μια αριθμητική μέθοδος για τη λύση προβλημάτων αρχικών τιμών για συστήματα διαφορικών
εξισώσεων είναι απόλυτα ευσταθής(για συγκεκριμένο βήμα h) αν, όταν εφαρμοσθεί στο πρόβλημα
(
y ′ = λy, t ≥ 0, λ ∈ C, Reλ < 0,
(12.15)
y(0) = 1,
δίνει προσεγγίσεςι y n , n ≥ 0, τέτοιες ώστε y n → 0 καθώς n → ∞ (για σταθερό h). Οι τιμές του γινομένου
hλ ∈ C για τις οποίες μια μέθοδος έχει αυτήν την ιδιότητα αποτελούν την περιοχή S ⊂ C απόλυτης ευστά-
θειας της μεθόδου . Η περιοχή S απόλυτης ευστάθειας είναι, προφανώς, υποσύνολο του αριστερού ανοιχτού
μιγαδικού ημιεπιπέδου Rez < 0.
Για παράδειγμα, η μέθοδος Euler εφαρμοζόμενη στο πρόβλημα (12.15) δίνει την ακολουθία y n = (1 +
hλ)n , n ≥ 0, για την οποία y n → 0 καθώς n → ∞ αν και μόνο αν |1 + hλ| < 1. Θέτοντας z = λh
βλέπουμε ότι η περιοχή απόλυτης ευστάθειας είναι ο ανοιχτός δίσκος S = {z ∈ C : |1 + z| < 1}.
Η πεπλεγμένη μέθοδος Euler δίνει την ακολουθία προσεγγίσεων y n = (1 − hλ)−n , n ≥ 0, δηλαδή
ικανοποιεί y n → 0 καθώς n → ∞ αν και μόνο αν |(1 − z)−1 | < 1 με z = hλ. Η σχέση αυτή προφανώς
ισχύει για κάθε z ∈ C με Rez < 0, άρα S = C. Τέτοιες μέθοδοι ονομάζονται A-ευσταθείς.
Οι A-ευσταθείς μέθοδοι είναι ιδιαίτερα κατάλληλες για άκαμπτα προβλήματα διαφορικών εξισώσεων που
έχουν ιδιοτιμές λi οπουδήποτε στο Rez < 0.
¹Το ίδιο ισχύει, όπως εύκολα μπορούμε να δούμε χρησιμοποιώντας τη μορφή Jordan A και στη γενική περίπτωση ενός
οποιουδήποτε, όχι αναγκαστικά διαγωνοποιήσιμου πίνακα A ∈ Rm×m .
Πολλά άκαμπτα προβλήματα προκύπτουν από την αριθμητική επίλυση μερικών διαφορικών εξισώσεων.
Θεωρούμε, για παράδειγμα, το εξής πρόβλημα αρχικών και συνοριακών τιμών για την εξίσωση της θερμότη-
τας: Ζητάμε u(x, t) πραγματική συνάρτηση ορισμένη για x ∈ [0, 1] και t ∈ [0, T ] τέτοια ώστε


ut = uxx , x ∈ [0, 1] × [0, T ]
u(x, 0) = v(x), x ∈ [0, 1] (12.16)


u(0, t) = u(1, t) = 0, t ∈ [0, T ]
όπου v(x) δοσμένη πραγματική συνάρτηση στο [0, 1] με v(0) = v(1) = 0. Έστω xj = jh, j =
0, 1, . . . , J + 1 ένας ομοιόμορφος διαμερισμός του [0, 1] με βήμα (J + 1)h = 1. Προσεγγίζοντας την
παράγωγο uxx (x, t) με την κεντρική διαφορά (u(x + h, t) − 2u(x, t) + u(x − h, t))/h2 παίρνουμε το
εξής σύστημα συνήθων διαφορικών εξισώσεων για τις προσεγγίσεις uj (t) των τιμών u(xj , t) της λύσης του
(12.16): 
 ′
uj (t) = h2 (uj+1 (t) − 2uj (t) + uj−1 (t)), 1 ≤ j ≤ J, t ∈ [0, T ]
1
u0 (t) = uj+1 (t) = 0, t ∈ [0, T ]



uj (0) = vj = v(xj ), 0 ≤ j ≤ J + 1.
Μπορούμε να γράψουμε αυτό το J × J σύστημα διαφορικών εξισώσεων στη μορφή u′ = Au, όπου u =
[u1 , . . . , uJ ]T και A συμμετρικός τριδιαγώνιος πίνακας με aii = −2h2 και ai,i±1 = h−2 . Οι ιδιοτιμές του
A δίνονται από τους τύπους

1 jπ
λj = 2 −2 + 2 cos , 1 ≤ j ≤ J.
h J +1
Είναι φανερό ότι λJ < λJ−1 < · · · < λ1 < 0. Έχουμε ακόμα λ1 = (−2 + 2 cos(jπ/(J + 1)))/h2 =
(−2 + 2 cos(πh))/h2 , οπότε λ1 = −π 2 + O(h2 ). Επιπλέον λJ = (−2 + 2 cos(Jπ/(J + 1)))/h2 =
−4/h2 + O(1). Βλέπουμε δηλαδή ότι
λJ ≈ −4h−2 λ1 ≈ −π 2 ,
οπότε έχουμε ένα άκαμπτο σύστημα με πραγματικές ιδιοτιμές.
Επειδή στις εφαρμογές συναντάμε συχνά προβλήματα όπως το (12.16) με πραγματικές αρνητικές ιδιοτι-
μές ή ιδιοτιμές με Reλ < 0 που βρίσκονται σ’ έναν κώνο γωνίας 0 < θ < π/2 στο ημιεπίπεδο Rez < 0,
δηλαδή στο χωρίο
Sθ = {z = reiϕ : π − θ < ϕ < π + θ, r > 0},
βλέπε Σχήμα 12.5, δεν χρειάζεται να καταφύγουμε πάντα σε μια A-ευσταθή μέθοδο, αλλά π.χ. σε μια μέθοδο
της οποίας η περιοχή απόλυτης ευστάθειας περιλαμβάνει τον αρνητικό πραγματικό άξονα ή το Sθ , αντίστοιχα.
Συγκεκριμένα λέμε ότι μια μέθοδος είναι A0 -ευσταθής αν η περιοχή απόλυτης ευστάθειας περιέχει τον αρνη-
τικό πραγματικό άξονα και A(θ)-ευσταθής αν η περιοχή απόλυτης ευστάθειας περιέχει τον κώνο Sθ . Προφα-
νώς, για την επιτυχή επίλυση του προβλήματος (12.16) αρκεί η μέθοδος να είναι A0 -ευσταθής.
12.2 Απόλυτη ευστάθεια μεθόδων Runge-Kutta
Θα εξετάσουμε τώρα την απόλυτη ευστάθεια των μεθόδων Runge-Kutta. Όπως είδαμε, η άμεση μέθοδος Eu-
ler και η πεπλεγμένη μέθοδος Euler μπορούν να θεωρηθούν ως μέθοδοι Runge-Kutta ενός σταδίου. Επίσης η
μέθοδος του τραπεζίου και η άμεση μέθοδος του μέσου είναι και αυτές μέθοδοι που μπορούν να διατυπωθούν
ως μέθοδοι Runge-Kutta.
Δεν είναι δύσκολο να δούμε ότι η μέθοδος του τραπεζίου έχει διάστημα απόλυτης ευστάθειας επίσης το
(−∞, 0), ενώ η άμεση μέθοδος του μέσου² είναι απόλυτα ευσταθής για hλ ∈ (−2, 0).
²Για το πρόβλημα y ′ (t) = f (t) η άμεση μέθοδος του μέσου δίνεται, βέβαια, από τη σχέση y n+1 = y n + f (tn + h2 , y n +
h n n
2 f (t , y )).
Σχήμα 12.5: Το χωρίο Sθ στο μιγαδικό επίπεδο.
Για τη μέθοδο του τραπεζίου έχουμε

!n
hλ
1+
yn = 2
, n ≥ 0,
1− hλ
2
από την οποία προκύπτει ότι |y n | ≤ 1 για κάθε z ∈ C με Rez < 0, βλέπε Άσκηση 12.6.3. Συμπεραίνουμε
ότι και η μέθοδος του τραπεζίου είναι A-ευσταθής.
Θα εξετάσουμε τώρα την απόλυτη ευστάθεια μιας γενικής μεθόδου Runge-Kutta. Αν εφαρμόσουμε τη μέ-
θοδο (10.7)–(10.8) στο πρόβλημα (12.15) έχουμε
X
q
y n,i n
= y + hλ aij y n,j , 1 ≤ i ≤ q, (12.17)
j=1
X
q
n+1 n
y = y + hλ bi y n,i . (12.18)
i=1
Με Y n = [y n,1 , . . . , y n,q ] και Aq = (aij ), 1 ≤ i, j ≤ q, οι σχέσεις (12.17) μπορούν να γραφούν στη

μορφή
(Iq − hλAq )Y n = y n 1,
όπου 1 = [1, . . . , 1]T ∈ Cq . Επομένως, αν ο πίνακας Iq − hλAq είναι αντιστρέψιμος έχουμε
Y n = y n (Iq − hλAq )−1 1.
Αντικαθιστώντας στην (12.18) έχουμε τελικά ότι

y n+1 = y n 1 + hλbT (Iq − hλAq )−1 1 . (12.19)
Θέτοντας z = hλ μπορούμε να γράψουμε τη σχέση αυτή στη μορφή
y n+1 = r(z)y n , z = hλ, n ≥ 0, (12.20)
όπου r(z) είναι η συνάρτηση
r(z) = 1 + zbT (Iq − zAq )−1 1, Rez < 0. (12.21)
Η συνάρτηση r καλείται συνάρτηση ευστάθειας της μεθόδου Runge-Kutta.

H συνάρτηση ευστάθειας r είναι καλά ορισμένη, αν ο πίνακας Iq − zAq είναι αντιστρέψιμος. Τα σημεία
z ∈ C για τα οποία ο Iq −zAq δεν αντιστρέφεται είναι οι ιδιοτιμές z1 , του Aq οι οποίες δεν είναι περισσότερες
από q. Ορίζουμε λοιπόν την r για κάθε μιγαδικό αριθμό z εκτός από το πολύ q σημεία. Χρησιμοποιώντας
παραδείγματος χάριν τον κανόνα του Cramer για να διατυπώσουμε τη λύση ενός γραμμικού συστήματος με
χρήση οριζουσών και αντικαθιστώντας στην (12.19), προκύπτει εύκολα ότι η r(z) είναι ρητή συνάρτηση του
z με βαθμούς αριθμητή και παρονομαστή το πολύ q.
Είναι προφανές από την (12.20) ότι μια μέθοδος Runge-Kutta είναι απόλυτα ευσταθής για κάποιο h αν το
z = hλ είναι τέτοιο ώστε η r(z) να είναι καλά ορισμένη και να ικανοποιεί |r(z)| < 1. Συνεπώς η περιοχή
απόλυτης ευστάθειας S μιας μεθόδου Runge-Kutta μπορεί να ορισθεί ως το σύνολο
S = {z : Rez < 0, r(z) καλά ορισμένη και |r(z)| < 1}.
Εύκολα μπορούμε να δούμε ότι η ακριβής λύση του προβλήματος (12.15) είναι y(t) = eλt y0 και ότι
y(tn+1 ) = ez y(tn ), z = hλ, n ≥ 0. (12.22)
Συνεπώς η (12.20) αποτελεί το διακριτό ανάλογο της (12.22) και άρα η συνάρτηση r(z) είναι μια ρητή
προσέγγιση του εκθετικού ez για Rez < 0. Επομένως οι ιδιότητες απόλυτης ευστάθειας της μεθόδου μετα-
φράζονται σε κατάλληλες ιδιότητες της r(z).
Από τον ορισμό της τάξης ακρίβειας μιας μεθόδου Runge-Kutta συμπεραίνουμε ότι αν η μέθοδος (10.7)–
(10.8) έχει τάξη ακρίβειας p, τότε η ποσότητα y(tn+1 ) − r(z)y(tn ) = (ez − r(z))y(tn ) θα πρέπει να είναι
τάξης hp+1 για κάθε n, λ. Θα ικανοποιεί επομένως την αναγκαία συνθήκη
ez − r(z) = O(|z|p+1 ) για z → 0. (12.23)
Προφανώς η r(z) είναι αναλυτική σε μια περιοχή του μηδενός. Δεν είναι όμως σωστό ότι η τάξη ακρίβειας
μιας μεθόδου Runge-Kutta που αντιστοιχεί στη ρητή συνάρτηση r(z) είναι p. Η (12.23) είναι ικανή συνθήκη
ώστε η τάξη ακρίβειας της μεθόδου για γραμμικά προβλήματα με σταθερούς συντελεστές να είναι p.
Για τη μέθοδο Euler έχουμε r(z) = 1 + z, ενώ για την πεπλεγμένη μέθοδο Euler r(z) = (1 + z)−1 .
Και για τις δύο μεθόδους έχουμε ez = r(z) + O(z 2 ) σε συμφωνία με τις γνωστές τάξεις ακρίβειας των δύο
μεθόδων. Για τη μέθοδο του τραπεζίου έχουμε r(z) = (1+z/2)/(1−z/2) και βέβαια, ez = r(z)+O(z 2 ).
Τόσο η πεπλεγμένη μέθοδος Euler όσο και η μέθοδος του τραπεζίου είναι A-ευσταθείς μέθοδοι.
Όλες οι άμεσες μέθοδοι Runge-Kutta έχουν πολυωνυμικές συναρτήσεις r(z) με r(0) = 1. Αν μια άμεση
μέθοδος έχει τάξη ακρίβειας p η (12.23) συνεπάγεται ότι η αντίστοιχη r(z) θα είναι αναγκαστικά
r(z) = 1 + z + z 2 /2! + · · · + z p /p!. (12.24)
Οι περιοχές όπου |r(z)| < 1 για άμεσες μεθόδους με p = 1, 2, 3, 4 φαίνονται στο Σχήμα 12.6. Είναι
φανερό ότι δεν υπάρχει άμεση A-ευσταθής μέθοδος Runge-Kutta. Για τις ημιπεπλεγμένες μεθόδους (10.12)
με q = 2, p = 3, δηλαδή με λ = (1 ± 3−1/2 )/2 έχουμε
1 + (1 − 2λ)z + (1/2 − 2λ + λ2 )z 2
r(z) = .
(1 − λz)2
Οι μέθοδοι αυτοί είναι A-ευσταθείς. Το ίδιο ισχύει για τις μεθόδους Gauss-Legendre. Για τη μέθοδο με q = 2,
δηλαδή την (10.13) έχουμε
1 + z/2 + z 2 /12
r(z) = .
1 − z/2 + z 2 /12
Μπορούμε ακόμα να πούμε ότι μια μέθοδος είναι A-ευσταθής αν S = {z : Rez < 0} και A0 -ευσταθής αν
S ⊃ {z : Rez < 0, Imz = 0}.
Σχήμα 12.6: Περιοχές απόλυτης ευστάθειας των άμεσων μεθόδων Runge-Kutta με τάξεις ακρίβειας p =
1, 2, 3, 4.
12.3 Απόλυτη ευστάθεια πολυβηματικών μεθόδων
Προχωράμε τώρα στη μελέτη της απόλυτης ευστάθειας των γραμμικών πολυβηματικών μεθόδων. Αν εφαρ-
μόσουμε την (11.5) στην εξίσωση (12.15) παίρνουμε την ομογενή εξίσωση διαφορών
X
k
(aj − hλβj )y n+j = 0, n ≥ 0. (12.25)
j=0
Για να ισχύει y n → 0 καθώς n → ∞ για κάποιο h για κάθε λύση της (12.25) με y 0 = 1 πρέπει οι ρίζες
ζi = ζi (hλ), 1 ≤ i ≤ k, του πολυωνύμου
π(ζ, hλ) = p(ζ) − hλσ(ζ), Reλ < 0, (12.26)
να ικανοποιούν
|ζi | < i, 1 ≤ i ≤ k. (12.27)
Συνεπώς το πρόβλημα του προσδιορισμού της απόλυτης ευστάθειας της μεθόδου (11.5) ανάγεται στη με-
λέτη των ριζών ζi του πολυωνύμου π ως συναρτήσεων της μιγαδικής παραμέτρου hλ, Reλ < 0, και στη
διατύπωση συνθηκών έτσι ώστε να ισχύει η συνθήκη (12.27). Για παράδειγμα, για τη μέθοδο (11.2) έχουμε
p(ζ) = ζ 2 −1, σ(ζ) = 2ζ. Συνεπώς, π(ζ, hλ) = ζ 2 −2hλζ −1 με ρίζες ζ1 , ζ2 τέτοιες ώστε |ζ1 | |ζ2 | = 1
για κάθε hλ ∈ C. Συνεπώς δεν είναι δυνατόν να ισχύει η (12.27) για καμία τιμή του hλ, επομένως η μέθο-
δος (11.2) δεν είναι ποτέ απόλυτα ευσταθής. Το ίδιο συμβαίνει για τη μέθοδο του Simpson (11.4). Αντίθετα,
έχουμε ήδη δει ότι η πεπλεγμένη μέθοδος Euler και η μέθοδος του τραπεζίου είναι A-ευσταθείς.
Οι μέθοδοι Adams-Bashforth και Adams-Moulton έχουν φραγμένες περιοχές απόλυτης ευστάθειας, βλέ-
πε Σχήμα 12.7 και άρα δεν είναι A0 -ευσταθείς. Αντίθετα, μπορούμε να δείξουμε ότι οι μεθόδοι ανάδρομων
διαφορών (BDF) για 1 ≤ k ≤ 6 δεν έχουν φραγμένες περιοχές απόλυτης ευστάθειας. Πιο συγκεκριμένα, η
μέθοδος για k = 2 είναι A-ευσταθής και για 3 ≤ k ≤ 6 είναι A(θ)-ευσταθείς με γωνίες θk , 3 ≤ k ≤ 6 τις
εξής: θ3 ≈ 88◦ , θ4 ≈ 73◦ , θ5 ≈ 51◦ και θ6 ≈ 19◦ , βλέπε Σχήμα 12.8.
Θεώρημα 12.1 (Dahlquist). Δεν υπάρχουν άμεσες A-ευσταθείς πολυβηματικές μέθοδοι. Αν μια πολυβηματική
μέθοδος είναι A-ευσταθής τότε η τάξη ακρίβειας της p είναι το πολύ 2.
Παρατήρηση 12.2. Λόγω του Θεωρήματος 12.1 δεν υπάρχουν A-ευσταθείς πολυβηματικές μέθοδοι μεγα-
λύτερης τάξης του 2, αλλά υπάρχουν A-ευσταθείς μέθοδοι Runge-Kutta οποιασδήποτε τάξης ακρίβειας (π.χ.
οι μέθοδοι Gauss-Legendre με q-στάδια και τάξη ακρίβειας p = 2q.
Σχήμα 12.7: Αριστερά: Περιοχές απόλυτης ευστάθειας των k βηματικών μεθόδων Adams-Bashforth με k =
2, 3, 4. Δεξιά: Περιοχές απόλυτης ευστάθειας των k βηματικών μεθόδων Adams-Moulton με k = 2, 3, 4.
Σχήμα 12.8: Περιοχές απόλυτης ευστάθειας των k βηματικών μεθόδων BDF με k = 2, 3, 4, 5, 6. Η BDF
με k = 2 είναι A-ευσταθής. Οι μέθοδοι BDF με k = 3, 4, 5, 6 είναι A(θ)-ευσταθείς, επειδή περιέχουν τον
κώνο Sθ με θ ≈ 86◦ , θ ≈ 73◦ , θ ≈ 52◦ , θ ≈ 18◦ .
Για να δείξουμε ότι μια πολυβηματική μέθοδος είναι A0 -ευσταθής αρκεί να δείξουμε ότι το χαρακτηριστικό
πολυωνύμο π ικανοποιεί τη συνθήκη των ριζών αν οι συντελεστές του είναι πραγματικοί αριθμοί. Ένα αποτέ-
λεσμα που βοηθάει είναι το ακόλουθο Λήμμα 12.1.
Λήμμα 12.1. Tο τετραγωνικό πολυώνυμο q(z) = z 2 + az + b, a, b ∈ R, ικανοποιεί τη συνθήκη των ριζών

αν πληρούνται οι ακόλουθες συνθήκες:
i.) b < 1,
ii.) 1 + b + a > 0,
iii.) 1 + b − a > 0.
Απόδειξη. Η απόδειξη αφήνεται ως άσκηση, βλ. Άσκηση 12.6.5.

12.4 B -ευστάθεια
Τα τελευταία χρόνια οι προσπάθειες στην περιοχή της απόλυτης ευστάθειας έχουν στραφεί σε γενικεύσεις της
έννοιας σε άκαμπτα μη γραμμικά προβλήματα ή σε γραμμικά άκαμπτα προβλήματα με μεταβλητούς συντελε-
στές. Τα προβλήματα αυτά έχουν γενικά λύσεις που φθίνουν καθώς αυξάνεται το t αλλά έχουν πολύ μεγάλες
σταθερές Lipschitz έτσι ώστε η θεωρία ευστάθειας που αναπτύχθηκε στις προηγούμενες παραγράφους να
είναι πρακτικά ανεφάρμοστη. Θεωρούμε το μιγαδικό σύστημα μη γραμμικών διαφορικών εξισώσεων
(
y ′ = f (t, y), t ≥ 0,
(12.28)
y(0) = y0
όπου u(t) και f έχουν τιμές στον Cm . Υποθέτουμε ότι το πρόβλημα αρχικών τιμών (12.28) έχει μοναδική
λύση τουλάχιστον τοπικά σε ένα διάστημα [0, T ] και ότι ισχύει
Re (f (t, y) − f (t, v), y − v) ≤ 0, ∀ t ≥ 0, y, v ∈ Cm , (12.29)
όπου με (·, ·) συμβολίζουμε το ευκλείδειο εσωτερικό γινόμενο στον Cm (και με k · k την παραγόμενη από
αυτό νόρμα). Για δύο λύσεις y(t), v(t) σε ένα διάστημα [t− , t+ ] έχουμε
y ′ (t) − v ′ (t) = f (t, y(t)) − f (t, v(t)), t − ≤ t ≤ t+ ,
επομένως παίρνοντας το εσωτερικό γινόμενο με την y(t) − v(t) έχουμε λόγω της (12.29) ότι
d
ky − vk2 = 2Re(y ′ − v ′ , y − v)
dt
= 2Re(f (t, y(t)) − f (t, v(t)), y − v) ≤ 0, t − ≤ t ≤ t+ .
Συνεπώς
ky(t+ ) − v(t+ )k ≤ ky(t− ) − v(t− )k, t − ≤ t+ .
Αξίζει να σημειωθεί ότι η σταθερά Lipschitz της f (αν η f είναι Lipschitz) δεν εμφανίζεται καν στην προη-
γούμενη ανισότητα!
Ορισμός 12.2. Λέμε ότι η μέθοδος (10.7)–(10.8) είναι B-ευσταθής αν, όταν εφαρμοσθεί στο πρόβλημα
(12.28) με την ιδιότητα (12.29), ικανοποιεί
ky n+1 − v n+1 k ≤ ky n − v n k, n ≥ 0, (12.30)
για οποιεσδήποτε δύο λύσεις y n , v n , y n,i , v n,i των (10.7)–(10.8).
Σημειώνουμε ότι μια B-ευσταθής μέθοδος εφαρμοζόμενη σε μια μιγαδική εξίσωση της μορφής y ′ = λy,
Reλ < 0 δίνει, επειδή ισχύει η (12.29), |y n+1 −v n+1 | ≤ |y n −v n |, οπότε με v n = 0 έχουμε |y n+1 | ≤ |y n |
και επομένως |r(hλ)| ≤ 1 για κάθε h > 0 και λ ∈ C με Reλ < 0. Άρα η μέθοδος είναι A-ευσταθής.
Αποδείξαμε λοιπόν ότι η B-ευστάθεια συνεπάγεται την A-ευστάθεια.
Ορισμός 12.3 (Αλγεβρική ευστάθεια). Μια μέθοδος Runge-Kutta (10.7)–(10.8) λέγεται αλγεβρικά ευστα-
θής αν πληροί τις συνθήκες:

bi ≥ 0, 1 ≤ i ≤ q,

ο πίνακας M με mij = bi aij + bj aji − bi bj , 1 ≤ i, j ≤ q, (12.31)


ικανοποιεί z M z ≥ 0, ∀z ∈ C .
H q
Το επόμενο θεώρημα διατυπώνει ικανές και αναγκαίες συνθήκες ώστε η μέθοδος Runge-Kutta που αντι-
στοιχεί στο μητρώο (10.9) να είναι B-ευσταθής.
Θεώρημα 12.2. Aν η μέθοδος Runge-Kutta (10.7)–(10.8) είναι αλγεβρικά ευσταθής, τότε είναι και B-ευσταθής.
Αν επιπλέον υποθέσουμε ότι οι αριθμοί τi , 1 ≤ i ≤ q, είναι διαφορετικοί μεταξύ τους, τότε η μέθοδος Runge-
Kutta (10.7)-(10.8) είναι B-ευσταθής αν και μόνο αν είναι αλγεβρικά ευσταθής.
Απόδειξη. Θα αποδείξουμε μόνο το ικανό για οποιαδήποτε τi , 1 ≤ i ≤ q. Για την απλούστευση της απόδει-
ξης υποθέτουμε ότι το πρόβλημα (12.28) είναι πραγματικό, ότι ισχύει η (12.29), ότι τα (·, ·), k · k είναι το
ευκλείδειο εσωτερικό γινόμενο, αντίστοιχα, νόρμα στον Rn , και ότι xT M x ≥ 0 για κάθε x ∈ Rq .
Θεωρούμε δύο λύσεις y n , y n,i , v n , v n,i των (10.7)-(10.8). Αφαιρώντας έχουμε
X
q
y n,i
−v n,i
=y −v +
n n
aij ϕj , 1 ≤ i ≤ q, (12.32)
j=1
X
q
y n+1
−v n+1
=y −v + n n
bi ϕ i , (12.33)
i=1
όπου θέσαμε
ϕj = h f (tn,j , y n,j ) − f (tn.j , v n.j ) , 1 ≤ j ≤ q. (12.34)
Από την (12.33) έχουμε
X
q
ky n+1
−v n+1 2
k = ky − v k + 2
n n 2
bi (ϕi , y n − v n )
i=1
2
Xq
+ bi ϕi .
i=1
Χρησιμοποιώντας την (12.32) έχουμε
X
q
X
q
X
q
bi (ϕ , y − v ) =
i n n
bi (ϕ , yi n.i
−v )− n,i
bi aij (ϕi , ϕj ),
i=1 i=1 i,j=1
συνεπώς
X
q
ku n+1
−v n+1 2
k = ky − v k + 2n n 2
bi (ϕi , y n,i − v n,i ) (12.35)
i=1
X
q
X
q
+ bi bj (ϕi , ϕj ) − 2 bi aij (ϕi , ϕj ).
i,j=1 i,j=1
Τώρα, (ϕi , y n,i − v n,i ) ≤ 0, λόγω της (12.29) και
X
q
X
q
X
q
i j i j
2 bi aij (ϕ , ϕ ) = bi aij (ϕ , ϕ ) + 2 bj aji (ϕi , ϕj ),
i,j=1 i,j=1 i,j=1
λόγω της συμμετρίας του εσωτερικού γινομένου. Άρα η (12.35), λόγω της υπόθεσης bi ≥ 0 δίνει
X
q
ky n+1
−v n+1 2
k ≤ ky − v k −n n 2
mij (ϕi , ϕj ). (12.36)
i,j=1
Έστω {ξk }, 1 ≤ k ≤ m, μια ορθοκανονική βάση του Rn ως προς το εσωτερικό γινόμενο (·, ·). Γράφουμε
X
m
(i)
X
m
(j)
i j
ϕ = ck ξ k , ϕ = ck ,
k=1 k=1
έτσι ώστε
X
q
X
q
X
m
(i) (j)
mij (ϕi , ϕj ) = mij ck ck
i,j=1 i,j=1 k=1
XXm q
= (i)
c mij c(j) ≥ 0,
k=1 i,j=1
επειδή xT M x ≥ 0 για κάθε x ∈ Rq . Η προηγούμενη σχέση και η (12.36) συνεπάγονται την (12.30).
Παρατήρηση 12.3. Η μέθοδος Runge-Kutta που αντιστοιχεί στο tableau
λ λ
1
έχει b1 = 1, M = 2λ − 1 και είναι B-ευσταθής αν λ ≥ 1/2. Συνεπώς, η πεπλεγμένη μέθοδος Euler

(λ = 1) και η πεπλεγμένη μέθοδος του μέσου (λ = 1/2) είναι B-ευσταθείς. Από την άλλη μεριά, η A-
ευσταθής μέθοδος του τραπεζίου που δίνεται από το μητρώο
0 0 0
1/2 1/2 1
1/2 1/2

−1/4 0
δεν είναι B-ευσταθής, γιατί M = 0 1/4 για τον οποίο φυσικά υπάρχει 0 6= x ∈ R2 τέτοιο ώστε
xT M x < 0. Οι διαγώνια πεπλεγμένες μέθοδοι (10.12) με q = 2 είναι B-ευσταθείς για λ ≥ 1/4. Ειδι-
κότερα η μέθοδος με λ = (1 + 3−1/2 )/2 είναι B-ευσταθής και έχει τάξη p = 3. Όλες οι μέθοδοι Gauss-
Legendre με q σημεία είναι B-ευσταθείς και έχουν τάξη ακρίβειας p = 2q. Μάλιστα, γι’ αυτές τις μεθόδους
M = 0. Συνεπώς, όλες αυτές οι μέθοδοι είναι κατάλληλες για μη γραμμικά άκαμπτα συστήματα όπως τα
(12.28)–(12.29).
12.5 G-ευστάθεια
Όπως και στην περίπτωση των μεθόδων Runge-Kutta, θεωρούμε το μιγαδικό σύστημα μη γραμμικών διαφο-
ρικών εξισώσεων (
y ′ = f (t, y), t ≥ 0,
(12.37)
y(0) = y0
όπου y(t) και f έχουν τιμές στον Cm . Υποθέτουμε ότι το πρόβλημα αρχικών τιμών (12.37) έχει μοναδική
λύση τουλάχιστον τοπικά σε ένα διάστημα [0, T ] και ότι ισχύει
Re (f (t, y) − f (t, v), y − v) ≤ 0, ∀ t ≥ 0, y, v ∈ Cm , (12.38)
όπου με (·, ·) συμβολίζουμε το ευκλείδειο εσωτερικό γινόμενο στον Cm (και με k · k την παραγόμενη από
αυτό νόρμα).
Στις μεθόδους Runge-Kutta για να ικανοποιείται η B-ευστάθεια ζητούμε οι δύο λύσεις y n , v n ενός προ-
βλήματος που ικανοποιεί τη μονόπλευρη συνθήκη του Lipschitz (12.38) να ικανοποιούν την ανισότητα
ky n+1 − v n+1 k ≤ ky n − v n k, n ≥ 0.
Για τις πολυβηματικές μεθόδους δεν έχει νόημα να απαιτήσουμε να ικανοποιούν μια τέτοια ανισότητα, γιατί η
προσέγγιση y n+1 εξαρτάται και από άλλες προσεγγίσεις εκτός από την προηγούμενη y n .
Θεωρούμε μια k-βηματική μέθοδο (11.5) που περιγράφεται από τις σταθερές αk , . . . , α0 , βk , . . . , β0 και
υποθέτουμε ότι οι σταθερές έχουν κανονικοποιηθεί έτσι ώστε βk + · · · + β0 = 1, το οποίο είναι εφικτό
για όλες τις ευσταθείς και συνεπείς πολυβηματικές μεθόδους. Ακόμα θεωρούμε ότι τα πολυώνυμα ρ και σ
δεν έχουν κοινές ρίζες, είναι δηλαδή ανάγωγα μεταξύ τους. Τότε για k-βηματική μέθοδο (11.5) αντιστοιχεί η
ακόλουθη πολυβηματική μέθοδος
αk y n+k + αk−1 y n+k−1 + · · · + α0 y n =

!
X
k X
k
hf βi tn+i , βi y n+i , 0 ≤ n ≤ N − k. (12.39)
i=0 i=0
Οι πολυβηματικές μέθοδοι (12.39) καλούνται μονοσκελείς (“one-leg”) πολυβηματικές μέθοδοι. Παρατηρούμε

ότι στη μέθοδο (12.39) η τιμή της f υπολογίζεται σε ένα μόνο σημείο.
Οι προσεγγίσεις που προκύπτουν αν εφαρμόσουμε τις πολυβηματικές μεθόδους (11.5) και (12.39) είναι
εν γένει διαφορετικές. Όμως για το γραμμικό πρόβλημα διαφορικών εξισώσεων (12.15) ταυτίζονται. Μια
κατηγορία πολυβηματικών μεθόδων για τις οποίες οι μέθοδοι (11.5) και (12.39) ταυτίζονται είναι οι μέθοδοι
ανάδρομων διαφορών, (BDF).
Θεωρούμε τον ακόλουθο συμβολισμό. Αν x1 , . . . , xk ∈ Rn , θέτουμε X = (x1 , . . . , xk )T ∈ (Rn )k .
Επίσης αν G ∈ Rk×k με στοιχεία gij , συμβολίζουμε GX ∈ (Rn )k το διάνυσμα
X
k X
k
GX = ( g1j xj , . . . , gkj xj )T .
j=1 j=1
Επίσης συμβολίζουμε με (·, ·), h·, ·i τα ευκλείδεια εσωτερικά γινόμενα στον Rn και (Rn )k , οπότε
X
k
hGX, Y i = gij (xi , y j ).
i,j=1
Αν ο πίνακας G είναι συμμετρικός και θετικά ορισμένος, τότε το < G·, · > ορίζει ένα εσωτερικό γινόμενο
στον (Rn )k με παραγόμενη νόρμα k · kG ,
kXkG = hGX, Xi1/2 .
Ορισμός 12.4. Η μονοσκελής μέθοδος (12.39) λέγεται G-ευσταθής, αν υπάρχει συμμετρικός και θετικά
ορισμένος πίνακας G ∈ Rk×k τέτοιος ώστε
kY n+1 − Z n+1 kG ≤ kY n − Z n kG ,
για κάθε h > 0 και για όλα τα προβλήματα αρχικών τιμών (12.37) για τα οποία ικανοποιείται η (12.38).
Παράδειγμα 12.5. Η διβηματική μέθοδος BDF είναι G-ευσταθής. Ο πίνακας

1 5 −2
G=
4 −2 1
είναι συμμετρικός και θετικά ορισμένος και αν y n , z n δύο λύσεις για το πρόβλημα (12.37) με τη διβηματική
μέθοδο BDF, τότε μπορούμε να δείξουμε ότι
kY n+1 − Z n+1 kG ≤ kY n − Z n kG .
Το αντικείμενο αυτού του κεφαλαίου υπάρχει πιο αναλυτικά σε βιβλία με αντικείμενο την αριθμητική λύση
βουλευτεί: [1], [2], [3], [4], [5], [6], [7], [8].
12.6.1 Βρείτε τα διαστήματα απόλυτης ευστάθειας για τις άμεσες μεθόδους Runge-Kutta τάξης p = 2, 3 και
4.
12.6.2 Δείξτε ότι οι μέθοδοι Runge-Kutta
0 0 0 0 0 0 0 0
1/3 0 0 1/3 1/2 0 0 1/2
0 2/3 0 2/3 −1 2 0 1
1/4 0 3/4 1/6 2/3 1/6
έχουν την ίδια περιοχή απόλυτης ευστάθειας.
12.6.3 Δείξτε ότι η μέθοδος του τραπεζίου είναι A-ευσταθής.
12.6.4 Για τις παρακάτω μεθόδους Runge-Kutta βρείτε την αντίστοιχη συνάρτηση ευστάθειας r και προσδιο-
ρίστε τα διαστήματα απόλυτης ευστάθειάς τους
0 0 0 0
0 0 0 1/6 0 0
1/4 1/4 0 1/2
1/3 1/3 2/3 2/3 1/6 5/6 .
0 1 0 1
1/4 3/4 1/2 1/2
1/6 2/3 1/6
12.6.5 Δείξτε το Λήμμα 12.1, δηλαδή ότι το τετραγωνικό πολυώνυμο q(z) = z 2 + az + b, a, b ∈ R,

ικανοποιεί τη συνθήκη των ριζών αν πληρούνται οι ακόλουθες συνθήκες:
i.) b < 1,
ii.) 1 + b + a > 0,
iii.) 1 + b − a > 0.
12.6.6 Βρείτε το διάστημα απόλυτης ευστάθειας της μεθόδου Adams-Moulton
h
y n+2 − y n+1 = 5f n+2 + 8f n+1 − f n .
12
12.6.7 Δείξτε για τη μέθοδο ανάδρομων διαφορών με k βήματα της Άσκησης 11.7.8 ότι: (α) Για k = 2 είναι
A-ευσταθής. (β) Για k = 3 είναι A0 -ευσταθής αλλά όχι A-ευσταθής.
12.6.8 Δείξτε ότι η μια άμεση πολυβηματική μέθοδος δεν μπορεί να είναι A0 -ευσταθής.
12.6.9 Δείξτε ότι η πολυβηματική μέθοδος
h n+2
y n+2 − y n+1 = (f + 2f n+1 + f n )
4
είναι A0 -ευσταθής.
12.6.10 Δείξτε ότι όλες οι συγκλίνουσες πολυβηματικές μέθοδοι που ανήκουν στην οικογένεια μεθόδων
h
y n+2 + (θ − 2)y n+1 + (1 − θ)y n = ((6 + θ)f n+2 + 3(θ − 2)f n ), θ ∈ R,
4
είναι A0 -ευσταθείς.
12.6.11 Δείξτε ότι για μια k−βηματική μέθοδο είναι αναγκαίο βk /αk > 0 ώστε να είναι A(θ)-ευσταθής.
12.6.12 Δείξτε ότι η πεπλεγμένη μέθοδος Euler είναι B-ευσταθής.
12.6.13 Δείξτε ότι οι διαγώνια πεπλεγμένες μέθοδοι που ορίσαμε στην (10.12) με q = 2 είναι B-ευσταθείς
για λ ≥ 1/4.
12.6.14 Δείξτε ότι η μέθοδος Gauss-Legendre με q = 2 σημεία (10.13) είναι B-ευσταθής.
12.6.15 Δείξτε ότι η μέθοδος τραπεζίου είναι G-ευσταθής με G = 1.
Wiley & Sons, 1987.
[3] K. Dekker και J. G. Verwer. Stability of Runge-Kutta Methods for Stiff Nonlinear Differential Equations.
English. 1984.
[4] C. W. Gear. Numerical Initial Value Problems in Ordinary Differential Equations. English. Englewood
Cliffs, NJ: Prentice-Hall, 1971.
[5] E. Hairer και G. Wanner. Solving Ordinary Differential Equations. II: Stiff and Differential-Algebraic
Problems. English. Τόμ. 14. Berlin: Springer, 2010, σσ. xvi + 614. isbn: 978-3-642-05220-0. doi:
10.1007/978‐3‐642‐05221‐7.
10.1017/CBO9780511995569.
Μέρος III
ΠΑΡΑΡΤΗΜΑ
ΚΕΦΑΛΑΙΟ 13
ΛΥΣΕΙΣ ΕΠΙΛΕΓΜΕΝΩΝ ΑΣΚΗΣΕΩΝ
1.7.1 (σελ. 22): Έχουμε
X
n
(k)
X
n
(k)
(Ae )i = aij ej = aij δkj = aik , i = 1, . . . , m,
j=1 j=1
συνεπώς Ae(k) είναι η k-στή στήλη του πίνακα A.

1.7.2 (σελ. 22): Σύμφωνα με την προηγούμενη άσκηση, η k-στήλη του AB είναι ίση με ABe(k) . Όμως
Be(k) = b(k) , συνεπώς η k-στή στήλη του AB είναι η Ab(k) για k = 1, . . . , p.
1.7.3 (σελ. 22): Τα στοιχεία του aTi B ∈ C1×p , i = 1, . . . , p, είναι
X
n
(aTi B)j = Aik Bkj , j = 1, . . . , p,
k=1
και τα στοιχεία της γραμμής i του πίνακα AB είναι
X
n
(AB)ij = Aik Bkj , 1 ≤ i ≤ m, 1 ≤ j ≤ p,
k=1
το οποίο αποδεικνύει το ζητούμενο.

1.7.4 (σελ. 22): Όμοια με την προηγούμενη άσκηση.
1.7.5 (σελ. 22): Αν θέσουμε x = e(j) , 1 ≤ j ≤ n, το j-στό στοιχείο της κανονικής βάσης του Cn τότε
η σχέση Ax = Bx δίνει Aij = Bii για 1 ≤ i ≤ n, δηλαδή οι στήλες j των δύο πινάκων είναι ίσες ως
διανύσματα του Cn . Επομένως A = B. Η αντίστροφη συνεπαγωγή είναι προφανής.
1.7.6 (σελ. 22): Για τον πίνακα AAH έχουμε
(AAH )H = (AH )H AH = AAH ,

204 ΛΥΣΕΙΣ ΕΠΙΛΕΓΜΕΝΩΝ ΑΣΚΗΣΕΩΝ
δηλαδή, ο AAH είναι ερμιτιανός. Η απόδειξη ότι ο AH A είναι ερμιτιανός είναι εξίσου εύκολη.
1.7.7 (σελ. 22): Αρκεί να πάρουμε A1 = (A + AH )/2 και A2 = (A − AH )/2.
1.7.8 (σελ. 22): Το αποτέλεσμα προκύπτει από το γεγονός ότι αν A = P + iQ με P, Q ∈ Rn×n τότε
AH = P T + īQT = P T − iQT . Αν AH = A, τότε αναγκαστικά P = P T και QT = −Q.
1.7.9 (σελ. 23): Όλες οι ζητούμενες σχέσεις αποδεικνύονται εύκολα με χρήση του ορισμού του αντίστρο-
φου πίνακα.
1.7.10 (σελ. 23): Παρατηρούμε ότι
B −1 − A−1 = B −1 (I − BA−1 ) = B −1 (A − B)A−1 ,
από την οποία προκύπτει η ζητούμενη σχέση.

1.7.11 (σελ. 23): Έχουμε

−1 A−1 uv T A−1
T
(A + uv ) A −
1 + v T A−1 u
A−1 uv T A−1 T −1
−1
T A uv A
T −1
=I −A + uv A − uv
1 + v T A−1 u 1 + v T A−1 u
uv T A−1 T −1 T −1 uv T A−1
=I− + uv A − v A u
1 + v T A−1 u 1 + v T A−1 u
uv T A−1
= I − (1 + v T A−1 u) + uv T A−1
1 + v T A−1 u
= I.
1.7.12 (σελ. 23): Με τον ίδιο τρόπο όπως και στην απόδειξη του τύπου των Sherman-Morrison.
1.7.13 (σελ. 23): Η απόδειξη γίνεται επαγωγικά. Η προς απόδειξη σχέση είναι προφανής για k = 1. Αν
αυτή ισχύει για κάποιο m ≥ 1 τότε
(uv T )m+1 = (uv T )m (uv T ) = (uT v)m−1 uv T (uv T ) = (uT v)m−1 (v T u)uv T = (uT v)m uv T .
1.7.14 (σελ. 23): Έστω ότι ο πίνακας I − A δεν είναι αντιστρέψιμος. Τότε υπάρχει x ∈ Cn , x 6= 0,
τέτοιο ώστε (I − A)x = 0, δηλαδή x = Ax. Τότε,
kxk22 = xH x = xH Ax = −xH AH x = −(Ax)H x = −xH x = −kxk22 ,
σχέση από την οποία προκύπτει η αντίφαση x = 0. Συνεπώς, ο πίνακας I − A είναι αντιστρέψιμος. Θέτουμε
B = (I − A)−1 (I + A). Τότε,
B H B = (I + A)H (I − A)−H B = (I + AH )(I − AH )−1 B = (I − A)(I + A)−1 B
= (I − A)(I + A)−1 (I − A)−1 (I + A) = (I − A) [(I − A)(I + A)]−1 (I + A).
Τώρα (I − A)(I + A) = I − A2 = (I + A)(I − A) και συνεπώς
B H B = (I − A) [(I + A)(I − A)]−1 (I + A) = (I − A(I − A)−1(I + A)−1 (I + A) = I.
Η απόδειξη ότι BB H = I είναι παρόμοια.

1.7.15 (σελ. 23): Αν x, y ∈ Cn με xH y = 0 τότε
kx + yk22 = (x + y)H (x + y) = xH x + 2Re(xH y) + y H y = xH x + y H y = kxk22 + kyk22 .
Όμοια για τη σχέση kx − yk22 = kxk22 + kyk22 .

1.7.16 (σελ. 23): Προκύπτει εύκολα από το γεγονός ότι kx + yk22 = (x + y)H (x + y) = xH x +
2Re(xH y) + y H y.
1.7.17 (σελ. 23): Η επαλήθευση των ιδιοτήτων της νόρμας είναι εύκολη και για τα τρία συναρτησιακά.
1.7.18 (σελ. 23): Για x ∈ Cn έχουμε
kxk22 = |x1 |2 + · · · + |xn |2 ≤ (|x1 | + · · · + |xn |)2 = kxk21 ,
από την οποία προκύπτει ότι kxk2 ≤ kxk1 . Ακόμα, χρησιμοποιώντας την ανισότητα Cauchy-Schwarz για
αθροίσματα έχουμε
!2 ! !
Xm Xn Xn
kxk21 = |xi | ≤ 12 |xi |2 = nkxk22 ,
i=1 i=1 i=1
√
το οποίο δείχνει ότι kxk1 ≤ nkxk2 και ολοκληρώνει την απόδειξη της (1.5). Ακόμα, για το διάνυσμα
x = [1, 0, . . . , 0]T ∈ Cn έχουμε
√ kxk1 = kxk2 = √
1, ενώ για το διάνυσμα x = [1, 1, . . . , 1]T ∈ Cn
έχουμε kxk1 = n και kxk2 = n, δηλαδή kxk1 = nkxk2 . Οι άλλες δύο σχέσεις ισοδυναμίας νορμών
αποδεικνύονται παρόμοια.
1.7.19 (σελ. 23): Για x ∈ Cn έχουμε
X
n X
n X
n
kxk22 = |xi |2 ≤ kxk∞ |xi | = kxk∞ |xi | = kxk∞ kxk1 ,
i=1 i=1 i=1
και το ζητούμενο προκύπτει παίρνοντας τετραγωνικές ρίζες.

1.7.20 (σελ. 23): Εύκολα βλέπουμε ότι το συναρτησιακό k · kA έχει τις ιδιότητες της νόρμας. Σημειώ-
νουμε ότι για x ∈ Cn , αν kxkA = kAxkp = 0 τότε, Ax = 0 και επειδή ο πίνακας A είναι αντιστρέψιμος
έπεται ότι x = 0.
1.7.21 (σελ. 23): Έστω ϵ > 0. Αν πάρουμε δ = ϵ τότε για κάθε x, y ∈ Cn με kx − yk < δ έχουμε
|kxk − kyk| ≤ kx − yk < δ = ϵ,

το οποίο δείχνει ότι η νόρμα στον Cn είναι ομοιόμορφα συνεχής.

1.7.22 (σελ. 23): Αν x ∈ Cn και 1 ≤ p < ∞ έχουμε kxk∞ ≤ kxkp ≤ n1/p kxk∞ . Το ζητούμενο
αποτέλεσμα προκύπτει από το γεγονός ότι για σταθερό n ισχύει limp→∞ n1/p = 1.
1.7.23 (σελ. 23): Αφού η P είναι ορθογώνια, θα ισχύει P H = P . Οπότε
(I − 2P )H (I − 2P ) = I − 2P H − 2P + 4P H P = I − 4P + 4P = I.
1.7.24 (σελ. 23): Αν A ∈ Cm×n και 1 ≤ i1 < · · · < ir ≤ m, 1 ≤ j1 < · · · < js ≤ n, τότε ο
πίνακας B ∈ Cr×s με στοιχεία Bpq = Aip jq είναι υποπίνακας του A. Για τη νόρμα k · k2 και για z ∈ Cs ,
z 6= 0, έχουμε
2 2
X
r X
r X
s X
r X
s
kBzk22 = (Bz)2p = Bpq zq = Aip jq zq .
p=1 p=1 q=1 p=1 q=1
Αν z̃ ∈ Cn είναι το διάνυσμα το οποίο συμφωνεί με το z για τους δείκτες {j1 , . . . , js } και τα στοιχεία του
είναι ίσα με μηδέν για τους υπόλοιπους δείκτες, τότε μπορούμε να γράψουμε
X
s X
n
Ai p j q z q = Aip j z̃j ,
q=1 j=1
και επομένως,
2 2
X
r X
n X
m X
n
kBzk22 = Aip j z̃j ≤ Aij z̃j = kAz̃k22 .
p=1 j=1 i=1 j=1
Μια και kzk2 = kz̃k2 έχουμε αμέσως ότι kBk2 ≤ kAk2 . Οι αντίστοιχες σχέσεις για άλλες νόρμες Hölder
προκύπτουν με ανάλογο τρόπο.
1.7.25 (σελ. 23): Έστω 1 ≤ p < ∞. Έχουμε
!1/p !1/p
X
n X
n
kDkp = maxn kDxkp = maxn |dii xi | p
≤ max |dii | maxn |xi | p
x∈C x∈C 1≤i≤n x∈C
∥x∥p =1 ∥x∥p =1 i=1 ∥x∥p =1 i=1
= max |dii |.
1≤i≤n
Αν τώρα s ∈ {1, . . . , n} είναι τέτοιο ώστε |dss | = max1≤i≤n |dii | τότε για το διάνυσμα es ∈ Cn
με es,j = δsj , 1 ≤ j ≤ n, τότε kes kp = 1 και kDes kp = |dss | = max1≤i≤n |dii |. Συνεπώς
kDkp ≥ max1≤i≤n |dii |. Η απόδειξη για την περίπτωση p = ∞ γίνεται με παρόμοιο τρόπο.
1.7.26 (σελ. 23): Προκύπτει άμεσα από τη σχέση I = AA−1 , την πολλαπλασιαστική ιδιότητα των νορ-
μών Ηölder και το γεγονός ότι kIkp = 1.
1.7.27 (σελ. 23): Για A ∈ Cm×n έχουμε
X
n X
n X
n
kA k1 = max
H
|(A )ij | = max
H
|aji | = max |aji | = kAk∞ .
1≤j≤m 1≤j≤m 1≤j≤m
i=1 i=1 i=1
1.7.28 (σελ. 23): Από το Λήμμα 1.9 έχουμε kU Ak2 = kAk2 . Τώρα, χρησιμοποιώντας το γεγονός ότι
αν V είναι μοναδιαίος πίνακας, τότε για z ∈ Cn ισχύει kV zk2 = kzk2 , λαμβάνουμε
kU AV k2 = kAV k2 = sup kA(V z)k = sup kAwk = kAk2 .

∥z∥2 =1 ∥w∥2 =1
1.7.29 (σελ. 24): Έχουμε xy T ∈ Cm×n με (xy T )ij = xi yj . Τότε,

X
n X
n
kxy k∞ = max
T
|xi yj | = max |xi | |yj | = kxk∞ kyk1 .
1≤i≤m 1≤i≤m
j=1 j=1
Η δεύτερη προς απόδειξη σχέση είναι προφανής αν x = 0 ή/και y = 0. Υποθέτουμε λοιπόν ότι x, y 6= 0.
Η διάσταση του ορθογώνιου συμπληρώματος του χώρου που παράγεται από το διάνυσμα y είναι n − 1. Αν
v1 , . . . , vn−1 είναι μια βάση του, τότε xy T vi = (y T vi )x = 0, i = 1, . . . , n − 1. Συνεπώς η ιδιοτιμή 0 έχει
πολλαπλότητα n−1 και δεν υπάρχουν άλλες ιδιοτιμές εκτός από αυτή και την y T x, γιατί (xy T )x = (y T x)x.
Συνεπώς kxy T k2 ≤ |xT y| ≤ kxk2 kyk2 . Αν το x είναι πολλαπλάσιο του y τότε η ανισότητα Cauchy-
Schwarz ισχύει ως ισότητα, επομένως kxy T k2 = kxk2 kyk2 .
Για τη νόρμα Frobenius βλέπουμε ότι

! !
X
m X
N X
m X
n
kxy T k2F = |xi |2 |yj |2 = |xi |2 |yj |2 = kxk22 kyk22 .
i=1 j=1 i=1 j=1
1.7.30 (σελ. 24): Για x ∈ Cn έχουμε, χρησιμοποιώντας την ανισότητα Cauchy-Schwarz
2
X
m X
m X
n
kAxk22 = (Ax)2i = aij xj
i=1 i=1 j=1
! !
X
m X
n X
n
≤ |aij |2 |xj |2
i=1 j=1 j=1
X
m 2
≤ n max |aij | kxk22
j
i=1
2
≤ nm max |aij | kxk22 ,
i,j
√
από την οποία προκύπτει ότι kAk2 ≤ nm maxi,j |aij |. Τώρα, αν a(l) είναι η l στήλη του A, τότε ka(l) k2 ≤
(l)
kAk2 . Πράγματι, αν e(l) ∈ Cn είναι τέτοιο ώστε ei = δil , i = 1, . . . , n, τότε kAk2 ≥ kAe(l) k2 =
ka(l) k2 . Έστω |akl | = maxi,j |aij |. Τότε,

!1/2
X
n
max |aij | = |akl | ≤ |ail |2 = kal k2 ≤ kAk2 .
i,j
i=1
Οι υπόλοιπες σχέσεις ισοδυναμίας νορμών αποδεικνύονται με παρόμοιο τρόπο.

1.7.31 (σελ. 24): Υποθέτουμε ότι m ≥ n. Η απόδειξη για την περίπτωση m < n γίνεται με ανάλογο
τρόπο. Από το θεώρημα της ανάλυσης SVD, Θεώρημα 1.9, υπάρχουν ορθογώνιοι πίνακες U ∈ Rm×m και
V ∈ Rn×n τέτοιοι ώστε U T AV = diag(σ1 , . . . , σn ), όπου σ1 ≥ σ2 ≥ · · · ≥ σn ≥ 0 είναι οι ιδιάζουσες
ιδιοτιμές του A. Τότε AT A = V diag(σ12 , . . . , σn )2 )V T το οποίο αποδεικνύει τον ισχυρισμό της άσκησης.
1.7.32 (σελ. 24): Προκύπτει εύκολα από το Λήμμα 1.14.
1.7.33 (σελ. 24): Χρησιμοποιούμε την Άσκηση 1.7.31. Έχουμε
 
5 5
AT A =  
5 5
√ √ T
του οποίου√οι ιδιοτιμές
√ Tείναι λ 1 = 10 και λ 2 = 0 με αντίστοιχα ιδιοδιανύσματα v 1 = (1/ 2, 1/ 2) και
v2 = (1/ 2, −1/ 2) , αντίστοιχα. Αν V είναι ο πίνακας με στήλες τα v1 και v2 τότε εύκολα διαπιστώ-
νουμε √ότι o V είναι ορθογώνιος και AT A = V diag(10, 0) V T . Συνεπώς οι ιδιάζουσες τιμές του A είναι
σ1 = 10 και σ2 = 0.
1.7.34 (σελ. 24): Αν x ∈ R(P ) τότε kP xk2 = kxk2 , συνεπώς kP k2 = sup∥x∥2 =1 kP xk2 ≥ 1.
Έστω P ορθογώνια προβολή, τότε P H = P , και P = U ΣV H η ανάλυση SVD. Θα ισχύει ότι
σ1 = kP k2 = kP 2 k2 = kP H P k2 = kΣH Σk2 = σ12 .
Συνεπώς σ1 = σ12 , οπότε σ1 = 1.
Έστω τώρα kP k2 = 1 και P δεν είναι ορθογώνιος. Τότε θα έχουμε ότι R(I − P ) και R(P ) δεν είναι
ορθογώνια μεταξύ τους. Επομένως υπάρχει kak2 = 1, a ∈ R(P ) και a⊥R(I − P ) και
kP ak2 = ka + (P − I)ak2 > kak2 .

Άρα kP k2 > 1 το οποίο είναι άτοπο.
2.6.1 (σελ. 38): Χρησιμοποιώντας τις σχέσεις ισοδυναμίας των νορμών (1.5)- (1.7) έχουμε
kAxk1 nkAxk∞
kAk1 = sup ≤ sup = nkAk∞ .
x∈Rn kxk1 x∈Rn kxk∞
Παρόμοια παίρνουμε
kAxk1 kAxk∞ 1
kAk1 = sup ≥ sup = kAk∞ .
x∈Rn kxk1 x∈Rn nkxk∞ n
Επίσης με παρόμοιο τρόπο δείχνουμε ότι

1 √
√ kAk∞ ≤ kAk2 ≤ nkAk∞
n
και
1 √
√ kAk2 ≤ kAk1 ≤ nkAk2 .
n
Χρησιμοποιώντας τις παραπάνω ανισότητες εύκολα καταλήγουμε στις ζητούμενες σχέσεις.

2.6.2 (σελ. 38): Έχουμε ότι
kAk22 = ρ(AT A) ≤ kAT Ak∞ ≤ kAT k∞ kAk∞ = kAk1 kAk∞ .
2.6.3 (σελ. 38): Αν ο πίνακας A είναι θετικά ορισμένος τότε xT Ax > 0 για κάθε μη μηδενικό x ∈ Rn .
Επιπλέον xT Ax = 0 μόνο αν x = 0. Ικανοποιείται λοιπόν το πρώτο από τα αξιώματα της νόρμας. Μια και
για λ ∈ R έχουμε kλxk2 = (λx)T A(λx) = λ2 xT Ax, δηλαδή kxk = |λ|kxk ισχύει το δεύτερο από τα
αξιώματα της νόρμας. Επίσης επειδή
kx + yk2 = (x + y)T A(x + y) = xT Ax + 2xT Ay + y T Ay ≤ kxk2 + 2kxk kyk + kyk2
= (kxk + kyk)2 ,
ισχύει το τρίτο από τα αξιώματα της νόρμας. Συμπεραίνουμε λοιπόν ότι η απεικόνιση k · k είναι νόρμα στον
Rn .
2.6.4 (σελ. 38): Παρατηρούμε ότι
B −1 − A−1 = B −1 (I − BA−1 ) = B −1 (A − B)A−1 ,
από την οποία προκύπτει η ζητούμενη σχέση.

2.6.5 (σελ. 38): Αν x, y ∈ Rn με xT y = 0 τότε
kx + yk22 = (x + y)T (x + y) = xT x + 2xT y + y T y = xT x + y T y = kxk22 + kyk22 .
Όμοια για τη σχέση kx − yk22 = kxk22 + kyk22 .

2.6.6 (σελ. 38): Επειδή A = LU , τότε det(A) = det(L) det(U ). Αφού L και U είναι τριγωνικοί πί-
Qn τότε η ορίζουσά τους είναι το γινόμενο των διαγώνιων στοιχείων τους. Συνεπώς det(A) = det(U ) =
νακες
i=1 uii .
2.6.7 (σελ. 38): Θα χρησιμοποιήσουμε τη σχέση (2.5) με k · k = k · k2 . Η λύση του διαταραγμένου
√ συ-
στήματος είναι η x + δx = (1.1, 1.1, 1)T για την οποία έχουμε δx = (0.1, 0.1, 0)T και kδxk2 = 2/10.
Συνεπώς,
√
kδxk2 2
= √ = 0.08165.
kxk2 10 3
Τώρα, ο πίνακας A είναι συμμετρικός και επομένως kAk2 = 4, η μεγαλύτερη ιδιοτιμή. Ακόμα,
 
5/8 1/4 1/8
 
 
A−1 
= 
1/4 1/2 1/4 
 
 
1/8 1/4 5/8
με kA−1 k2 = 1 και
 
0 0 0 
 
 
δA = 
0


 0 −0.1 
 
0 −0.1 0
√ √
επομένως kδAk2 = 0.1. Τέλος kδbk2 = 641/100 και kbk2 = 3 οπότε
√
kδbk2 641
= √ .
kbk2 100 3
Τότε,
( √ )
κ(A) kδAk kδbk 4 0.1 641
+ = + √ ≈ 0.76,
1 − kA−1 kkδAk kAk kbk 1 − 1 · 0.1 4 100 3
και επαληθεύει την εκτίμηση (2.5) για το συγκεκριμένο γραμμικό σύστημα.

2.6.8 (σελ. 38): Θα χρησιμοποιήσουμε το πρώτο αποτέλεσμα από το Θεώρημα 2.2 με k · k = k · k2 ,
δηλαδή
kδxk2 kδbk2
≤ κ2 (A) .
kxk2 kbk2
Αφού ο A είναι συμμετρικός, έχουμε kAk2 = ρ(A) = 10 και kA−1 k2 = ρ(A−1 ) = 1. Τώρα κ2 (A) =
kAk2 kA−1 k2 = 10, επομένως
kδxk2 kδbk2
≤ 10 .
kxk2 kbk2
2.6.9 (σελ. 39): Έστω x ∈ Rn , x 6= 0. Θέτουμε y = A−1 x. Τότε y 6= 0 και επειδή ο A−1 είναι επίσης
συμμετρικός έχουμε
0 < y T Ay = xT A−T AA−1 x = xT A−T x = xT A−1 x,
το οποίο δείχνει ότι ο A−1 είναι θετικά ορισμένος. Έστω τώρα B ένας (m − k + 1) × (m − k + 1) πίνακας
με στοιχεία
bij = ai+k−1,j+k−1 , 1 ≤ i, j ≤ m − k + 1.
Για x ∈ Rm−k+1 , x 6= 0, έχουμε xT Bx = eT Ae, όπου e ∈ Rn είναι τέτοιο ώστε ej = xj , για k ≤ j ≤ m

και ej = 0 για τους υπόλοιπους δείκτες.
Επειδή x 6= 0 έχουμε e 6= 0 και επομένως eT Ae > 0, γιατί ο A είναι θετικά ορισμένος. Αυτό δείχνει
ότι και ο B είναι θετικά ορισμένος.
Για το τελευταίο ερώτημα της άσκησης γνωρίζουμε ότι αν ο A ∈ Rn×n είναι θετικά ορισμένος τότε aii > 0,
i = 1, . . . , n. Η προς απόδειξη πρόταση ισχύει προφανώς για k = 1. Υποθέτουμε τώρα ότι 1 < k ≤ n.
Ο υποπίνακας του A που αποτελείται από τα στοιχεία με δείκτες 1 ≤ i, j ≤ k είναι συμμετρικός και θετικά
ορισμένος. Αν το μέγιστο στοιχείο του είναι το |apq | = |aqp | για κάποιους δείκτες 1 ≤ p < q ≤ k θεωρούμε
το διάνυσμα e ∈ Rk με στοιχεία






 1 j=p



ej =

 −1 j = q







0 διαφορετικά
τότε eT Ae = app + aqq − 2apq < 0, το οποίο είναι σε αντίφαση με το γεγονός ότι ο A είναι θετικά ορισμέ-
νος. (Σε περίπτωση που apq < 0 το ίδιο αποτέλεσμα ισχύει με −e στη θέση του διανύσματος e).
2.6.10 (σελ. 39): Αν x ∈ Rn τότε
xT Ax = xT LLT x = (Lx)T (LX) = kLxk22 ≥ 0,
και xT Ax = 0 αν και μόνο αν Lx = 0. Όμως ο L, ως τριγωνικός πίνακας με θετικά διαγώνια στοιχεία, είναι
αντιστρέψιμος. Επομένως x = 0.
Αυτό δείχνει ότι xT Ax > 0 για κάθε x ∈ Rn , x 6= 0, δηλαδή ότι ο A είναι θετικά ορισμένος.
2.6.11 (σελ. 39): Προκύπτει άμεσα από τον Ορισμό 2.2 και τις ιδιότητες του εσωτερικού γινομένου.
2.6.12 (σελ. 39): Επειδή A = LLT , τότε det(A) = det(L) det(LT ) = det(L)2 . Αφού L και
U είναι τριγωνικοί πίνακες
Q τότε η ορίζουσά τους ειναι το γινόμενο των διαγώνιων στοιχείων τους. Συνεπώς
det(A) = det(L)2 = ni=1 (lii )2 .
2.6.13 (σελ. 39): Για x ∈ Rn εύκολα βλέπουμε ότι
xT Ax = (x1 − x2 )2 + (x2 − x3 )2 + (a − 2)x22 + (a − 1)x23 .
Συνεπώς, αν a ≥ 2 ο πίνακας A είναι θετικά ορισμένος. Εφαρμόζοντας τον αλγόριθμο της ανάλυσης Chole-
sky στον πίνακα A έχουμε διαδοχικά
L11 = 1, L21 = −1, L22 = (a − 1)1/2 , L31 = 0, L32 = −(a − 1)−1/2 και L33 = (a − (a − 1)−1 )1/2 ,
δηλαδή
 
1 0 0 
 
 
L=
−1 (a − 1) 1/2
.

 0 
 
−1/2 −1 1/2
0 −(a − 1) (a − (a − 1) )
Λύνουμε τώρα τα γραμμικά συστήματα Au(i) = e(i) , i = 1, 2, 3, όπου {e(1) , e(2) , e(3) } είναι η κανονική
βάση του R3 χρησιμοποιώντας την ανάλυση Cholesky, δηλαδή
Au(i) = e(i) =⇒ LLT u(i) = e(i) =⇒ Lv = e(i) , LT u(i) = v, i = 1, 2, 3,

έτσι ώστε
 
a2 − 1 a 1 
 
1  
A−1 = 2  .
a −a−1
 a a 1 

 
−1 1 a−1
2.6.14 (σελ. 39): Είναι εύκολο να δείξουμε (επαγωγικά) ότι A = LLT όπου L είναι ο κάτω τριγωνικός
πίνακας
 
1 0 0 ··· 0
 
 
 
1 1 0 ··· 0
 
 
 
L = 1 1 1 ··· 0 .
 
 
 
 .. .. .. ... .. 
. . . .
 
 
1 1 1 ··· 1
Αφού ο L είναι κάτω τριγωνικός με θετικά διαγώνια στοιχεία, ο πίνακας A = LLT είναι θετικά ορισμένος
και L είναι ο πίνακας της ανάλυσης Cholesky.
3.5.1 (σελ. 59): Έστω µ ιδιοτιμή του P −1 N , τότε υπάρχει ιδιοδιάνυσμα v 6= 0 τέτοιο ώστε
P −1 N v = µv,
επομένως
N v = µP v = µ(A + N )v ή (1 − µ)N v = µAv.
Μπορούμε να υποθέσουμε ότι µ 6= 1. Πράγματι, αν µ = 1, τότε
N v = P v = (A + N )v ή Av = 0,
από το οποίο προκύπτει ότι v = 0, που είναι άτοπο.
Υποθέτουμε λοιπόν ότι µ 6= 1, τότε

µ
A−1 N v = v.
1−µ
µ µ
Συνεπώς η είναι ιδιοτιμή του A−1 N και άρα | | < 1/2. Αν µ > 1, τότε θα πρέπει
1−µ 1−µ
−1 + µ > 2µ > 1 − µ.
Επομένως
−1 > µ και µ > 1/3
το οποίο είναι άτοπο. Άρα µ < 1. Οπότε
−1 + µ < 2µ < 1 − µ
από όπου προκύπτει
−1 < µ και µ < 1/3.
Καταλήγουμε λοιπόν ότι ρ(P −1 N ) < 1.

3.5.2 (σελ. 59): Για τον πρώτο πίνακα έχουμε
kT k∞ = max{1/2 + 1/4, 1/3 + 1/6} = max{3/4, 3/6} = 3/4 < 1.
Οπότε αφού βρήκαμε μια φυσική νόρμα πινάκων για την οποία kT k∞ < 1 και επειδή ρ(T ) < kT k∞ < 1,
έχουμε ότι η επαναληπτική μέθοδος θα συγκλίνει.
Για τον δεύτερο πίνακα έχουμε kT k∞ = max{5/3 + 4/3, 7/6 + 5/6} = max{9/3, 12/6} = 3 > 1.
Aφού για τη φυσική νόρμα πινάκων έχουμε kT k∞ > 1 και επειδή ρ(T ) < kT k∞ δεν γνωρίζουμε αν
ρ(T ) < 1, οπότε δεν γνωρίζουμε με βάση αυτήν την πληροφορία αν η επαναληπτική μέθοδος θα συγκλίνει.
3.5.4 (σελ. 60): Έχουμε τη διάσπαση A = D − L − U με
 
0 −α −α
D = I, L + U =  −α 0 −α  .
−α −α 0
Ο πίνακας επανάληψης της μεθόδου Jacobi είναι

 
0 −α −α
TJ = D−1 (L + U ) =  −α 0 −α  .
−α −α 0
Το χαρακτηριστικό πολυώνυμο του TJ είναι det(TJ − λI) = −(λ − α)(λ2 + α − 2α2 ), το οποίο έχει
ρίζες λ = α και λ = −2α. Επομένως για 1 ≤ 2α < 2 η μέθοδος Jacobi αποκλίνει.
Ο πίνακας επανάληψης της μεθόδου Gauss-Seidel είναι TGS = (D − L)−1 U . Έχουμε ότι
 
1 0 0
(D − L)−1 = −α 1 0 .
α(α − 1) −α 1
Οπότε
  
1 0 0 0 −α −α
TGS = (D − L)−1 U =  −α 1 0   0 0 −α 
α(α − 1) −α 1 0 0 0
 
0 −α −α
= 0 α2 α(α − 1)  .
0 −α (α − 1) −α2 (α − 2)
2
Το χαρακτηριστικό πολυώνυμο του TGS είναι det(TGS − λI) = −λ(α3 + α2 (α − 3)λ + λ2 ). Άρα
οι ιδιοτιμές του TGS είναι λ = 0 και οι ρίζες του α3 + α2 (α − 3)λ + λ2 . Μπορούμε να δούμε ότι η δια-
κρίνουσα ∆ του α3 + α2 (α − 3)λ + λ2 είναι αρνητική, οπότε έχει 2 μιγαδικές ρίζες λ1 , λ2 τέτοιες ώστε
|λ1 | = |λ2 |, με λ1 λ2 = |λ1 |2 = α3 .
Συνεπώς για 1 ≤ 2α < 2 έχουμε ότι |λ1 | < 1, η μέθοδος Gauss-Seidel συγκλίνει.
3.5.12 (σελ. 61): Εύκολα βλέπουμε ότι ο πίνακας επανάληψής της είναι

−1 0 −4
TJ = D (L + U ) = .
−4 0
Το χαρακτηριστικό πολυώνυμο του TJ είναι p(λ) = det(TJ − λI) = λ2 + 16.

Επομένως οι ιδιοτιμές του TJ είναι λ = ±4i. Συνεπώς ρ(TJ ) > 1 και άρα η μέθοδος αποκλίνει.
3.5.16 (σελ. 61): Παρατηρούμε ότι ο A είναι συμμετρικός. Επίσης διαπιστώνουμε ότι είναι θετικά ορι-
σμένoς.
(Ax, x) = (2x1 − x2 )x1 + (−x1 + 2x2 − x3 )x2 + (−x2 + 2x3 )x3
= 2x21 − 2x1 x2 + 2x22 − 2x2 x3 + 2x23
= x21 + (x1 − x2 )2 + (x2 − x3 )2 + x23 > 0.
Συνεπώς, λόγω του Θεωρήματος 3.7 η μέθοδος SOR συγκλίνει για κάθε ω ∈ (0, 2). Oπότε, επειδή για
ω = 1 οι μέθοδοι SOR και Gauss-Seidel ταυτίζονται, θα συγκλίνει και η μέθοδος Gauss-Seidel. Στη συ-
νέχεια χρησιμοποιώντας το Θεώρημα 3.4, επειδή ο A είναι τριδιαγώνιος και η Gauss-Seidel συγκλίνει θα
συγκλίνει και η Jacobi.
Στη συνέχεια σχηματίζουμε τον πίνακα επανάληψης της μεθόδου SOR. Ξεκινώντας από τη διάσπαση του
A = D − L − U έχουμε ότι Tω = (D − ωL)−1 ((1 − ω)D + ωU ).
   
 2 0 0 2(1 − ω) ω 0 
   
   

D − ωL =   
και (1 − ω)D + ωU =  .
−ω 2 0  0 2(1 − ω) ω 
   
   
0 −ω 2 0 0 2(1 − ω)
Για να εκτελέσουμε μια επανάληψη της μεθόδου SOR πρέπει να υπολογίζουμε το x(1) ,
(D − ωL)x(1) = ((1 − ω)D + ωU )x(0) + ωb.
Αντικαθιστούμε τις τιμές για ω = 1.25, οπότε

 
 2 0 0
 
 
(D − ωL) = 
− 5


 4 2 0 
 
0 − 45 2
 
   
− 1 5 0 
 2 4 
  1   3 
((1 − ω)D + ωU )x(0) 
=    4 
5   =  3 .
 0 − 1
2 4 
1 4
  1 − 21
0 0 − 21
Συνεπώς λύνουμε το γραμμικό σύστημα

 
       
 2 0 0 
 
  x1   3  5 2  13 
 5    =  43  +   =  48  .
− 2 0  x 2    4 1   
 4  4 4
  x3 − 21 0 − 12
0 − 54 2
Επομένως
 

 


 


 2x1 = 13

 x1 =
13
 4  8
ή

 − 54 x1 + 2x2 = 84 
 x2 = 13

 

4

 

 5 
− 4 x2 + 2x3 = − 21 x3 = 13
8
.
(r(k−1) , r(k−1) )
3.5.18 (σελ. 61): Έχουμε ότι r (k)
=r (k−1)
− ak Ar (k−1)
με ak = . Επομένως
(Ar(k−1) , r(k−1) )
(r(k) , r(k−1) ) = (r(k−1) − ak Ar(k−1) , r(k−1) )
(r(k−1) , r(k−1) )
= (r(k−1) , r(k−1) ) − (Ar(k) , r(k−1) ) = 0.
(Ar(k−1) , r(k−1) )
Επίσης x(k+1) − x(k) = ak+1 r(k) και x(k) − x(k−1) = ak r(k−1) , οπότε
(x(k+1) − x(k) , x(k) − x(k−1) )ak+1 ak (r(k) , r(k−1) ) = 0.
√ √ √ √
4.3.1 (σελ. 68): Παίρνουμε d = 12 + 2 2 = 5 και c = cos θ = 1/ 5, s = sin θ = 2/ 5.
Ορίζουμε
 
1 0 0 0
 
 
 
0 c 0 s
Q=



 
0 0 1 0
 
 
0 −s 0 s
√
έτσι ώστε Qx = (1, 2 5, 3, 0)T .
4.3.2 (σελ. 69): Έστω x = (5, 12)T η πρώτη στήλη του πίνακα
 
5 9
 .
12 7
Υπολογίζουμε έναν μετασχηματισμό Householder P τέτοιον ώστε P x να είναι πολλαπλάσιο του e1 . Γνωρί-
ζουμε ότι αρκεί να πάρουμε v = x + kxk2 e1 , δηλαδή v = (18, 12)T έτσι ώστε
 
18 12
2 1  .
P =I− vv T = I −
vT v 13
12 8
Τότε
 
 
5 9  
P  = R = 1 −169 −129
13  
12 7
0 −73
με τον πίνακα Q της ανάλυσης QR να είναι ο Q = P T .

4.3.3 (σελ. 69): Προκύπτει άμεσα από το γεγονός ότι η νόρμα k · k2 ενός πίνακα είναι αναλλοίωτη κάτω
από ορθογώνιους μετασχηματισμούς.
4.3.4 (σελ. 69): Εύκολα βλέπουμε ότι
!2
1X X X X
n n n n
1
ϕ(x) = aij xj − bi aij xj − bT b,
2 i=1 j=1 i=1 j=1
2
έτσι ώστε
!
∂ϕ Xn Xn X
n
∂xj X X ∂xj
n n
= aij xj aij − bi aij
∂xk i=1 j=1 j=1
∂xk i=1 j=1
∂xk
X
n X
n X
n
= aik aij xj − aik bi
i=1 j=1 i=1
X
n X
n
= (A )ki (Ax)i −
T
(AT )ki bi
i=1 i=1
= (AT Ax)k − (AT b)k , k = 1, . . . , n,
το οποίο αποδεικνύει τη ζητούμενη σχέση.

4.3.6 (σελ. 69): Έχουμε
   
35 44 T  
AT A =  ,A b =  9 .
   
44 56 12
Η λύση του συστήματος των κανονικών εξισώσεων AT Ax = AT b είναι τώρα x = (−1, 1)T .
4.3.7 (σελ. 69): Ο πίνακας AT A είναι
 
 
 
  1 0 1 
  2 0 0
   
1 1 0 0 1 0 −1  
T
A A=     =  .
0 0 1 1     0 2 0 
  
1 −1 1 1   0 1 1  


  0 0 4
0 1 −1
Επίσης
 
 
 
  1 
  2 
   
1 1 0 0  1   
T 
A b=    =  .
0 0 1 1    
  2 
1 −1 1 1    
1 
  0
1
Οπότε από το γραμμικό σύστημα AT A = AT b εύκολα προκύπτει ότι x1 = 1, x2 = 1, x3 = 0.

Για χρησιμοποιήσουμε τον αλγοριθμο QR κατασκευάζουμε τους πίνακες Q και R ακολουθώντας τον αλ-
γόριθμο Gram-Schmidt. Θέτουμε τις στήλες του πίνακα A ως τα διανύσματα a1 , a2 , a3 , αντίστοιχα.
Στο πρώτο βήμα του αλγορίθμου υπολογίζουμε τα r11 και q1 . Έχουμε r11 = ka1 k2 = k(1, 1, 0, 0)T k2 =
√
2, οπότε q1 = √12 (1, 1, 0, 0)T .
Στο επόμενο βήμα έχουμε√r12 = (a2 , q1 ) = 0. Στη συνέχεια θέτουμε v = a2 − r12 q1 = a2 , και
r22 = kvk2 = ka2 k2 = 2. Οπότε q2 = √12 (0, 0, 1, 1)T .
Τέλος στο 3ο βήμα έχουμε r13 = (a3 , q1 ) = 0 και r23 = 0. Οπότε v = a3 − r13 q1 − r23 q2 = a3
και r33 = kvk2 = ka3 k2 = 2. Οπότε q3 = 12 (1, −1, 1, −1)T . Συνεπώς έχουμε
   
√
1  2 0 0
 0 √12    
  
Q = 1 0 − √12 
, R= √ .
   0 2 0
0 1 √2 
1  
 
0 1 − √12
0 0 2
T T
√ √
Στη συνέχεια λύνουμε το γραμμικό
√ √ σύστημα Rx = Q b. Επειδή Q b = ( 2, 2, 0)T , εύκολα λαμβά-
T T
νουμε από Rx = Q b = ( 2, 2, 0) ότι x1 = 1, x2 = 1, x3 = 0.
4.3.8 (σελ. 69): Το σύστημα των κανονικών εξισώσεων είναι το
    
2 2 2 x1  2
    
    
T T 
A Ax = A b =⇒     =  ,
2 3 3  x 2  3 
    
    
2 3 4 x3 4
με λύση x = (0, 0, 1)T . Εκτελώντας τα βήματα της ανάλυσης QR όπως στην προηγούμενη άσκηση παίρ-
νουμε
 
√  
− 2/2 0 0
 √ √ √
   2 − 2 2
√   
 2/2 0 0  
Q=
 , R=
 0
.
   1 1 

 0 1 0  

  0 0 1
0 0 1
Επιλύοντας το σύστημα Rx = QT b λαμβάνουμε ξανά την ίδια λύση όπως στο σύστημα των κανονικών εξι-
σώσεων.
4.3.9 (σελ. 70): Το σύστημα των κανονικών εξισώσεων είναι το
    
4 8 4  x1  2
    
    
A Ax = A b =⇒ 
T T    
8 20 16 x2  = 6 ,
    
    
4 16 24 x3 8
με λύση x = (1, −1/2, 1/2)T . Εκτελώντας τα βήματα της ανάλυσης QR όπως στην προηγούμενη άσκηση
παίρνουμε
 
 
−1/2 −1/2 −1/2
 
  −2 −4 −2
   
−1/2 −1/2 1/2   
Q= 
,
 R = 
 0 −2 −4 .

   
−1/2 1/2 −1/2  
 
  0 0 −2
1/2 −1/2 −1/2
Επιλύοντας το σύστημα Rx = QT b λαμβάνουμε ξανά την ίδια λύση όπως στο σύστημα των κανονικών εξι-
σώσεων.
4.3.10 (σελ. 70): Ο πρώτος ισχυρισμός του λήμματος έπεται αμέσως, κάνοντας χρήση του γεγονότος
ότι q = Vn−r z ∈ N (A). Αν y1 , y2 είναι δύο λύσεις του προβλήματος ελαχίστων τετραγώνων, τότε από το
πρώτο αποτέλεσμα έχουμε ότι y1 = A† b + q1 και y2 = A† b + q2 για κάποια q1 , q2 ∈ N (A).
Επομένως Ay1 = AA† b = Ay2 και οι δύο λύσεις έχουν το ίδιο υπόλοιπο
b − Ay1 = b − Ay2 = (I − AA† )b.
Από το γεγονός ότι το υπόλοιπο κάθε λύσης του προβλήματος ελαχίστων τετραγώνων έχει υπόλοιπο r =
(I − AA† )b και θεωρώντας την ανάλυση SVD του A
 
Σr 0
A=U V H
0 0
με U, V ορθομοναδιαίους και Σr διαγώνιο πίνακα με θετικά διαγώνια στοιχεία, έχουμε

 
 
  0 0
Ir 0 H
AA† = U   U , I − AA† =   UH.
0 Im−r
0 0
Αυτό δίνει ότι AH (I − AA† ) = 0 και AH r = 0, δηλαδή το σύστημα των κανονικών εξισώσεων. Τέλος
θυμόμαστε ότι κάθε λύση του προβλήματος ελαχίστων τετραγώνων έχει τη μορφή
 −1 H 
Σr Ur b
y=V  ,
z
για κάποιο z ∈ N (A). Επομένως,
kyk22 = kΣ−1 H 2 2 −1 H 2 −1 H 2 † 2
r Ur bk2 + kzk2 ≥ kΣr Ur bk2 = kVr Σr Ur bk2 = kA bk2 .
Συνεπώς, κάθε λύση του προβλήματος ελαχίστων τετραγώνων y ικανοποιεί kyk2 ≥ kA† bk2 . Αυτό σημαίνει
ότι η y = A† b είναι η λύση του προβλήματος ελαχίστων τετραγώνων με την ελάχιστη νόρμα.
5.7.1 (σελ. 86): Αφού (A − λI)T = AT − λI και
det(AT − λI) = det((A − λI)T ) = det(A − λI),
οι πίνακες A και AT έχουν τις ίδιες ιδιοτιμές. Έστω λ ιδιοτιμή του AT και z ∈ Cn αντίστοιχο ιδιοδιάνυσμα.
Έστω ακόμα δείκτης k, 1 ≤ k ≤ n, τέτοιος ώστε |zk | = max1≤i≤n |zi |. Προφανώς zk 6= 0, αφού z 6= 0
ως ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή λ. Από τη σχέση AT z = λz έχουμε
X
0 = (AT − λI)z k = (akk − λ)zk + aik zi .
i=1
i̸=k
Επομένως,
X X
|akk − λ||zk | ≤ |aik | |zi | ≤ |zk | |aik |.
i=1 i=1
i̸=k i̸=k
Επειδή zk 6= 0 έχουμε
X
|akk − λ| ≤ |aik |,
i=1
i̸=k
από το οποίο προκύπτει η ζητούμενη σχέση.

5.7.2 (σελ. 86): Αν x ∈ Cn , x 6= 0, τότε
X
n X
n
H
(x, x) = x x = xi xi = |xi |2 .
i=1 i=1
Αν ο A ∈ Cn×n είναι ερμιτιανός πίνακας τότε
(Ax, x) = xH Ax = (Ax)H x = xH AH x = xH Ax,
συνεπώς xH Ax ∈ R. Άρα R(x) είναι πραγματικός αριθμός. Έστω τώρα λ ∈ R ιδιοτιμή του A και x ∈ Cn
αντίστοιχο ιδιοδιάνυσμα. Τότε
(Ax, x) λ(x, x)
R(x) = = = λ.
(x, x) (x, x)
5.7.3 (σελ. 87): Έχουμε χF (λ) = det(λI − F ) και

 
λ − pn−1 −pn−2 · · · −p1 −p0 
 
 
 
 −1 λ ··· 0 0 
 
 
 .. 
λI − F =  .. .. .
 0 −1 . . . 
 
 
 .. 
 ... ...
0 
 . λ 
 
0 ··· 0 −1 λ
Αν αναπτύξουμε την ορίζουσα ως προς την πρώτη στήλη του πίνακα λI − F βλέπουμε ότι
λ 0 ··· 0 −pn−2 · · · −p1 −p0

.. −1 ···
−1 λ ··· . λ 0
det(λI − F ) = (λ − pn−1 ) +
.. .. ... .. .. .. ..
. . 0 . . . .
0 ··· −1 λ 0 ··· −1 λ
με την πρώτη ορίζουσα να είναι ίση με λn−1 ενώ η δεύτερη είναι η ορίζουσα ενός συνοδού πίνακα Frobenius
τάξης n − 1. Μια επαγωγική απόδειξη δίνει εύκολα το ζητούμενο αποτέλεσμα.
5.7.4 (σελ. 87): Έστω ότι ο A − µI είναι μη αντιστρέψιμος. Τότε υπάρχει μη μηδενικό x ∈ Cn τέτοιο
ώστε (A − µI)x = 0, δηλαδή Ax = µx. Αυτό σημαίνει ότι µ είναι ιδιοτιμή του A με αντίστοιχο ιδιο-
διάνυσμα x το οποίο είναι άτοπο. Συνεπώς, αν µ 6∈ σ(A) ο πίνακας A − µI είναι αντιστρέψιμος. Έστω
τώρα x ∈ Cn , x 6= 0, ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή λ. Από τη σχέση Ax = λx έχουμε
(A − µI)x = (λ − µ)x, δηλαδή
(λ − µ)−1 x = (A − µI)−1 x.
Από τη σχέση αυτή συμπεραίνουμε ότι (λ − µ)−1 είναι ιδιοτιμή του (A − µI)−1 με αντίστοιχο ιδιοδιάνυσμα
το διάνυσμα x.
5.7.5 (σελ. 87): Από την Πρόταση 5.2 έχουμε ότι Ak = QH k Ak−1 Qk . Στο πρώτο βήμα της ανάλυσης QR
επιλέγουμε έναν πίνακα Q1 ο οποίος, όταν πολλαπλασιάσουμε από αριστερά θα αφήσει ανέπαφη την πρώτη
γραμμή του πίνακα A, θα εισάγει μηδενικά στην πρώτη στήλη στις γραμμές 3 εως n και αλλάξει βέβαια, τα
στοιχεία του πίνακα στις θέσεις 2 ≤ i, j ≤ n. Όταν θα πολλαπλασιάσουμε με τον Q1 από τα δεξιά, η πρώτη
στήλη θα μείνει ανέπαφη και συνεπώς θα διατηρηθεί η μορφή Hessenberg του πίνακα A. Το ίδιο θα συμβεί
και στα επόμενα βήματα της ανάλυσης QR.
5.7.6 (σελ. 87): Θέλουμε να βρούμε τις λi , i = 0, 1, 2, 3 προσεγγίσεις της μεγαλύτερης κατ’ απόλυτο
τιμής του πίνακα A. Εύκολα μπορούμε να δούμε ότι λ = 2.
√
Έχουμε y (1) = Ax(0) = (1, 0, 1)T και ky (1) k2 = 2, οπότε λ0 = (x(0) )T y (1) = 0.
1 √
Στη συνέχεια θέτουμε x(1) = y (1) = ( √12 , 0, √12 )T , y (2) = Ax(1) = ( √12 , 2, √12 )T και
ky (1) k 2
√
ky (2) k2 = 3, οπότε λ1 = (x(1) )T y (2) = 1.
1 √
Στο επόμενο βήμα θέτουμε x(2) = y (2) = √1 ( √1 , 2, √12 )T , y (3) = Ax(2) = √1 (3, 2, 3)T
√
ky (2) k
2
3 2 6
και ky k2 =
(3) √22 , οπότε λ2
6
= (x ) y (2) T (3)
= 10
6
= 2 − 13 .
1
Στο 3o βήμα θέτουμε x(3) = y (3) = √122 (3, 2, 3)T και y (4) = Ax(3) = √122 (5, 6, 5)T , οπότε
ky (3) k2
λ3 = (x(2) )T y (3) = 48
22
2
= 2 + 11 .
6.6.1 (σελ. 98): Υποθέτουμε ότι οι προσεγγίσεις (xk ) με τη μέθοδο Newton-Raphson συγκλίνουν στο
x∗ . Θεωρούμε το ανάπτυγμα Taylor με κέντρο το x∗ . Οπότε
1
f (xk ) = f (x∗ ) + (xk − x∗ )f ′ (x∗ ) + (xk − x∗ )2 f ′′ (ξk ) με ξk ανάμεσα στα xk , x∗
2
και
f ′ (xk ) = f ′ (x∗ ) + (xk − x∗ )f ′′ (ξ¯k ) με ξ¯k ανάμεσα στα xk , x∗ .
Άρα λόγω της xk+1 = xk − f (xk )

f ′ (xk )
έχουμε
1 (xk − x∗ )f ′′ (ξk ) 1 f ′′ (ξk )

xk+1 − x∗ = xk − x∗ − = (x k − x ∗ )(1 − ).
2 f ′′ (ξ¯k ) 2 f ′′ (ξ¯k )
Αφού f ′′ (x∗ ) 6= 0 και f ′′ είναι συνεχής και φραγμένη κοντά στο x∗ έχουμε ότι υπάρχουν σταθερές c1 , c2
τέτοιες ώστε |f ′′ (ξk )| < c1 , 0 < c2 < |f ′′ (ξ¯k )| και άρα
|xk+1 − x∗ | 1
→ .
|xk − x∗ | 2
6.6.2 (σελ. 98): Υποθέτουμε ότι οι προσεγγίσεις (xk ) με τη μέθοδο Newton-Raphson συγκλίνουν στο
x∗ . Θεωρούμε το ανάπτυγμα Taylor με κέντρο το x∗ . Οπότε
1 1
f (xk ) = f (x∗ )+(xk −x∗ )f ′ (x∗ )+ (xk −x∗ )2 f ′′ (x∗ )+ (xk −x∗ )3 f ′′′ (ξk ) με ξk ανάμεσα στα xk , x∗ ,
2 6
και
1
f ′ (xk ) = f ′ (x∗ ) + (xk − x∗ )f ′′ (x∗ ) + (xk − x∗ )2 f ′′′ (ξ¯k ) με ξ¯k ανάμεσα στα xk , x∗ .
2
Άρα λόγω της xk+1 = xk − f (xk )

f ′ (xk )
, έχουμε
1 (xk − x∗ )f ′′′ (ξk ) 1 f ′′′ (ξk )

xk+1 − x∗ = xk − x∗ − = (x k − x ∗ )(1 − ).
3 f ′′′ (ξ¯k ) 3 f ′′′ (ξ¯k )
Αφού f ′′′ (x∗ ) 6= 0 και f ′′′ είναι συνεχής και φραγμένη κοντά στο x∗ έχουμε ότι υπάρχουν σταθερές c1 , c2
τέτοιες ώστε |f ′′′ (ξk )| < c1 , 0 < c2 < |f ′′′ (ξ¯k )| και άρα
|xk+1 − x∗ | 2
→ .
|xk − x∗ | 3
6.6.3 (σελ. 99): Για f (x) = x3 , η μέθοδος Newton-Raphson γράφεται
x3k 1 2
xk+1 = xk − 2 = xk − xk = xk .
3xk 3 3
Οπότε επειδή x∗ = 0 είναι η ρίζα της f , θα έχουμε

xk+1 − x∗ 2
= .
xk − x∗ 3
Άρα η σύγκλιση είναι γραμμική. Για την εξίσωση x + x4 = 0 η μέθοδος Newton-Raphson είναι
xn + x4n 3x4n
xn+1 = xn − = , n = 0, 1, . . .
1 + 4x3n 1 + 4x3n
Αν x0 ∈ [−4−1/3 , 0) τότε x1 > 0. Επειδή xn+1 − xn = −(xn + x4n )/(1 + 4x3n ) < 0, αν xn > 0, η
ακολουθία {xn } είναι γνήσια φθίνουσα και φραγμένη κάτω από το μηδέν. Συνεπώς xn → 0 καθώς n → ∞
(γιατί;). Η σύγκλιση στη ρίζα x = 0 είναι τουλάχιστον τετραγωνική, γιατί
xn+1 − 0 3x2n
lim = lim = 0.
n→∞ (xn − 0)2 n→∞ 1 + 4x3n
Όμοια, αν x0 ∈ (−1, −4−1/3 ) τότε x1 < −1 και η ακολουθία {xn } είναι γνήσια αύξουσα και φραγμένη
πάνω από το -1. Συνεπώς xn → −1 καθώς n → ∞ (γιατί;). Λίγες πράξεις δείχνουν ότι
xn+1 + 1 3x2n − 2xn + 1

= → −2,
(xn + 1)2 1 + 4x3n
και επομένως η σύγκλιση στη ρίζα -1 είναι τετραγωνική.

6.6.4 (σελ. 99): Ο Πίνακας 13.1 δείχνει μερικές επαναλήψεις της μεθόδου Newton-Raphson για την f
με αρχική τιμή x0 = 2. Είναι προφανές ότι οι όροι της ακολουθίας Newton-Raphson συγκλίνουν στη ρίζα
x∗ = 3.
k xk
0 2.000000
1 2.750000
2 2.954884
3 2.997853
4 2.999995
5 3.000000
6 3.000000
Πίνακας 13.1: Άσκηση 6.6.4: Επαναλήψεις της μεθόδου Newton-Raphson για την f με αρχική τιμή x0 = 2.
Αντίθετα, αν x0 = 1 οι όροι της ακολουθίας Newton-Raphson φαίνεται να συγκλίνουν στη ρίζα x∗ = 5,

όπως δείχνει ο Πίνακας 13.2.
k xk
0 1.000000
1 13.000000
2 10.578893
3 8.785883
4 7.469644
5 6.517932
6 5.848419
7 5.402334
8 5.139173
9 5.024562
10 5.000967
11 5.000002
12 5.000000
13 5.000000
6.6.5 (σελ. 99): Επειδή xk → 1, έχουμε
|xk+1 − 1|
= 0.9.
|xk − 1|
Οπότε η σύγκλιση είναι γραμμική.

6.6.6 (σελ. 99): Έχουμε
1
|xk+1 − 1| = |xk − 1|,
k
συνεπώς η ακολουθία (xk ) συγκλίνει υπεργραμμικά στο x∗ = 1.

6.6.7 (σελ. 99): Στον Πίνακα 13.3 παρουσιάζονται όροι της ακολουθίας Newton-Raphson για την προ-
σέγγιση της ρίζας της εξίσωσης f (x) = 9x−1 = 0 με αρχική τιμή x0 = 0.1. Οι όροι προφανώς συγκλίνουν
στη ρίζα x∗ = 1/9.
k xk
0 0.100000
1 0.111111
2 0.111111
Πίνακας 13.3: Άσκηση 6.6.7: Επαναλήψεις της μεθόδου Newton-Raphson για την f με αρχική τιμή x0 =
0.1.
Είναι προφανές ότι xk = x∗ = 1/9 για k ≥ 1, γιατί
9xk − 1 1
xk+1 = xk − = , k ≥ 0.
9 9
6.6.8 (σελ. 99): Στον Πίνακα 13.4 παρουσιάζονται όροι της ακολουθίας Newton-Raphson για την προ-
σέγγιση της ρίζας της εξίσωσης f (x) = sin x − cos 2x = 0 με αρχική τιμή x0 = 1.
k xk
0 1.000000
1 0.466862
2 0.524750
3 0.523599
4 0.523599
Για τη ρίζα της εξίσωσης f (x) = x3 − 7x2 + 11x − 5 = 0 η μέθοδος Newton-Raphson με αρχική τιμή
x0 = 2 παράγει τις προσεγγίσεις που δείχνει ο Πίνακας 13.5.
k xk
0 2.000000
1 1.400000
2 1.188235
3 1.091735
4 1.045323
5 1.022531
6 1.011233
7 1.005609
8 1.002802
9 1.001401
10 1.000700
11 1.000350
12 1.000175
13 1.000088
14 1.000044
15 1.000022
16 1.000011
17 1.000005
18 1.000003
19 1.000001
20 1.000001
21 1.000000
6.6.9 (σελ. 99): Η μέθοδος Newton-Raphson για τη συνάρτηση f (x) = arctan x είναι
xk+1 = xk − (1 + x2k ) arctan xk , k = 0, 1, . . . .

Για να έχουμε xk+1 = −xk ο όρος xk θα πρέπει να ικανοποιεί την εξίσωση
(1 + x2k ) arctan xk − 2xk = 0.
Μπορούμε να υπολογίσουμε μια προσέγγιση του xk χρησιμοποιώντας εκ νέου τη μέθοδο Newton-Raphson.

Πράγματι, με αρχική τιμή z0 = 2.5 η μέθοδος Newton-Raphson για τη συνάρτηση g(z) = (1+z 2 ) arctan z−
2z παράγει τις προσεγγίσεις z1 = 1.766962, z2 = 1.467366, z3 = 1.396163, z4 = 1.391762 και φαί-
νεται να συγκλίνει στην τιμή z = xk = 1.391745.
6.6.10 (σελ. 99): Η μέθοδος Newton-Raphson για τη συνάρτηση f (x) = (x − 3)3 παράγει τις προ-
σεγγίσεις
(xk − 3)3 xk − 3
xk+1 = xk − = xk − , k = 0, 1, . . . .
3(xk − 3) 2 3
Τότε,
xk − 3 2
xk+1 − 3 = xk − 3 − = (xk − 3),
3 3
σχέση η οποία επιβεβαιώνει ότι η ακολουθία (xk ) συγκλίνει γραμμικά στη ρίζα x∗ = 3. Οι προσεγγίσεις που
παράγει η μέθοδος Newton-Raphson φαίνονται στον Πίνακα 13.6.
k xk
0 4.000000
1 3.666667
2 3.444444
3 3.296296
4 3.197531
5 3.131687
.. ..
. .
31 3.000003
32 3.000002
33 3.000002
34 3.000001
35 3.000001
Πίνακας 13.6: Άσκηση 6.6.10: Επαναλήψεις της μεθόδου Newton-Raphson για την f με αρχική τιμή x0 =
4.
√
6.6.11 (σελ. 99): Η εξίσωση f (x) = x2 − a, a > 0 έχει την προφανή ρίζα x∗ = a. Η μέθοδος
Newton-Raphson με αρχική τιμή x0 > 0 παράγει τις προσεγγίσεις

x2k − a 1 a
xk+1 = xk − = xk + , k = 0, 1, . . . .
2xk 2 xk
Είναι προφανές ότι οι όροι της ακολουθίας Newton-Raphson ικανοποιούν xk > 0, για k ≥ 0. Από τη σχέση
√
√ (xk − a)2
xk+1 − a= , k = 0, 1, . . . ,
2xk
√
βλέπουμε ότι xk+1 − a ≥ 0 ενώ xk+1 −xk < 0. Συνεπώς, ηακολουθία (xk ) είναι φθίνουσα και φραγμένη
√
από κάτω, άρα συγκλίνει. Από τη σχέση xk+1 = 2 xk + xak εύκολα φαίνεται ότι το όριό της είναι το a.
1
6.6.12 (σελ. 99): Εφαρμόζουμε τη μέθοδο της τέμνουσας για τη συνάρτηση f (x) = x2 −a με δεδομένες
αρχικές τιμές x0 , x1 . Τότε,
x2k − a
xk+1 = xk −
x2k − a − x2k−1 + a
xk − xk−1
x2k − a
= xk −
xk−1 + xk
a + xk−1 xk
= , k = 2, 3, . . . ,
xk−1 + xk
η οποία είναι ακριβώς η αναδρομική σχέση που δόθηκε.

6.6.14 (σελ. 99): Η μέθοδος Newton-Raphson είναι
f (xk )
xk+1 = xk − , k = 0, 1, . . . .
f ′ (xk )
Αν xk < ξ και f ′ (xk ) < 0 τότε η εφαπτομένη στο γράφημα της f στο (xk , f (xk )) τέμνει τον άξονα των x
σ’ ένα σημείο, το xk+1 , μεταξύ των xk και ξ. Επομένως,
xk < xk+1 < ξ.
Αν τώρα xk > ξ και f ′ (xk ) < 0 τότε η εφαπτομένη στο γράφημα της f στο (xk , f (xk )) τέμνει τον άξονα
των x σ’ ένα σημείο, το xk+1 , μικρότερο από το ξ. Επομένως,
xk+1 < ξ < xk .
Τώρα όμως είμαστε ξανά στην πρώτη περίπτωση και η ακολουθία αυξάνει μονότονα.
6.6.15 (σελ. 100): Θα γράψουμε
[f (x)]2
F (x) = x − ,
f (x + f (x)) − f (x)
έτσι ώστε η μέθοδος του Steffensen να γράφεται ως xn+1 = F (xn ). Επειδή
1
xn1 − ξ ≈ (xn − ξ)F ′ (ξ) + (xn − ξ)2 F ′′ (ξ),
2
αρκεί να δείξουμε ότι F ′ (ξ) = 0. Αν υποθέσουμε ότι f ′ (ξ) 6= 0 τότε
f (x) f (ξ)
lim = F (x) = ξ − lim f (x) lim =ξ− ′ = ξ.
x→ξ x→ξ x→ξ f (x + f (x)) − f (x) f (ξ)
Σημειώνουμε ότι αν και η F δεν ορίζεται στο ξ ο παραπάνω υπολογισμός δείχνει ότι θα μπορούσαμε, από
συνέχεια, να ορίσουμε F (ξ) = ξ. Χρησιμοποιούμε τώρα τον τύπο του Taylor για να γράψουμε
1
f (xk + f (xk )) = f (xk ) + f ′ (xk )f (xk ) + f ′′ (ηk )[f (xk )]2 ,
2
για κάποιο ηk μεταξύ των σημείων xk και xk + f (xk ). Τότε,
f (xk + f (xk )) − f (xk ) 1

= f ′ (xk ) + f ′′ (ηk )f (xk ).
f (xk ) 2
Επομένως
f (xk )
F (xk ) = xk − ,
′
1 ′′
f (xk ) + (ηk )f (xk )
2
και
F (xk ) − F (ξ) f (xk ) − f (ξ) 1

=1− ,
xk − ξ x−ξ 1 ′′
f ′ (x k ) + f (ηk )f (xk )
2
σχέση από την οποία έπεται ότι
F (x) − F (ξ) 1
F ′ (ξ) = lim = 1 − f ′ (ξ) ′ = 0,
x→ξ x−ξ f (ξ)
δηλαδή η μέθοδος του Steffensen συγκλίνει τετραγωνικά.

7.3.2 (σελ. 117): Δείχνουμε ότι η ακολουθία (xk ) είναι φθίνουσα και φραγμένη από κάτω. Η ακολουθία
με τη μέθοδο Newton-Raphson είναι
xk + x1+a axak
xk+1 = xk − k
= xk .
1 + (1 + a)xak 1 + (1 + a)xak
Είναι απλό να δούμε ότι για x0 > 0, η ακολουθία που παράγει η μέθοδος είναι θετική. Επίσης ο παράγοντας
axak axa∗
< 1. Συνεπώς x k+1 < x k , άρα x k → x ∗ ≥ 0. Αν x ∗ 6
= 0 τότε = 1, το
1 + (1 + a)xak 1 + (1 + a)xa∗
οποίο είναι άτοπο. Συνεπώς x∗ = 0.
Από τα παραπάνω προκύπτει λοιπόν ότι

a
xk+1 − 0 = a
(xk − 0)a+1
1 + (1 + a)xk
a a
Επίσης 0 < a
≤ ≤ a. Άρα η ταχύτητα σύγκλισης είναι 1 + a.
1 + (1 + a)x0 1 + (1 + a)xak
Pn F i : R → R, i = 1, . . . , n οι συνιστώσες της F , τότε

n
7.3.6 (σελ. 118): Έστω
f (x) = kF (x)k2 = i=1 (Fi (x))2 . Επομένως
2
∇f (x) = 2F1 (x)∇F1 (x) + · · · + 2Fn (x)∇Fn (x) = 2F ′ (x)T F (x).
Θέτουμε g(a) = f (xk + ay k ) και y k = xk+1 − xk = −[F ′ (xk )]−1 F (xk ) οπότε βρίσκουμε ότι
g ′ (0) = ∇f (xk )T y k = (2F ′ (xk )T F (xk ), −[F ′ (xk )]−1 F (xk ))
= −2([F ′ (xk )]−1 F (xk ))T F ′ (xk )T F (xk )
= −2F (xk )T F (xk ) = −2kF (xk )k22 < 0.
Συνεπώς έχουμε το ζητούμενο.

9.6.2 (σελ. 144): Θα έχουμε ότι οι προσεγγίσεις με τη μέθοδο Euler θα δίνονται από
xn+1 = xn − hy n , και y n+1 = y n + hxn .
Δείχνουμε με επαγωγή ότι (xn )2 + (y n )2 = (1 + h2 )n , n ≥ 1, οπότε εύκολα μετά παίρνουμε το ζητούμενο.

9.6.4 (σελ. 145): Θα έχουμε ότι οι προσεγγίσεις με την πεπλεγμένη μέθοδο Euler θα δίνονται από
xn+1 = xn − hy n+1 , και y n+1 = y n + hxn+1 .
Με αντικατάσταση παίρνουμε
xn+1 = xn − h(y n + hxn+1 ), και y n+1 = y n + h(xn − hy n+1 ).
Συνεπώς
1 1
xn+1 = 2
(xn − hy n ), και y n+1 = 2
(y n + hxn ).
1+h 1+h
n
1
Δείχνουμε με επαγωγή ότι (xn )2 + (y n )2 = , n ≥ 1, οπότε εύκολα μετά παίρνουμε το ζητού-
1 + h2
μενο.
10.4.1 (σελ. 157): Εφαρμόζοντας μια μέθοδο Runge-Kutta q−σταδίων με βήμα h = T /N παίρνουμε
προσεγγίσεις y n , n = 0, . . . , N της ακριβής τιμής y(tn ), tn = nh, τέτοιες ώστε
X
q
n+1 n
y =y +h bi .
i=1
P
Έστω s = qi=1 bi , τότε για y 0 = 0 θα έχουμε y 1 = y 0 + hs = hs, y 2 = y 1 + hs = 2hs και εύκολα
βλέπουμε ότι y N = N hs = s. Αν η μέθοδος συγκλίνει τότε y N → y(tN ) = y(1) = 1. Συνεπώς s = 1.
Έστω τώρα οτι s = 1. Τότε έχουμε ότι οι προσεγγίσεις y n = nh = tn . Συνεπώς, αν έχουμε tn → t⋆ ,

καθώς n → ∞ και h → 0, προκύπτει ότι y n = tn → t⋆ = y(t⋆ ), οπότε έχουμε ότι συγκλίνει στην ακριβή
λύση.
10.4.4 (σελ. 158): Για να είναι συνεπής θα πρέπει το τοπικό σφάλμα διακριτοποίησης δn = O(h2 ). Αν
γνωρίζουμε την ακριβή λύση y(tn ), εφαρμόζοντας τότε τη μέθοδο θα έχουμε
ζ n,1 = y(tn ), ζ n,2 = y(tn ) + hf (tn , y n )
και
h
ζ n+1 = y(tn ) + (f (tn , ζ n,1 ) + f (tn + h, ζ n,2 )).
2
Τότε το τοπικό σφάλμα διακριτοποίησης είναι δn = y(tn+1 ) − ζ n+1 . Θέτουμε για συντομία fˆ = f (tn , y n ),
fˆt = ft (tn , y n ), fˆy = fy (tn , y n ). Οπότε f (tn , ζ n,1 ) = fˆ και ζ n,2 = y(tn ) + hfˆ. Αναπτύσσοντας κατά
Taylor ως προς την πρώτη και στη συνέχεια ως προς τη δεύτερη μεταβλητή έχουμε
f (tn + h, ζ n,2 ) = f (tn , ζ n,2 ) + hft (tn , ζ n,2 ) + O(h2 ) = f (tn , ζ n,2 ) + O(h)
= fˆ + hfˆfˆy + O(h).
Επίσης
y(tn+1 ) = y(tn ) + hy ′ (tn ) + O(h2 )
Συνεπώς
h
δn = y(tn+1 ) − {y(tn ) + (fˆ + f (tn + h, ζ n,2 ))} = hy ′ (tn ) − hfˆ + O(h2 ) = O(h2 ).
2
10.4.6 (σελ. 158): Για να έχει τάξη ακρίβειας 3 θα πρέπει το τοπικό σφάλμα διακριτοποίησης δn = O(h4 ).
Αν γνωρίζουμε την ακριβή λύση y(tn ), εφαρμόζοντας τότε τη μέθοδο θα έχουμε
ζ n,1 = y(tn ),
ζ n,2 = y(tn ) + ha21 f (tn , y n )
ζ n,3 = y(tn ) + h(a31 f (tn , y n ) + a32 f (tn + hτ2 , ζ n,2 ))
και
ζ n+1 = y(tn ) + h(b1 f (tn , ζ n,1 ) + b2 f (tn + hτ2 , ζ n,2 ) + b3 f (tn + hτ3 , ζ n,3 )). (13.1)
fˆt = ft (tn , y n ), fˆy = fy (tn , y n ) και παρόμοια για άλλες τάξεως παραγωγίσεις.
Στη συνέχεια θα αναπτύξουμε κατά Taylor, ως προς την πρώτη και στη συνέχεια ως προς τη δεύτερη με-
ταβλητή των k2 = f (tn + hτ2 , ζ n,2 ) και k3 = f (tn + hτ3 , ζ n,3 )
1
k2 = f (tn , ζ n,2 ) + hτ2 ft (tn , ζ n,2 ) + (hτ2 )2 ftt (tn , ζ n,2 ) + O(h3 )
2
1
= (fˆ + ha21 fˆfˆy + (a21 fˆ)2 fˆyy + O(h3 )
2
1
+ hτ2 (fˆt + ha21 fˆfˆty + O(h2 )) + (hτ2 )2 (fˆtt + O(h))
2
1
= fˆ + h(τ2 fˆt + a21 fˆfˆy ) + h2 (τ22 fˆtt + 2τ2 a21 fˆfˆty + (a21 fˆ)2 fˆyy ) + O(h3 ).
2
Με ανάλογο τρόπο έχουμε για το k3
1
k3 = f (tn , ζ n,3 ) + hτ3 ft (tn , ζ n,3 ) + (hτ3 )2 ftt (tn , ζ n,3 ) + O(h3 )
2
1
= (fˆ + h(a31 fˆ + a32 k2 )fˆy + h2 (a31 fˆ + a32 k2 )2 fˆyy + O(h3 ))
2
1
+ hτ3 (fˆt + h(a31 fˆ + a32 k2 )fˆty + O(h2 )) + (hτ3 )2 (fˆtt + O(h))
2

= fˆ + h(a31 fˆ + a32 (fˆ + h(τ2 fˆt + a21 fˆfˆy ) + O(h2 )))fˆy
1
+ h2 (a31 fˆ + a32 (fˆ + O(h)))2 fˆyy + O(h3 )
2
1
+ hτ3 fˆt + h(a31 fˆ + a32 (fˆ + O(h)))fˆty + O(h2 ) + (hτ3 )2 (fˆtt + O(h))
2
= fˆ + h(τ3 fˆt + (a31 + a32 )fˆfˆy )
1
+ h2 τ32 fˆtt + 2τ3 (a31 + a32 )fˆfˆty + (a31 + a32 )2 fˆ2 fˆyy + 2a32 (τ2 fˆt + a21 fˆfˆy )fy + O(h3 ).
2
Στη συνέχεια, αν αντικαταστήσουμε τις εκφράσεις για τα k2 και k3 στην (13.1) και συγκεντρώσουμε τους
συντελεστές για κάθε παράγοντα h0 , h, h2 , h3 έχουμε
h0 :y(tn )
h1 :(b1 + b2 + b3 )fˆ
h2 :b2 (τ2 fˆt + a21 fˆfˆy ) + b3 (τ3 fˆt + (a31 + a32 )fˆfˆy )
b2 2 ˆ
h3 : ((τ ftt + 2τ2 a21 fˆfˆty + (a21 fˆ)2 fˆyy ))
2 2
b3 2 ˆ
+ τ3 ftt + 2τ3 (a31 + a32 )fˆfˆty + (a31 + a32 )2 fˆ2 fˆyy + 2a32 (τ2 fˆt + a21 fˆfˆy )fy .
2
Το ανάπτυγμα κατά Taylor της y(tn+1 ) θα είναι
h2 ′′ n h3
y(tn+1 ) = y(tn ) + hy ′ (tn ) + y (t ) + y ′′′ (tn ) + O(h4 )
2 6
h2 h3
= y(tn ) + hfˆ + (fˆt + fˆfˆy ) + (fˆtt + 2fˆfˆty + fˆ2 fˆyy + (fˆt + fˆfˆy )fy ) + O(h4 )
2 6
Εξισώνουμε τώρα τους αντίστοιχους συντελεστές για κάθε παράγοντα h0 , h1 , h2 , h3 , οπότε
h0 :0
h1 :fˆ − (b1 + b2 + b3 )fˆ
1
h2 : (fˆt + fˆfˆy ) − b2 (τ2 fˆt + a21 fˆfˆy ) − b3 (τ3 fˆt + (a31 + a32 )fˆfˆy )
2
1 b2
h3 : (fˆtt + 2fˆfˆty + fˆ2 fˆyy + (fˆt + fˆfˆy )fy ) − ((τ22 fˆtt + 2τ2 a21 fˆfˆty + (a21 fˆ)2 fˆyy ))
6 2
b3 2 ˆ
− τ ftt + 2τ3 (a31 + a32 )fˆfˆty + (a31 + a32 )2 fˆ2 fˆyy + 2a32 (τ2 fˆt + a21 fˆfˆy )fy .
2 3
Επομένως για να έχουμε τάξη σύγκλισης p = 3 θα πρέπει να μηδενίζονται οι συντελεστές των παραγό-
ντων για h0 , h1 , h2 , h3 . Άρα θα πρέπει να ισχύουν οι παρακάτω εξισώσεις για τους συντελεστές του πίνακα
Butcher της μεθόδου,
b1 + b2 + b3 = 1,
1 1
b2 τ2 + b3 τ3 = , b2 a21 + b3 (a31 + a32 ) = ,
2 2
1 1
b2 τ22 + b3 τ32 = , b2 a221 + b3 (a31 + a32 )2 = ,
3 3
1 1 1
b2 τ2 a21 + b3 τ3 (a31 + a32 ) = , b3 a32 τ2 = , b3 a32 a21 =
3 6 6
Χρησιμοποιώντας τις δύο τελευταιές σχέσεις προκύπτει ότι a21 = τ2 και στη συνέχεια εύκολα παρατηρούμε
ότι θα πρέπει a31 + a32 = τ3 . Συνεπώς θα πρέπει να ισχύουν οι παρακάτω εξισώσεις για τους συντελεστές
του πίνακα Butcher της μεθόδου,
b1 + b2 + b3 = 1,
1 1
b2 a21 + b3 (a31 + a32 ) = , b2 a221 + b3 (a31 + a32 )2 = ,
2 3
1
b3 a32 a21 = .
6
10.4.7 (σελ. 158): Αν γνωρίζουμε την ακριβή λύση y(tn ), εφαρμόζοντας τότε τη μέθοδο για το πρόβλημα
′
y (t) = y(t) θα έχουμε
5 n,1 1
ζ n,1 = y(tn ) + hζ − hζ n,2 ,
12 12 (13.2)
3 1
ζ n,2 = y(tn ) + hζ n,1 + hζ n,2
4 4
και
3 1
ζ n+1 = y(tn ) + h( ζ n,1 + ζ n,2 ).
4 4
Τότε το τοπικό σφάλμα διακριτοποίησης είναι δn = y(tn+1 ) − ζ n+1 . Αντικαθιστώντας τις εκφράσεις για
ζ n,1 , ζ n,2 που δίνει η μέθοδος, βλ. (13.2), προκύπτει
5 5 1 1 3 1
ζ n,1 = y(tn ) + h(y(tn ) + hζ n,1 − hζ n,2 ) − h(y(tn ) + hζ n,1 + hζ n,2 )
12 12 12 12 4 4
5 1 5 5 1 3 2 n,1 5 1 1 1 2 n,2 (13.3)

= y(tn ) + ( − )hy(tn ) + ( − )h ζ − ( + )h ζ
12 12 12 12 12 4 12 12 12 4
1 1 1
= y(tn ) + hy(tn ) + h2 ζ n,1 − h2 ζ n,2 .
3 9 18
Επίσης από τη (13.2), μπορούμε να θεωρήσουμε ότι ζ n,1 = y(tn ) + O(h) και ζ n,2 = y(tn ) + O(h),
οπότε αντικαθιστώντας άλλη μια φορά στη (13.3) παίρνουμε
1 1 1
ζ n,1 = y(tn ) + hy(tn ) + h2 (y(tn ) + O(h)) − h2 (y(tn ) + O(h))
3 9 18
1 1 1 (13.4)
= y(tn ) + hy(tn ) + ( − )h2 y(tn ) + O(h3 )
3 9 18
1 1
= y(tn ) + hy(tn ) + h2 y(tn ) + O(h3 ).
3 18
Με ανάλογο τρόπο έχουμε
1 (13.5)
ζ n,2 = y(tn ) + hy(tn ) + h2 y(tn ) + O(h3 ).
2
Συνεπώς λόγω των (13.4) και (13.5) λαμβάνουμε
3 1
δn = y(tn+1 ) − {y(tn ) + h( ζ n,1 + ζ n,2 )}
4 4
3 1 1 1 1
= y(tn+1 ) − {y(tn ) + h y(tn )(1 + h + h2 ) + h y(tn )(1 + h + h2 ) + O(h4 )}
4 3 18 4 2
1 1 11 11
= y(tn+1 ) − {y(tn ) + hy(tn ) + h2 y(tn )( + ) + h3 y(tn )( + ) + O(h4 )}
4 4 46 42
1 1
= y(tn+1 ) − {y(tn ) + hy(tn ) + h2 y(tn ) + h3 y(tn ) + O(h4 )}.
2 6
Εύκολα βλέπουμε ότι y ′′′ (tn ) = y ′′ (tn ) = y ′ (tn ) = y(tn ), οπότε αναπτύσσοντας κατά Taylor
h2 n h3
y(tn+1 ) = y(tn ) + hy(tn ) + y(t ) + y(tn ) + O(h4 ).
2 6
Άρα αντικαθιστώντας προκύπτει δn = O(h4 ).

10.4.10 (σελ. 158): Πρώτος τρόπος επίλυσης: Αν γνωρίζουμε την ακριβή λύση y(tn ), εφαρμόζοντας
τότε τη μέθοδο για το πρόβλημα y ′ (t) = y(t) θα έχουμε
ζ n,1 = y(tn ) + µhζ n,1 ,

(13.6)
ζ n,2 = y(tn ) + (1 − 2µ)hζ n,1 + µhζ n,2
και
h
ζ n+1 = y(tn ) + (ζ n,1 + ζ n,2 ).
2
Τότε το τοπικό σφάλμα διακριτοποίησης είναι δn = y(tn+1 ) − ζ n+1 . Αντικαθιστώντας τις εκφράσεις για
ζ n,1 , ζ n,2 που δίνει η μέθοδος, βλ. (13.6) προκύπτει
h
ζ n+1 = y(tn ) + (y(tn ) + µhζ n,1 + y(tn ) + (1 − 2µ)hζ n,1 + µhζ n,2 )
2 (13.7)
h2 h2
= y(tn ) + hy(tn ) + (1 − µ)ζ n,1 + µζ n,2 .
2 2
Στη συνέχεια αντικαθιστούμε άλλη μια φορά στη (13.7) τις εκφράσεις για ζ n,1 , ζ n,2 που δίνει η μέθοδος, βλ.
(13.6) και παίρνουμε
h2 h2
ζ n+1 = y(tn ) + hy(tn ) + (1 − µ)[y(tn ) + µhζ n,1 ] + µ[y(tn ) + (1 − 2µ)hζ n,1 + µhζ n,2 ]
2 2
h2 n h3 h3 2 n,2
= y(t ) + hy(t ) + y(t ) + µ(2 − 3µ)ζ + µ ζ .
n n n,1
2 2 2
Με ανάλογο τρόπο έχουμε
h2 n h3
ζ n+1 = y(tn ) + hy(tn ) + y(t ) + µ(2 − 3µ)[y(tn ) + µhζ n,1 ]
2 2
h3 2
+ µ [y(tn ) + (1 − 2µ)hζ n,1 + µhζ n,2 ]
2
h2 n h3
= y(tn ) + hy(tn ) + y(t ) + [2µ − 2µ2 ]y(tn ) + O(h4 ).
2 2
Εύκολα βλέπουμε ότι y ′′′ (tn ) = y ′′ (tn ) = y ′ (tn ) = y(tn ), οπότε αναπτύσσοντας κατά Taylor
h2 n h3
y(tn+1 ) = y(tn ) + hy(tn ) + y(t ) + y(tn ) + O(h4 ).
2 6
1
Συνεπώς προκύπτει δn = O(h4 ) αν µ2 − µ + = 0.
6
Δεύτερος τρόπος επίλυσης: Έχουμε από τις (13.6)
1
ζ n,1 = y(tn ),
1 − µh
1 1 1 − 2µ
ζ n,2 = (y(tn ) + (1 − 2µ)hζ n,1 ) = (1 + h)y(tn ),
1 − µh 1 − µh 1 − µh
και
h
ζ n+1 = y(tn ) + (ζ n,1 + ζ n,2 )
2
h 1 1 1 − 2µ
= {1 + ( + (1 + h))}y(tn ).
2 1 − µh 1 − µh 1 − µh
1 1
Το ανάπτυγμα Taylor της , x > 0, είναι = 1 − x + x2 − x3 + ξ 4 , με ξ ∈ (0, x) οπότε
1−x 1−x
1
= 1 − (µh) + (µh)2 − (µh)3 + O(h4 ).
1 − µh
Αντικαθιστούμε αυτήν την έκφραση στον παραπάνω υπολογισμό για το ζ n+1 και παρόμοια όπως στον Α’
τρόπο επίλυσης οδηγούμαστε στο επιθυμητό αποτέλεσμα.
10.4.11 (σελ. 159): Για να έχει τάξη ακρίβειας 3 θα πρέπει το τοπικό σφάλμα διακριτοποίησης δn =
O(h4 ). Αν γνωρίζουμε την ακριβή λύση y(tn ), εφαρμόζοντας τότε τη μέθοδο θα έχουμε
ζ n,1 = y(tn ) + hµf (tn,1 , ζ n,1 ),
ζ n,2 = y(tn ) + h((1 − 2µ)f (tn,1 , ζ n,1 ) + µf (tn,2 , ζ n,2 ))
όπου tn,1 = tn + hµ, tn,2 = tn + h(1 − µ) και
h
ζ n+1 = y(tn ) + (f (tn,1 , ζ n,1 ) + f (tn,2 , ζ n,2 )). (13.8)
2
fˆt = ft (tn , y n ), fˆy = fy (tn , y n ) και παρόμοια για άλλες τάξεως παραγωγίσεις.
Στη συνέχεια θα αναπτύξουμε κατά Taylor ως προς την πρώτη και στη συνέχεια ως προς τη δεύτερη μετα-
βλητή των k1 = f (tn,1 , ζ n,1 ) και k2 = f (tn,2 , ζ n,2 )
1
k1 = f (tn , ζ n,1 ) + hµft (tn , ζ n,1 ) + (hµ)2 ftt (tn , ζ n,1 ) + O(h3 )
2
1 (13.9)
= (fˆ + hµk1 fˆy + (hµk1 )2 fˆyy + O(h3 ))
2
1
+ hµ(fˆt + hµk1 fˆty + O(h2 )) + (hµ)2 (fˆtt + O(h)) + O(h3 ).
2
Επομένως k1 = fˆ + hµ(fˆt + k1 fˆy ) + O(h2 ) και k1 = fˆ + O(h). Στη συνέχεια αντικαθιστούμε την
κατάλληλη έκφραση για το k1 , ώστε να προκύπτουν όροι το πολύ τάξεως O(h2 ) στο δεξιό μέλος της (13.9)
που έχουμε βρει. Οπότε
ˆ ˆ ˆ ˆ 2 ˆ h 2 µ2 ˆ
k1 = f + hµ[f + hµ(ft + k1 fy ) + O(h )]fy + (f + O(h))2 fˆyy
2
1
+ hµ(fˆt + hµ(fˆ + O(h))fˆty + O(h2 )) + (hµ)2 fˆtt + O(h3 )
2
h2 µ2 ˆ2 ˆ (13.10)
= fˆ + hµ[fˆ + hµ(fˆt + fˆfˆy )]fˆy + f fyy + hµ(fˆt + hµfˆfˆty )
2
1
+ (hµ)2 fˆtt + O(h3 )
2
1
= fˆ + hµ(fˆt + fˆfˆy ) + (hµ)2 (fˆtt + fˆ2 fˆyy + 2(fˆt + fˆfˆy )fˆy + 2fˆfˆty ) + O(h3 ).
2
Από την (13.10) παρατηρούμε ότι προκύπτει k1 = fˆ + hµ(fˆt + fˆfˆy ) + O(h2 ). Με ανάλογο τρόπο όπως
στην (13.9) έχουμε για το k2
1
k2 = f (tn , ζ n,2 ) + h(1 − µ)ft (tn , ζ n,2 ) + (h(1 − µ))2 ftt (tn , ζ n,2 ) + O(h3 )
2
h2
= (fˆ + h((1 − 2µ)k1 + µk2 )fˆy + ((1 − 2µ)k1 + µk2 )2 fˆyy + O(h3 ))
2 (13.11)
+ h(1 − µ)(fˆt + h((1 − 2µ)k1 + µk2 )fˆty + O(h2 ))
1
+ (h(1 − µ))2 (fˆtt + O(h)) + O(h3 ).
2
Επομένως αντικαθιστούμε στην (13.11) το k1 με το k1 = fˆ+hµ(fˆt +fˆfˆy )+O(h2 ) είτε με k1 = fˆ+O(h)

ώστε να προκύπτουν όροι το πολύ τάξεως O(h2 ) και έχουμε
h2
k2 = (fˆ + h((1 − 2µ)(fˆ + hµ(fˆt + fˆfˆy )) + µk2 )fˆy + ((1 − 2µ)fˆ + µk2 )2 fˆyy )
2 (13.12)
1
+ h(1 − µ)(fˆt + h((1 − 2µ)fˆ + µk2 )fˆty ) + (h(1 − µ))2 (fˆtt ) + O(h3 ).
2
Συνεπώς k2 = fˆ + O(h) και
k2 = fˆ + h(1 − µ)(fˆt + fˆfˆy ) + O(h2 ).
Στη συνέχεια αντικαθιστούμε στην (13.12) την κατάλληλη έκφραση για το k2 , ώστε να προκύπτουν όροι το
πολύ τάξεως O(h2 ). Οπότε

k2 = fˆ + h (1 − 2µ)(fˆ + hµ(fˆt + fˆfˆy )) + µ(fˆ + h(1 − µ)(fˆt + fˆfˆy )) fˆy
h2
+ ((1 − 2µ)fˆ + µfˆ)2 fˆyy + h(1 − µ)(fˆt + h((1 − 2µ)fˆ + µfˆ)fˆty )
2
1 (13.13)
+ (h(1 − µ))2 fˆtt + O(h3 )
2
h2
= fˆ + h(1 − µ)(fˆt + fˆfˆy ) + (1 − µ)2 (fˆtt + fˆfˆyy + 2fˆfˆty )
2
+ h2 (2 − 3µ)µ(fˆt + fˆfˆy )fˆy + O(h3 ).
Στη συνέχεια, αν αντικαταστήσουμε τις εκφράσεις για τα k1 και k2 , (13.10) και (13.13), αντίστοιχα, στην
(13.8) και συγκεντρώσουμε τους συντελεστές για κάθε παράγοντα h0 , h, h2 , h3 έχουμε
h0 :y(tn )
h1 :fˆ
1
h2 : (fˆt + fˆfˆy )
2
µ2 ˆ
h3 : (ftt + fˆ2 fˆyy + 2(fˆt + fˆfˆy )fˆy + 2fˆfˆty )
4
(1 − µ)2 ˆ (2 − 3µ)µ ˆ ˆ ˆ ˆ
+ (ftt + fˆfˆyy + 2fˆfˆty ) + (ft + f fy )fy .
4 2
Το ανάπτυγμα κατά Taylor της y(tn+1 ) θα είναι
h2 ′′ n h3
y(tn+1 ) = y(tn ) + hy ′ (tn ) + y (t ) + y ′′′ (tn ) + O(h4 )
2 6
h2 h3
= y(tn ) + hfˆ + (fˆt + fˆfˆy ) + (fˆtt + 2fˆfˆty + fˆ2 fˆyy + (fˆt + fˆfˆy )fy ) + O(h4 ).
2 6
Εξισώνουμε τώρα τους αντίστοιχους συντελστές για κάθε παράγοντα h0 , h1 , h2 , h3 , οπότε
h0 :0
h1 :0
h2 :0
1
h3 : (fˆtt + 2fˆfˆty + fˆ2 fˆyy + (fˆt + fˆfˆy )fy )
6
µ2 ˆ
− (ftt + fˆ2 fˆyy + 2(fˆt + fˆfˆy )fˆy + 2fˆfˆty )
4
(1 − µ)2 ˆ (2 − 3µ)µ ˆ ˆ ˆ ˆ
− (ftt + fˆfˆyy + 2fˆfˆty ) + (ft + f fy )fy .
4 2
Επομένως για κάθε τιμή του µ έχουμε ότι μηδενίζονται οι συντελεστές των παραγόντων για h0 , h1 , h2 , οπότε
έχουμε πάντα τάξη σύγκλισης p = 2. Για να έχουμε τάξη σύγκλισης p = 3, θα πρέπει να βρούμε για ποια µ
μηδενίζεται ο συντελεστής του παραγόντα για h3 . Εύκολα βλέπουμε ότι αυτό συμβαίνει για εκείνα τα µ που
ικανοποιούν την εξίσωση
1
µ2 − µ + = 0,
6
√
1 3
δηλαδή για µ = ± .
2 6
10.4.12 (σελ. 159): Για να έχει τάξη ακρίβειας 3 θα πρέπει το τοπικό σφάλμα διακριτοποίησης δn =
O(h4 ). Αν γνωρίζουμε την ακριβή λύση y(tn ), εφαρμόζοντας τότε τη μέθοδο θα έχουμε
ζ n,1 = y(tn )
1 h h
ζ n,2 = y(tn ) + h( (tn + ζ n,1 )) = y(tn )(1 + ) + tn
2 2 2
3 h 3h h 3h h 3h2
ζ n,3 = y(tn ) + h( (tn + + ζ n,2 )) = y(tn )(1 + (1 + )) + (1 + )tn +
4 2 4 2 4 2 8
και
h h 3h
ζ n+1 = y(tn ) + (2(tn + ζ n,1 ) + 3(tn + + ζ n,2 ) + 4(tn + + ζ n,3 ))
9 2 4
h h h h
= y(tn ) + 2(tn + y(tn )) + 3(tn (1 + ) + + y(tn )(1 + ))
9 2 2 2
(13.14)
3h h 3h 3h2 3h h
+ 4(tn (1 + (1 + )) + + + y(tn )(1 + (1 + )))
4 2 4 8 4 2
h2 h3 h2 h3 h2 h3
= y(tn )(1 + h + + ) + tn (h + + )+ + .
2 6 2 6 2 6
Εύκολα βλέπουμε ότι y ′′ (tn ) = y ′ (tn ) + 1 = y(tn ) + tn + 1 και y ′′′ (tn ) = y ′ (tn ) + 1 = y(tn ) + tn + 1,
οπότε αναπτύσσοντας κατά Taylor
h2 h3
y(tn+1 ) = y(tn ) + h(y(tn ) + tn ) + (y(tn ) + tn + 1) + (y(tn ) + tn + 1) + O(h4 ).
2 6
Τότε το τοπικό σφάλμα διακριτοποίησης είναι δn = y(tn+1 ) − ζ n+1 . Άρα αντικαθιστώντας προκύπτει
δn = O(h4 ).
11.7.1 (σελ. 179): Θεωρούμε το ϱ(z) = α2 z 2 + α1 z + α0 . Για να έχει τάξη ακρίβειας 2 θα πρέπει
C0 = C1 = C2 = 0 και C3 6= 0. Έχουμε ότι
C0 = ϱ(1) = α2 + α1 + α0 = 0.
Επίσης
C1 = ϱ′ (1) − σ(1) = 2α2 + α1 − 1 = 0
και
1
C2 = (4α2 + α1 ) − 2 = 0.
2
Συνεπώς χρησιμοποιώντας τις δύο τελευταίες εξισώσεις έχουμε ότι α1 = −2. Στη συνέχεια αντικαθιστώντας
στην τελευταία παίρνουμε α2 = 3/2, οπότε α0 = 1/2. Άρα έχουμε τελικά ότι ϱ(z) = (3/2)z 2 − 2z +
(1/2). Ακόμα, επειδή C3 = 61 (8α2 + α1 ) − 12 (4) = 16 6= 0 έχουμε το ζητούμενο.
11.7.3 (σελ. 179): Το τοπικό σφάλμα διακριτοποίησης είναι δ n = y(tn+1 ) − y(tn ) − 2hf (tn , y(tn )),
δ n = (y(tn ) + f (tn , y(tn )) + O(h2 )) − (y(tn ) + 2hf (tn , y(tn )))
= −hf (tn , y(tn )) + O(h2 ) = O(h).
Η ακριβής λύση του προβλήματος είναι y(t) = t. Εύκολα βλέπουμε ότι y 1 = 2h, y 2 = 4h και επαγω-
γικά ότι y n = 2nh. Συνεπώς το ολικό σφάλμα για t = 1 = tN είναι
y(1) − y N = 1 − 2N h = 1 − 2 = −1.
Διαπιστώνουμε λοιπόν ότι η μέθοδος δεν είναι συγκλίνουσα.

1
11.7.5 (σελ. 180): Έχουμε ότι ϱ(z) = z 2 − 1 και σ(z) = (3z − 1), ϱ′ (z) = 2z. Για να είναι συνεπής,
4
πρέπει C0 = C1 = 0. Αντικαθιστούμε τις τιμές για το C0 και C1 , οπότε
C0 = ϱ(1) = 1 − 1 = 0.
Επίσης
3 1 1
C1 = ϱ′ (1) − σ(1) = 2 − + = 2 − 6= 0,
4 4 2
συνεπώς δεν είναι συνεπής.

11.7.6 (σελ. 180): i.) Έχουμε ότι ϱ(z) = z 2 − az − 2 και σ(z) = b. Για να είναι συνεπής, πρέπει
C0 = C1 = 0. Αντικαθιστούμε τις τιμές για το C0 και C1 , οπότε
C0 = ϱ(1) = 1 − a − 2 = 0, οπότε a = −1.
Επίσης
C1 = ϱ′ (1) − σ(1) = 2 − a − b = 3 − b = 0, οπότε b = 3.

ii.) Έχουμε ότι ϱ(z) = z 2 + z + a και σ(z) = z 2 + b. Για να είναι συνεπής, πρέπει C0 = C1 = 0.
Αντικαθιστούμε τις τιμές για το C0 και C1 , οπότε
C0 = ϱ(1) = 1 + 1 + a = 0, οπότε a = −2.
Επίσης
C1 = ϱ′ (1) − σ(1) = 2 + 1 − 1 − b = 2 − b = 0, οπότε b = 2.
11.7.7 (σελ. 180): Έχουμε ότι ϱ(z) = z 2 + a1 z − a και σ(z) = b2 z 2 , ϱ′ (z) = 2z + a1 . Οπότε από
ϱ(1) = 1+a1 −a = 0 προκύπτει a1 = a−1. Επίσης από ϱ′ (1)−σ(1) = 2+a1 −b2 = 2+a−1−b2 = 0
παίρνουμε b2 = a + 1. Συνεπώς για οποιοδήποτε a για να είναι συνεπής η μέθοδος θα πρέπει a1 = a − 1
και b2 = a + 1.
Στη συνέχεια ελέγχουμε αν η σταθερά C2 = 0.

1 1 a−1 3a + 1
C2 = (22 + a1 ) − (2b2 ) = (22 + a − 1) − 2(a + 1) = 2 + − 2a − 2 = − .
2 2 2 2
1
Οπότε για τυχαίο a ∈ R η μέγιστη τάξη είναι 1. Αν όμως επιλέξουμε a = − , τότε C2 = 0 και η τάξη τότε
3
είναι τουλάχιστον 2.
1
Μπορούμε στη συνέχεια να ελέγξουμε τη σταθερά C3 για a = − και τις αντίστοιχες τιμές για τα a1 και b2 .
3
1 1 1 4 1 2 20 8
C3 = (23 + a1 ) − (22 b2 ) = (8 − ) − (4 ) = − 6= 0.
6 2 6 3 2 3 6 6
Συνεπώς η μέγιστη τάξη είναι 2.

11.7.9 (σελ. 180): Θα υπολογίσουμε τις αντίστοιχες σταθερές για τη μέθοδο,
C0 = α 0 + α 1 + · · · + α k
C1 = α1 + 2α2 + · · · + kαk − (β0 + · · · + βk )
και για j ≥ 2,
1
Cj = (α1 + 2j α2 + 3j αj + · · · + k j αk )
j!
1
− (β1 + 2j−1 β2 + 3j−1 β3 + · · · + k j−1 β k ).
(j − 1)!
Έχουμε C0 = 1 − 1 = 0,
3 9 9 3 24
C1 = 3 − ( + + + ) = 3 − = 0,
8 8 8 8 3
1 3 9 9 9 36
C2 = (32 ) − ( 3 + 2 + ) = − = 0,
2 8 8 8 2 8
1 1 3 9 9 27 1 72
C3 = (33 ) − ( 32 + 22 + ) = − = 0,
6 2 8 8 8 6 2 8
1 4 1 3 9 9 81 1 72
C4 = (3 ) − ( 33 + 23 + ) = − = 0,
24 6 8 8 8 24 2 8
1 5 1 3 9 9 81 33
C5 = (3 ) − ( 34 + 24 + ) = − 6= 0.
5! 4! 8 8 8 40 2
Συνεπώς η τάξη ακρίβειας είναι 4. Για να είναι συγκλίνουσα θα πρέπει η μέθοδος να είναι και ευσταθής, δη-
√ η συνθήκη των ριζών. Εύκολα βλέπουμε ότι ρ(z) = z − 1 έχει 3 μιγαδικές ρίζες, z =
3
λαδή να ισχύει
−1 ± i 3
1, με απόλυτη τιμή ίση με 1. Οπότε ισχύει η συνθήκη των ριζών και άρα η μέθοδος είναι συγκλί-
2
νουσα.
11.7.11 (σελ. 180): Για h = 1/N και tn = nh, n = 0, . . . , N η μέθοδος για το πρόβλημα y ′ (t) = t
δίνει
h h
y n+2 − y n+1 = (4tn+2 + 8tn+1 − tn ) = (4(n + 2)h + 8(n + 1)h − nh)
12 12
h2
= (11n + 16).
12
h2
Οπότε y 0 = 0, y 1 = ,
2
h2
y2 = y1 + 16
12
h2 h2 h2 h2
y3 = y2 + (11 + 16) = y 1 + 16 + (11 + 16) = y 1 + (11 + 2 · 16)
12 12 12 12
h2 h2
y4 = y3 + (11 · 2 + 16) = y 1 + (11(0 + 1 + 2) + 3 · 16).
12 12
Κάνουμε λοιπόν την επαγωγική υπόθεση
h2
y = y + (11(0 + 1 + 2 + . . . k − 2) + 16(k − 1)).
k 1
12
Τότε
h2 h2
y k+1 = y k + (11(k − 1) + 16) = y 1 + (11(0 + 1 + 2 + . . . k − 1) + 16k).
12 12
Άρα ισχύει η επαγωγική υπόθεση. Επομένως μπορούμε να υπολογίσουμε το y n ως συνάρτηση του n,
h2
yn = y1 + (11(0 + 1 + 2 + . . . n − 2) + 16(n − 1))
12
h2 (n − 2)(n − 1)
= y1 + (11 + 16(n − 1))
12 2
h2 11 2
= y1 + ( (n − 3n + 2) + 16(n − 1))
12 2
h2 11 2 16 · 2 − 33 22
= ( n − n+ − 16 + 6)
12 2 2 2
h2
= (11n2 − n + 2).
24
11 2 1 2 2 h2
Συνεπώς y n = An2 + Bn + C με A = h , B = − h2 , C = h . Οπότε y N = (11N 2 −
24 24 24 24
11 1 2 11
N + 2) = − h + h2 → , καθώς h → 0.
24 24 24 24
1 11
Η ακριβής λύση y ικανοποιεί y(1) = 6= , άρα η μέθοδος δεν θα συγκλίνει.
2 24
12.6.2 (σελ. 199): Για το πρόβλημα y ′ (t) = λy(t), y(0) = 1 έχουμε για την πρώτη μέθοδο ότι
y n,1 = y n
1 hλ
y n,2 = y n + hλy n,1 = y n (1 + )
3 3
2 2 hλ 2hλ 2(hλ)2 )
y n,3 = y n + hλy n,2 = y n + hλy n (1 + ) = y n (1 + + )
3 3 3 3 9
hλ n,1 3hλ n,3 (hλ)2 (hλ)3

y n+1 = y n + y + y = y n (1 + hλ + + ).
4 4 2 6
(z)2 (z)3
Θέτουμε ρ1 (z) = 1 + z + + , οπότε έχουμε y n+1 = r1 (hλ)y n . Η περιοχή απόλυτης ευστάθειας
2 6
της πρώτης μεθόδου ορίζεται από εκείνα τα z ∈ C, Re(z) < 0, για τα οποία |r1 (z)| ≤ 1.
Για τη δεύτερη μέθοδο έχουμε
y n,1 = y n
1 hλ
y n,2 = y n + hλy n,1 = y n (1 + )
2 2
y n,3 = y n + hλ(−y n,1 + 2y n,2 ) = y n + hλ(y n + hλy n ) = y n (1 + hλ + (hλ)2 )
hλ n,1
y n+1 = y n + (y + 4y n,2 + y n,3 )
6
hλ n hλ
= yn + (y + 4y n (1 + ) + y n (1 + hλ + (hλ)2 ))
6 2
1 4 1 1 1 1
= y n (1 + hλ( + + ) + (hλ)2 ( + ) + (hλ)3 )
6 6 6 3 6 6
1 1
= y n (1 + hλ + (hλ)2 + (hλ)3 ).
2 6
2 3
(z) (z)
Θέτουμε ρ2 (z) = 1 + z + + , οπότε έχουμε y n+1 = r2 (hλ)y n . Η περιοχή απόλυτης ευστάθειας
2 6
της δεύτερης μεθόδου ορίζεται από εκείνα τα z ∈ C, Re(z) < 0, για τα οποία |r2 (z)| ≤ 1.
Παρατηρούμε ότι ρ1 ≡ ρ2 . Άρα θα έχουν την ίδια περιοχή απόλυτης ευστάθειας.
1+z hλ
12.6.3 (σελ. 199): Αρκεί να δείξουμε ότι | | ≤ 1 με z = , Re(z) < 0. Εύκολα βλέπουμε ότι
1−z 2
|1 + z| ≤ |1 − z| είναι ισοδύναμο με |1 + z|2 ≤ |1 − z|2 .
Επομένως θέλουμε
(1 + z)(1 + z) ≤ (1 − z)(1 − z)
ή 1 + z + z + zz ≤ 1 − z − z + zz
ή z + z ≤ −(z + z),
το οποίο ισχύει διότι z + z = 2Re(z) < 0.

12.6.5 (σελ. 199): Από τις δύο τελευταίες συνθήκες προκύπτει ότι 1 + b > |a| ≥ 0. Επομένως b > −1.
Άρα θα έχουμε ότι −1 < b < 1. Είναι γνωστό ότι αν δύο ρίζες z1 , z2 του p, τότε z1 z2 = b. Συνεπώς
|z1 ||z2 | < 1 από όπου έπεται ότι καθεμία από τις ρίζες είναι κατ’ απόλυτο τιμή γνήσια μικρότερη του 1 και
άρα το p ικανοποιεί τη συνθήκη των ριζών.
12.6.10 (σελ. 200): Πρώτα θα βρούμε για ποιες τιμές του θ έχουμε συγκλίνουσα μέθοδο. Έχουμε ότι τα
1
χαρακτηριστικά πολυώνυμα ρ και σ είναι ρ(z) = z 2 + (θ − 2)z + (1 − θ) και σ(z) = ((6 + θ)z 2 +
4
3(θ − 2)). Παρατηρούμε ότι ρ(1) = 1 + θ − 2 + 1 − θ = 0 για κάθε θ. Ακόμα ρ′ (z) = 2z + (θ − 2),
άρα ρ′ (1) = θ. Επίσης σ(1) = θ. Συνεπώς για κάθε θ έχουμε μια συνεπή μέθοδο.
Για να έχουμε συγκλίνουσα μέθοδο αρκεί να βρούμε για ποια θ ισχύει η συνθήκη των ριζών. Εύκολα βλέ-
πουμε ότι ρ(z) = 0, αν z = 1 ή z = 1 − θ. Συνεπώς η συνθήκη των ριζών θα ισχύει για −1 ≤ 1 − θ < 1,
δηλαδή αν 0 < θ ≤ 2. Άρα για 0 < θ ≤ 2 η μέθοδος είναι συγκλίνουσα. Στη συνέχεια θα εξετάσουμε πότε
είναι A0 -ευσταθής.
Θεωρούμε το πολυώνυμο π(ζ; z) = ρ(ζ) − zσ(ζ), z = hλ < 0. Αντικαθιστώντας τα ρ, σ έχουμε
z 3z
π(ζ; z) = (1 − (6 + θ))ζ 2 + (θ − 2)ζ + (1 − θ) − (θ − 2).
4 4
Αναζητούμε τώρα για ποια θ ∈ (0, 2] το π ικανοποιεί τη συνθήκη των ριζών για κάθε z < 0. Σύμφωνα με
το Λήμμα 12.1, βλ. και την Άσκηση 12.6.5, αρκεί να εξετάσουμε τους συντελεστές του π,
3z
θ−2 (1 − θ) − (θ − 2)
a= και b= 4 .
z z
1 − (6 + θ) 1 − (6 + θ)
4 4
z
Καταρχήν θέλουμε να διευρευνήσουμε πότε b < 1. Παρατηρούμε ότι για z < 0, 1 − (6 + θ) > 0 για
4
κάθε θ ∈ (0, 2]. Ακόμα
3z z
(1 − θ) − (θ − 2) < 1 − (6 + θ)
4 4
z
ή (6 + θ − 3(θ − 2)) < θ
4
z
ή (12 − 2θ) < θ,
4
το οποίο είναι αληθές για κάθε θ ∈ (0, 2] και z < 0. Στη συνέχεια θέλουμε να ελέγξουμε πότε θα ισχύει η
επόμενη συνθήκη, δηλαδή 1 + b + a > 0, το οποίο ισοδύναμα γράφεται
3z
(1 − θ) − (θ − 2) θ−2
1+ 4 + >0
z z
1 − (6 + θ) 1 − (6 + θ)
4 4
z 3ζ
ή 1 − (6 + θ) + (1 − θ) − (θ − 2) + θ − 2 > 0
4 4
z 3ζ
ή − (6 + θ) − (θ − 2) > 0
4 4
z
ή − (4θ) > 0,
4
το οποίο είναι αληθές για κάθε θ ∈ (0, 2] και z < 0. Ανάλογα έχουμε 1 + b − a > 0, γιατί
3z
(1 − θ) − (θ − 2) θ−2
1+ 4 − >0
z z
1 − (6 + θ) 1 − (6 + θ)
4 4
z 3ζ
ή 1 − (6 + θ) + (1 − θ) − (θ − 2) − θ + 2 > 0
4 4
z 3ζ
ή 4 − 2θ − (6 + θ) − (θ − 2) > 0
4 4
z
ή 4 − 2θ − (4θ) > 0,
4
το οποίο είναι αληθές για κάθε θ ∈ (0, 2] και z < 0.
Συνεπώς για κάθε θ ∈ (0, 2] έχουμε μια συγκλίνουσα μέθοδο η οποία είναι και A0 ευσταθής.
1
12.6.15 (σελ. 200): Σχηματίζουμε την αντίστοιχη μονοσκελή μέθοδο. Έπειδή λοιπόν σ(z) = (z + 1)
2
για τη μέθοδο του τραπεζίου, θα έχουμε ότι η αντίστοιχη μονοσκελή μέθοδος είναι
1 1
y n+1 − y n = hf ( (tn+1 + tn ), (y n+1 + y n )
2 2
η οποία είναι η πεπλεγμένη μέθοδος του μέσου. Επειδή η μέθοδος είναι μονοβηματική k = 1, τότε ο πίνακας
G που πρέπει να βρούμε είναι G ∈ R1,1 . Εύκολα έχουμε ότι για το σφάλμα ϵn = y n = z n , για δύο λύσεις
(y n ), (z n ), ικανοποιεί
1 1 1 1
ϵn+1 − ϵn = h f ( (tn+1 + tn ), (y n+1 + y n ) − f ( (tn+1 + tn ), (z n+1 + z n ) .
2 2 2 2
1
Αν πάρουμε το εσωτερικό γινόμενο με το (ϵn+1 + ϵn ) έχουμε
2
1 1
(ϵn+1 − ϵn , (ϵn+1 + ϵn ) = kϵn+1 k2 + (ϵn+1 , ϵn ) − (ϵn+1 , ϵn ) − kϵn k2
2 2
και αν χρησιμοποιήσουμε την (12.38) έχουμε

1
Re(ϵn+1 − ϵn , (ϵn+1 + ϵn ) ≤ 0.
2
Τότε
1 1 1
Re(ϵn+1 − ϵn , (ϵn+1 + ϵn ) = kϵn+1 k2 − kϵn k2 .
2 2 2
Συνεπώς
kϵn+1 k2 ≤ kϵn k2 ,
οπότε προκύπτει η ζητούμενη σχέση για την G-ευστάθεια με G = 1.

ΕΥΡΕΤΗΡΙΟ
G κατά Moore-Penrose, 65
Gershgorin, ανισότητα, 73 αντίστροφος πίνακας, 9
Grönwall, λήμμα, 131 αριθμητική ολοκλήρωση
L (αριστερό) κανόνα του ορθογωνίου, 137
Landau, συμβολισμός, 134 (δεξιό) κανόνα του ορθογωνίου, 137
Lipschitz κανόνα του τραπεζίου, 138
μονόπλευρη συνθήκη, 126, 195, 197 κανόνας, 130, 148
ολική συνθήκη, 123, 151 αυστηρά κυριαρχική διαγώνιος, 44
συνθήκη, 90, 106 Β
τοπική συνθήκη, 123, 124 βάση
Α διανυσματικού χώρου, 5
άκαμπτη διαφορική εξίσωση, 187 κανονική, 5
αλγόριθμος ορθοκανονική, 6
Cholesky, 33 Γ
Gram-Schmidt, 33 γραμμικά ανεξάρτητα στοιχεία, 4
LU, 28 γραμμικός συνδυασμός στοιχείων, 4
QR, 34 γραμμικός τελεστής, 7
οπισθοδρόμησης, 27 εικόνα, 8
ανάλυση πυρήνας, 8
Cholesky, 32 Δ
LU, 28 διάσπαση (M, N ), 42
QR, 34 διαμερισμός
Schur, 12 μη-ομοιόμορφος, 130
SVD, 19 ομοιόμορφος, 130
SVD, οικονομική, 21 διανυσματικός υπόχωρος, 5
ιδιαζουσών τιμών, 19 διανυσματικός χώρος, 3
ανισότητα απειροδιάστατος, 5
Cauchy-Schwarz, 6, 7 πεπερασμένης διάστασης, 5
Hölder, 7 Ε
τριγωνική, 6 εξωτερικό γινόμενο, 9
αντίστροφος εσωτερικό γινόμενο, 5
αριστερός αντίστροφος, 65 ευστάθεια
249
250 ΕΥΡΕΤΗΡΙΟ
A-ευσταθείς μέθοδοι, 189 μονοβηματική, 138

A(θ)-ευσταθείς μέθοδοι, 190 μονοσκελής πολυβηματική, 198
A0 -ευσταθείς μέθοδοι, 190 πεπλεγμένη μέσου, 150
B-ευστάθεια, 195 πολυβηματική, 163
G-ευστάθεια, 198 πρόβλεψης-διόρθωσης, 179
αλγεβρική ευστάθεια, 195 συζυγών κλίσεων, 55
απόλυτη, 184, 186, 189 συνεπής, 139
διάστημα απόλυτης ευστάθειας, 186 τέμνουσας, 97
περιοχή απόλυτης ευστάθειας, 189 τραπεζίου, 138
πολυβηματική μέθοδος, 166 μετασχηματισμός
συνάρτηση ευστάθειας, 191 Givens, 10, 36
Θ Hessenberg, 81
Θεώρημα Householder, 68
Brouwer, 90 μητρώο Butcher, 149
Butcher-Crouzeix, 157 Ν
Dahlquist, 193 νόρμα
Peano, 125 Frobenius, 15
Picard-Lindelöf, 122 Hölder, 7
σταθερού σημείου Banach, 123 διανυσματικού χώρου, 6
Κ πίνακα, 15
κανονικές εξισώσεις, 64 φυσική, 15
κανονική μορφή Jordan, 13 Ο
κανονικό διάνυσμα, 8 ορθογώνια
κλίση διανυσματικής συνάρτησης, 52 στοιχεία, 5
Μ σύνολα, 5
μέθοδος ορθογώνιο
(2,3)-DIRK, 151 σύνολο, 5
Adams-Bashforth, 163 ορθογώνιοι
Adams-Moulton, 164 χώροι, 5
BDF, 164 ορθοκανονικό σύνολο, 6
Euler, 130 όμοιοι πίνακες, 12
Euler, βελτιωμένη, 150 Π
Euler, πεπλεγμένη, 137 πίνακας, 8
Gauss-Legendre, 151 ανάστροφος, 8
Gauss-Seidel, 44 αντίστροφος, 9
Heun 3ης τάξεως, 151 αντι-ερμιτιανός, 9
Jacobi, 43 αντισυμμετρικός πίνακας, 9
Lobatto, 151 βαθμός, 21
Newton-Raphson, 92 δείκτης κατάστασης, 29
Runge-Kutta, 149 διαγωνοποιήσιμος, 12
Runge-Kutta, άμεση, 149 επανάληψης, 42
Runge-Kutta, διαγώνια πεπλεγμένη, 149 ερμιτιανός, 9
Runge-Kutta, ημιπεπλεγμένη, 149 εσσιανή (Hessian), 104
Runge-Kutta, πεπλεγμένη, 149 θετικά ορισμένος, 9
SOR, 47 ιακωβιανός, 102
άμεση μέθοδος του μέσου, 162 ιδιάζουσες τιμές, 20
απότομης καθόδου, 53 ιδιοδιάνυσμα, 11
επαναληπτική για τη διάσπαση (M, N ), 42 ιδιοτιμή, 11
κλίσεων, 50 κανονικός, 10, 13
κύριος υποπίνακας, 9
μοναδιαίος, 10
ορθογώνιος, 10
στροφή Givens, 10
συζυγής ανάστροφος, 9
συμμετρικός, 9
ταυτοτικός, 8
υποπίνακας, 9
φασματική ακτίνα, 107
χαρακτηριστικό πολυώνυμο, 11, 71
παράγωγος Fréchet, 102
πηλίκο Rayleigh, 14
πολυώνυμο Schur, 172
πολυώνυμο von Neumann, 172
προβολή, 10
ορθογώνια, 10
συμπληρωματική, 10
πρόβλημα
Cauchy, 121
αρχικών τιμών, 121
ελαχίστων τετραγώνων, 63
Σ
σημείο έλξης, 107
σταθερό σημείο, 90
συνεπεία μεθόδου, 172
συνθήκη των ριζών, 167
συστολή, 90, 123
σφάλμα διακριτοποίησης
μέθοδος Euler, 134
μέθοδος Runge-Kutta, 154
μονοβηματικής μεθόδου, 139
πολυβηματικές μέθοδοι, 172
σφάλμα επαναληπτικής μεθόδου, 43
σφάλμα συνέπειας, 134
σύγκλιση μεθόδου, 174
Τ
τάξη ακρίβειας μεθόδου, 133, 139, 172
Υ
υπόλοιπο επαναληπτικής μεθόδου, 43
Φ
φάσμα πίνακα, 11
φασματική ακτίνα, 11
Χ
χώρος Krylov, 53
κρίσιμη διάσταση, 54
Ψ
ψευδο-αντίστροφος, 65
Το βιβλίο αποτελείται από δύο μέρη. Στο Α΄ μέρος αναφέρουμε μερικές βασικές έννοιες από τη γραμμική άλγεβρα,
καθώς αυτές αποτελούν τη βάση αυτών που θα εξετάσουμε. Μελετούμε την αριθμητική επίλυση ενός γραμμικού
συστήματος με τετραγωνικό πίνακα χρησιμοποιώντας άμεσες μεθόδους, οι οποίες υπολογίζουν την ακριβή λύση σε
ένα προκαθορισμένο αριθμό βημάτων, τον οποίο γνωρίζουμε εκ των προτέρων. Επίσης, μελετούμε επαναληπτικές
μεθόδους, όπου κατασκευάζουμε μια ακολουθία διανυσμάτων, η οποία συγκλίνει στη λύση του γραμμικού
συστήματος. Επιπλέον, εξετάζουμε γραμμικά συστήματα με μη τετραγωνικό πίνακα, τα οποία δεν έχουν λύση, όπου
αναζητούμε διανύσματα που ελαχιστοποιούν μια κατάλληλη απόσταση. Στη συνέχεια ασχολούμαστε με το πρόβλημα
εντοπισμού των ιδιοτιμών ενός πίνακα και εξετάζουμε μεθόδους για την επίλυση μη γραμμικών εξισώσεων και
συστημάτων.
Στο Β΄ μέρος ασχολούμαστε με την αριθμητική επίλυση προβλημάτων αρχικών τιμών (Π.Α.Τ.) για συστήματα πρώτης
τάξης συνήθων διαφορικών εξισώσεων. Η πιο απλή αριθμητική μέθοδος για την επίλυση του προβλήματος αρχικών
τιμών (Π.Α.Τ.) είναι η μέθοδος του Euler. Επίσης, θεωρούμε και άλλες μονοβηματικές μεθόδους, και γενικότερα τις
μεθόδους Runge-Kutta. Επιπρόσθετα, μελετούμε τις γραμμικές πολυβηματικές μεθόδους. Η υλοποίησή τους είναι
οικονομική και για αυτόν τον λόγο εμφανίστηκαν και εφαρμόστηκαν πριν την εμφάνιση των υπολογιστών. Μελετούμε
την ευστάθεια, τη συνέπεια, την τάξη ακρίβειας και τη σύγκλιση αυτών των μεθόδων. Οι πεπλεγμένες μέθοδοι Runge-
Kutta είναι πιο απαιτητικές στην υλοποίησή τους από τις άμεσες μεθόδους Runge-Kutta και από τις πολυβηματικές
μεθόδους. Όμως, έχουν υψηλή τάξη ακρίβειας και εξαιρετικές ιδιότητες ευστάθειας. Ακόμα, θεωρούμε άκαμπτες
γραμμικές διαφορικές εξισώσεις. Ορισμένες αριθμητικές μέθοδοι είναι ασταθείς και χρειάζονται μικρό σχετικό βήμα
για να μπορέσουν να προσεγγίσουν την ακριβή λύση αυτών των προβλημάτων. Αυτή η ιδιότητα ευστάθειας, που
σχετίζεται με την προσεγγιστική λύση μιας μεθόδου για ένα άκαμπτο πρόβλημα διαφορικών εξισώσεων, ονομάζεται
απόλυτη ευστάθεια.
Το παρόν σύγγραμμα δημιουργήθηκε στο πλαίσιο του Έργου ΚΑΛΛΙΠΟΣ+

Χρηματοδότης Υπουργείο Παιδείας και Θρησκευμάτων,
Προγράμματα ΠΔΕ, ΕΠΑ 2020-2025
Φορέας υλοποίησης ΕΛΚΕ ΕΜΠ
Φορέας λειτουργίας ΣΕΑΒ/Παράρτημα ΕΜΠ/Μονάδα Εκδόσεων
Διάρκεια 2ης Φάσης 2020-2023
Σκοπός Η δημιουργία ακαδημαϊκών ψηφιακών συγγραμμάτων
ανοικτής πρόσβασης (περισσότερων από 700)
• Προπτυχιακών και μεταπτυχιακών εγχειριδίων
• Μονογραφιών
• Μεταφράσεων ανοικτών textbooks
• Βιβλιογραφικών Οδηγών
Επιστημονικά Υπεύθυνος Νικόλαος Μήτρου, Καθηγητής ΣΗΜΜΥ ΕΜΠ
ISBN: 978-618-228-157-4 DOI: http://dx.doi.org/10.57713/kallipos-395
Το παρόν σύγγραμμα χρηματοδοτήθηκε από το Πρόγραμμα Δημοσίων Επενδύσεων του Υπουργείου Παιδείας
ΤΙΤΛΟΣ ΣΥΓΓΡΑΜΜΑΤΟΣ 1

43 CHATZIPANTELIDIS Numerical Analysis

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

43 CHATZIPANTELIDIS Numerical Analysis

Uploaded by

Copyright:

Available Formats

Μ.

Βιβλιογραφική αναφορά: Πλεξουσάκης Μ. & Χατζηπαντελίδης Π., (2023).

Πίνακας συντομεύσεων - ακρωνυμίων ix

I Αριθμητική Λύση Γραμμικών και μη Γραμμικών Συστημάτων 1

1.1 Διανυσματικοί χώροι . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Επίλυση Γραμμικών Συστημάτων 25

3 Επαναληπτικές Μέθοδοι για Γραμμικά Συστήματα 41

3.1 Γενική μέθοδος . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.4 Μέθοδοι κλίσεων . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

4.1 Το πρόβλημα ελαχίστων τετραγώνων . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

5.1 Εντοπισμός ιδιοτιμών. Η ανισότητα του Gershgorin . . . . . . . . . . . . . . . . . . . 73

6 Αριθμητική λύση μη γραμμικών εξισώσεων 89

6.1 Αριθμητική λύση μη γραμμικών εξισώσεων . . . . . . . . . . . . . . . . . . . . . . . . 89

7 Αριθμητική λύση μη γραμμικών συστημάτων 101

7.1 Αριθμητική λύση μη γραμμικών συστημάτων . . . . . . . . . . . . . . . . . . . . . . . 101

II Αριθμητική Λύση Συνήθων Διαφορικών Εξισώσεων 119

Μιχάλης Πλεξουσάκης, Παναγιώτης Χατζηπαντελίδης

8.1 Το Πρόβλημα Αρχικών Τιμών . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

9 Μονοβηματικές Μέθοδοι Ι. Μέθοδος Euler 129

9.1 Η μέθοδος Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129

10 Μονοβηματικές Μέθοδοι ΙΙ. Μέθοδοι Runge-Kutta 147

10.1 Μέθοδοι Runge-Kutta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

11 Πολυβηματικές Μέθοδοι 161

11.1 Γραμμικές πολυβηματικές μέθοδοι . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

12 Ευστάθεια Άκαμπτων Διαφορικών Εξισώσεων 183

12.1 Άκαμπτα προβλήματα και απόλυτη ευστάθεια . . . . . . . . . . . . . . . . . . . . . . . 184

III Παράρτημα 201

5.1 Οι δίσκοι του Gershgorin για τον Πίνακα 5.2 . . . . . . . . . . . . . . . . . . . . . . . 74

6.1 Ένα βήμα της μεθόδου Newton-Raphson για την f (x) = x2 − 3. . . . . . . . . . . . . 92

6.1 Η μέθοδος Newton-Raphson για τη λύση της εξίσωσης x2 − 3 = 0. Με έντονο χρώμα τα

BDF Backward Difference Formula

ΑΡΙΘΜΗΤΙΚΗ ΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΚΑΙ ΜΗ

ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΓΡΑΜΜΙΚΗΣ ΑΛΓΕΒΡΑΣ

Μιχάλης Πλεξουσάκης, Παναγιώτης Χατζηπαντελίδης

1.1 Διανυσματικοί χώροι

2. Για κάθε x ∈ X υπάρχει ένα στοιχείο −x ∈ X τέτοιο ώστε

3. Ισχύει η λεγόμενη προσεταιριστική ιδιότητα, δηλαδή για κάθε x, y, z ∈ X έχουμε

Πλεξουσάκης Μ. & Χατζηπαντελίδης Π. (2023). «Αριθμητική Ανάλυση» [Μεταπτυχιακό εγχειρίδιο].

4. Ισχύει η λεγόμενη αντιμεταθετική ιδιότητα, δηλαδή για κάθε x, y ∈ X έχουμε

5. Για κάθε α, β ∈ K και x ∈ X έχουμε

6. Υπάρχει στοιχείο 1 ∈ K τέτοιο ώστε για κάθε x ∈ X

7. Για κάθε α, β ∈ K και x ∈ X έχουμε

8. Για κάθε α ∈ K και x, y ∈ X έχουμε

(x + y)i = xi + yi , (αx)i = αxi , i = 1, . . . , n.

Θα λέμε ότι x ∈ V είναι γραμμικός συνδυασμός στοιχείων του S αν υπάρχουν αi ∈ K, i = 1, . . . , n, έτσι

Το σύνολο όλων των γραμμικών συνδυασμών στοιχείων του S θα συμβολίζεται με span(S).

συνεπάγεται ότι αi = 0, i = 1, . . . , n, διαφορετικά θα λέμε ότι είναι γραμμικά εξαρτημένα. Αν S ⊆ V είναι

1.2 Διανυσματικοί χώροι με εσωτερικό γινόμενο και νόρμα

Το εσωτερικό γινόμενο των x, y ∈ Cn είναι ο μιγαδικός αριθμός

είναι οι πιο χρήσιμες τόσο στη θεωρία, όσο και υπολογιστικά.

1.3 Γραμμικοί τελεστές και πίνακες

dim(V) = dim(N (T )) + dim(R(T ))

Ορισμός 1.15 (Ανάστροφος). Αν A ∈ Cm×n , ο πίνακας B ∈ Cn×m όπου bij = aji , i = 1, . . . , n,

Λήμμα 1.3. Αν P προβολή, τότε μπορούμε να δούμε ότι ισχύουν

Απόδειξη. Πράγματι, αν v ∈ R(P ), τότε υπάρχει x ∈ Cn τέτοιο ώστε P x = v, οπότε v = P x = P 2 x =

Λήμμα 1.4. Αν P προβολή και I − P η συμπληρωματική προβολή τότε ισχύουν τα ακόλουθα:

1. N (P ) = R(I − P ) και R(P ) = N (I − P ).

Απόδειξη. Πράγματι, αν v ∈ N (P ), τότε P v = 0 και άρα (I − P )v = v ∈ R(I − P ), δηλαδή

Θεώρημα 1.2. Μια προβολή P είναι ορθογώνια αν και μόνο αν P H = P .

Απόδειξη. Έστω P H = P . Τότε

Επομένως, επειδή N (P ) = R(I − P ), ισχύει N (P )⊥R(P ), δηλαδή η P είναι ορθογώνια.

P H = (QΣQH )H = QΣH QH = QΣQ = P.

ρ(A) = max{|λ|, λ ∈ σ(A)}. (1.13)

Παρατήρηση 1.4. Είναι