H . M .

Antia

Numerical Methods for
Scientists and Engineers
Second edition

Birkhauser Verlag
Basel - Boston - Berlin

. . . . . . . .. . . . . . . . . . . . . . . . .. .. . . .. ... . . 7 Bibliography .. . . . . . . . . . . . . . .. . .. .. . . . . . .. . . . . .. . . . . . . . . 81 3. . .. . . . . . . . . . . . . . . . . .. . . . . .. . . . 14 Exercises . . . . . . .. . . . . . . . . . . CONTENTS Preface . . . .. . .3 Error Analysis . . . . . . . . . . . . . . . .. . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .1 introduction . 90 3. . . . . . . . .. . . . . . . . . . . . . . . . ... . . .. . . . . . . . . 53 Exercises . .. . . . . . . . . . . . . . . . . . . . . . 64 3. .. . . . . . . . . . . . . . . .. . . . . . . . . . . 120 .2 Gaussian Elimination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .1 Number Representation .. . . . . . . . . . .. . . . . . . . . . . . . 45 Bibliography . . . . . . . . . . . . ... . .. . . . . . .7 Iterative Methods . . . . . . . . . . .. . . 15 2 Roundoff Error 17 2. . . . 35 2. . . . . . . . . . . . .. . . . . . . . .. .. . . . . . . . . . . . . . . . . . . . .. . . . . .. . . . . . .. . . . . . . . . . . . . . . . . ... . . .. . . . . . . . . . . . . . . . .. . xi Notation . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . .. .2 Truncation Error . .. . . . . ... . .3 Programming . . . . . . . . . . . . . . . . . . . .1 Polynomial Interpolation . . . . . 100 Bibliography . . . .. . . . . . . . . . .. . . . . . . . . . . . .. . .. . . . . . . . . . .. . .... . . . . . . . . . . . . . . . . . . . . . . . .. . . .. . . . 2 1. . . . . . . . . . . . .. . . . . .2 Roundoff Error . . . . . . . . . . .. . . . . . . . . . 104 Exercises . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . ... . . . . . .. . . . . . . . . . . . . . .. . . .. . . . . . . . .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . 4 1 . . . . . . . . 54 3 Linear Algebraic Equations 63 3... . . . . . . . . 67 3.. . . . . . . . . . . . . . . . . .. . . 17 2. . . . . . . . . . . . . . . . . . . . xvi 1 Introduction 1 1. .. . .. . . . . .. . . . . . . . . . . . .. . . . .. . . . .. . . . . .. . . . . . . . . . .4 Error Analysis . . . . . . . . . .4 Condition and Stability . . . . . . . . .. . . . . . . . xv List of Computer Programs . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . .. . . . . . . . . .. . . .. . . . . . . . . . . . .. . . . .6 Singular Value Decomposition .. . . . . . . . . . . .. . .. . . . . . . . . . . . . . . . . . . 91 3. . . .. . . .3 Direct Triangular Decomposition ... . .... . .. .2 Divided Difference Interpolation Formula . . .. . . . . . . . . . . . .. . . . . .5 Matrix Inversion . . . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . .. . 105 4 Interpolation 114 4. . . . . . . . .. .. . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . ... . .. . . . . . . . . . . . 115 4. . . . . . . . . .. . . . . . . . . .1 trrors in Numerical Computation . . . .. . . . 25 2 . .. . . . . . . . . . . 74 3. .. . . . . . .. .. . . . . .. . . .. . . . . . . . . . . . .. . . . . . . . . . .. . .. . . .. . . . . .

. . . . . . . . . . . . . . .. . . . .. . . . . . . . . . . . . ... . . . . . . . . . .. . . . . . . . . . . . . . . .5 Newton-Raphson Method . . . . . ..3 Gaussian Quadrature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . 284 7. . 242 6.. .. . . . . . . . . . . . . . . . . . . . .3 Method of False Position .2 Extrapolation Methods . . .. .. . . . . . . . . . . .. ... .. . . . . . . . . . . . . . . .. .. . . .. . . .. . . . . . . . . . 209 6. . .. . . . . . . . . . . . . . . 1..8 Spline Interpolation in Two or More Dimensions .. ... 253 6. .. Differentiation of Interpolating Polynomials . . . . . . . . . . . . . . . . . 282 7. . . . . . . . . . . . . . . . . . .. .. . . . . .. 265 7 Nonlinear Algebraic Equations 277 7. .. . . .. . . . . . . . . .. . . . .. ..1. . . . . . .. . . . . .6 Rational Function Interpolation . . . .. . . . . . . . . . . .. . . . . . . . .4 Cubic Spline Interpolation . . . . . .. . . . . . . . . 176 6. . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . .. . . . 153 5 Differentiation 160 5. . . . . . . . . . .. . .. . . . . . .. . . . . . . . . .. .'. . . . . .. . . . .. . . . . . . . . . . . . . 137 4. . . . . .. . . . . . . . 148 4 . . . . . . . . . . . . . . . ... . . . . . 297 7. .1 Newton-Cotes Quadrature Formulas . . . . . .. . . .7 Complex Roots . . . . . . . .. . . . . . . . . . .. . . . . . . . . . .6 Improper Integrals . . . . . . . .4 Roundoff Error . . . . . . . . .: . ... . . . .. . . . . . 172 Exercises . . . . . . . . . . . . . . . . . . 305 7 . . .. . . . . . . . . .. . . . . .3 Extrapolation Method .. . . . . . . . .13 Equidistributed Sequences . . 153 Exercises . .. . 150 Bibliography . . . . . . . .. . . . . . . . .. . . . . . . . 186 6. . . . . ... . . . . . . . .. . . .. . .. .. . . . . . . .. . . . . .. . ... . . . . . . . . . . . . . . .. . . . .. . .... . .. . . . . . . ... .. . . . .. . . . . . . . . . . . . ... . .. . . . .. . 201 6. . . . . . .. . . . . . . . . . . . 224 6. . . . . . .. .. . . . . . . . . . . . . . . . . . . . . .9 Summation . . . . . . . . . . .9 Quadrature Based Method . 173 6 Integration 175 6. . ... . . . . . ... . . . .4 Secant Method . . . . . . ... . . . .. . . . . . . . . . . . . . . . . . .10 Multiple Integrals . . . . ... . . . . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .. 168 Bibliography . . . . . . .. . . . . . . . 278 7.8 Muller's Method . . . . . . ... . . . . ... . . . . .. . . . .5 B-splines . . .. . . . . . .. . . . . . 164 5 . . . . . .. . . . .. . . . . . . . . . .2 Fixed-Point Iteration . .7 Interpolation in Two or More Dimensions . . . . . . . . .3 Hermite Interpolation . . . . . . . . . . . . . . . . . . . . . . . . .6 . 142 4. . . . . . . 293 7. . . . . . .. . . . . . . . . . . .7 Integration over Infinite Interval . . . . . . . . . . . . . . . . . . . . . . . . . . 220 6. . . . . .. . . 289 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 Monte Carlo Method . . . 160 5. . .5 Weight Function . . . . .. . . .. . . . 309 . . . .. . .2 Method of Undetermined Coefficients . . . . . . . . . . . . . . . . . .. . . . . . 302 7 . . . . . . . . .. . . . . 259 Bibliography . . . .. . . . .8 Automatic Integration . . . . . . . . . . . . . . . . . . .. ..11 Rules Exact for Monomials . . . .. . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . 264 Exercises . . . . . . . . . . .. . . . . . . . . .vi Contents 4. . . . . . . . . . .. . .. . . 132 4. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. .. .. . . . . .. . . .. . . .. . . . . . . .. . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . .. 235 6. . . . . . . . . . . . . . . . . . . . . . . . .. . . .. . 130 4. .. . . .'. . . . . . . . . . . . .. . . . .. .. . . . . .. . . .. . . . . . . . . . . . . .. . . . 193 6. . . . . .. . .Brent's Method .. . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . .. . . . . . . . .. . . . . . . . . ... . . . . . . . . . .. . . . . . . . . .. . . . . . . . . .. .. . . . . . .. . . . . . . . . . . . . . . . . . . .1 Real Roots . . . . . . . .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .98 6 .. . . . . . . . . . . 247 6 . . . .. . . . . . .. . .

Contents vii 7. . . . . . 373 8. . . . . . .. .. . . . . . . . .. 463 9 . . 507 . . . . . . . . . . . . . . . . . 472 9. .. . . . . . . 443 9. .. . . 313 7. . . . 457 9. . . . . . . . . . . . . . . . . 356 8. . . . . . . 454 9. . . . ... . . . . . . . .. . . . . . . . . . . .. . . . . . . . . . . . . . . . 415 9. . . . . . . . . .. . . . . . . . . . . . . ... . .. . . . . . . . . . . . . . . . . . . . . . . . . . ...12 Roundoff Error . . . . . . . . . . . . . . . . . . . .. . . . . . . . . .. 335 7. . .. . .. -approximations . .. . . . . . . . . . ..7 Broyden's Method . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . 436 9. . . . . . . . .. . . . ... . . . ..10 Real Roots of Polynomials . . . . .. . . . . . . . . . . .. . . . . ..10 Chebyshev Expansions . . . .. . . . . . . .8 Inversion of Laplace Transform . . . . . . . . . . . .. .0 Algebraic Eigenvalue Problem 502 10. .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . .6 Fast Fourier Transform . . . . . . . . . . .. .. . . . . . . . . . . . . . . . . . . . .. . . . .14 Ill-conditioning . . . . . . . . . . . . . . . .. . . . . . . 398 Bibliography . . . ..4 Least Squares Approximation. .. . . . 330 7. . . . . . . . . . . . .11 Minimax Approximations . . . 481 9. 343 8 Optimisation 354 8. . 490 ]. . . . . . . . .16 Newton's Method . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . .. . .. . . . . .. . . 369 8.. . . . . . . . . . . .. . . . . . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. .. . . . . . . . . . . . . ... . . .. . 438 9. . . . . .. . .2 Brent's Method . . . . . .. . . . . . . 404 9 Functional Approximations 499 9. . . . . . . . . 342 Exercises . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . 403 Exercises .. .. .. . . . . . . . . . . . . . . . . . . . . . 503 10. . . . . . . 316 7.. .. . . . . .4 Minimisation in Several Dimensions . . .. . . . . . . .. . . . . . . . . . . . . . . . . .7. . . . .2 Power Method . . . . .. . . .. . . . . . . . . . .. . . . 340 Bibliography . . . . . .. . .. . . . . . . . . . . . . . . . . . . . . . .. . . . . ..5 Quasi-Newton Methods . . . . . . ... . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . ... . . . . . . . . . . . . .. . . . . . . .. . . . . .7.. . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . ... . . .. . . . . . . . .. . . . . . . . .. . . . . . . . . . . . .. . . . . . . . .1 Golden Section Search .7 Linear Programming . . . . . . .. . .. . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .. . . 320 7. . . . .. . . . . . . .. .. . . . .. . . .13 L. . . . 486 Bibliography .. . . . . .3 Nonlinear Least Squares . . . .. . . 365 8.. . . . .. . . . . .. . . . . . . . . . in Two Dimensions . . . . . . .. . . . . 488 Exercises . . . .11 Laguerre's Method . . . .3 Methods Using Derivative . . . . . . ... . . . . . . . . . . . . . . . . .. . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . . . . . . . . . . . .13 Criterion for Acceptance of a Root . .. . 362 8.. . . . . . .. . . . . . . . . . . . . . . . .. .. . . . . . . . ... . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .5 System of Nonlinear Equations . . . . . . . . . . . 452 9 . . . . . . . . . . . . .9 Pad6 Approximations . . . . . . . . . . . . . . . . .. . 431 9. . . . . . . . . . . . . . . . . .. . . . . . . . . .6 Direction Set Methods . . . .. . . 410 9. . . . . . .1 Choice of Norm and Model . . . . . .7 FFT in Two or More Dimensions . . . . . . . .1 Introduction . . . . .. . . . 326 7. . . .. . .. . . . .. .. . . . . . . . . . . . . . . . . . . . . .. . .2 Linear Least Squares .5 Discrete Fourier Transform . . . . . . . . . . 387 8. . . . . . . . . . . . .. . . .. . . . . . . . . . . . .8 Simulated Annealing . . . . . . . . . . .. . . . .. . . . .. . .. . . . . . .. 380 8. . . .. . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12 Discrete Minimax Approximations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. 323 7 . . . .

. .. . . . . . . . ... . . . .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 620 11 . . 527 10. .4 Runge-Kutta Methods . . . .6 Stiff Differential Equations . . . . . . . . . . . . . . . . . . . .4 Eigenvalue Problem ... . . .5 Extrapolation Methods . . ... .. . 605 11. . . . . . . .. . . . . . . . . . . . . . . . . . 661 12. . . . . . . .. . . . . . . . . . . .. . . . .. . . . . . . . . . . . . . .. . ..8 Finite Difference Methods . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . .. . . . . .. . . .1 Introduction . . .. . . . . . . . . . .. . . . . .. . 520 10. . . . . . . . . . . . . . . . . . . . . . . 676 13 Partial Differential Equations 682 13. . . . . . . . . . .2 Fredholm Equations of the Second Kind . . .10 Expansion Methods . . . . . 708 . . . . . . .. . . .. . . . .. . . . . . . . . . . . . . . . . . . . . . . . . .. . .. . .. . . . . . . . 628 12 Integral Equations 638 12. . . . . . . . . . . . . .9 Eigenvalue Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ..5 Wave Equation in Two Dimensions . . . . . . .. . . . . . . . . . . . . .. . . . . .. . . .. . . . . .. . . . . . . . . . . . . .. .. . .2 Diffusion Equation . 704 13 . . . .4 Parabolic Equations in Several Space Variables . . . . . . . . . . . 598 11. . . . . . . . . . . . . .. . . . . . . . . .. . . . . . . . . . .viii Contents 10 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . .. . . . . . . .1 Introduction . . . . .. . . . . 639 12. . . . . .. .. . . . . . .5 The QL Algorithm . . . . . . . . . . . 531 10. . . . . .. 627 Exercises . . . . . .. . . . .. 649 12. . . . . . . . . . .. . . . . . . . . . . . . . 675 Exercises . . . . . . .3 Predictor-Corrector Methods . . . . . . . . . . . . . . .. . . . . .in Two Dimensions . . .. . . . . . . .. . .1 Initial Value Problem . . . . . . . . . . . . . . . . . . . . . . . . ... . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . .7 Boundaxy Value Problem . . . . . . . . . . . .. . . . . . . . . . . . . 545 Exercises . . . . . . . .. . . . . . . . .3 Expansion Methods . .. .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . .. . .. 535 10. . . . . . . . . . . . . .. . .. . .. . . . . . . . . . . . . . . . . . .6 Inverse Problems . . .. . . . . 589 11 . . .. . . . . . .. . . . . . . . 687 13 . . . . . . . . .3 General Parabolic Equation in Two Dimensions . . .. .7 Volterra Equations of the Second Kind . . . . . . . .. . . . . .. . . . . . . . . . .. . . . . . . . . 623 Bibliography . . . . . . . . . . . . . . . .. . . . . . . . 683 13. . . . .2 Stability o£ Numerical Integration Methods . .. . .. . . . . . . . . . . . . . . . . . . 11 . . . . . . .. . 587 . . . . . .. . .. . ... .. . .. . . . . .. .. . . 545 11 Ordinary Differential Equations 552 11 . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . .6 Reduction of a Matrix to Hessenberg Form .. .. . . . . . . . . . . . . . . 657 12. . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . .9 Roundoff Errors . . . .. . . . . . . .. . .. . . .11 Some Special Techniques .. . . .. . . . . . . . 513 10. .. . .. .8 QR Algorithm for a Real Hessenberg Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 565 11. . . . . . . . . . . . . . . . . . . . . . . .. ... . . . .7 Lanczos Method . . . . . . . . . . . . .. . . 553 11. . . . . . . . . . . . . . . . . . ... . . . . . . . .4 Eigenvalues of a Real Symmetric Matrix . . .8 Volterra Equations of the First Kind . . . : . . . . . . . 672 Bibliography .. . . . . . . . . . . . .. . . . . . . . .. .. 537 10.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 697 13. . . . . . . . . . . . . . 642 12. . . . . . . . . . . . . . . 613 11.. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .. . . 557 11. . 666 12. . .. . . . . . . .. . . 543 Bibliography . . . . . . . . . . . . . .. . . . . . . . . . 653 12. . . . . . . . . . . . . .. . . . . . . . . . . . .. . . 579 11 . . . . . . . . . . . . . . . . . . . . . . . . .3 Inverse Iteration . . . . . . . .5 Fredholm Equations of the First Kind . . . . . .. . . . . . . . . ... . . . . . . . . . . . . . . . . . . .

. . 763 . . .. . . . .. . . . . .. 758 A. .. . . . . . .. . .. . . . . . . . . . . . . . . .. .. . . . . . . . . . .. . . . . . . . . . . . . . . . .. .. .. . . . . . . . .. .. . . . . . . . .. . . .. . . . . . . . . . . . . . . . . . . . 802 Bibliography ... . . . . . . . . . . . . . . . 769 A. . . . . . . .. . .. ... . . . . . . . .. . . . . . . .11 Finite Element Methods . . . . ... .. . . . . . . . . . . ... . . . . . . . .. . . . . . .. . . . . . . . . . . . . 720 13. . . . . . .. .. .. . . .11 Ordinary Differential Equations . ... . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .. . . . ... 805 . . . . . .. . . .. . . . . .. . ... . . . .. . .. ... 782 A... . . . .7 Nonlinear Algebraic Equations . 752 A. . . . . . . . .. . . . .. . .. . . . . . ..12 Integral Equations . .. .. . .. . . . . . . .. . . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . .. . . . . . . . . . . . . . . . . . . . . . Contents ix 13. . . . . . . . .3 Linear Algebraic Equations . . . . . .. . .. . . . . ... . . .. .. .. . . . . . . . . . . . .. . . . . . . . .. .. . . .6 Integration .. . . . . . . . . 714 13. . . .6 'General Hyperbolic Equations . . . . . 792 A. . . .. . . . . .. . . . . .. . . .. .. . . .. . . . . . . . . . 731 1. . . . . . .. . . . . ... . . . . . .1 Introduction .. . . . . . . . . .. . . . . . 751 A.. .. . . . . .. . . . . . . .. . . . . .. . .. .. . . . . . . . . . .9 Alternating Direction Method .. . . . . . . . . . .. . . . .8 Optimisation . ... . . . .. . . 734 13. . . . . . . . . .... . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . 727 13. . . . . . 800 A. .. . . .. . .. . . .. . . . . . . . . . . . .. . . . . . . . ... .. . . . . . ..5 Differentiation . . . . .. .. . . . . . . .10 Algebraic Eigenvalue Problem . . . . . . . . . . . . .. .. . . . . . . . . . . . . ... A.. . . . . . .. . . . . .. . . . . . . 743 Appendix A: Answers and Hints 751 A. . . . . . . . ... . . . . . . . . . . . .. . . .. . . . . ... . . . .. . . . . . . . .. . . . . . . . . . . . . . . . . .'. . .4 Interpolation . 742 Exercises . . . .. . . . . . .. . .. . 775 A. 767 A.. .3 . . . . . . . .. . . . . ..7 Elliptic Equations .. . . 784 A.. . . . . . . . . . . . . . . .. . . . .. . . . . .. . . . .10 Fourier Transform Method . . .2 Roundoff Error . . . . . ... . . . . . . . . . . .. ..8 Successive Over-Relaxation Method ... . . . . . . . . . . .9 Functional Approximations . . .. . 796 A. .. . . . . 736 Bibliography . . . . . . . . . . . . . . .. . . .13 Partial Differential Equations . . . . . . . . . .. . . . . . . . . .... . . .