ESTADÍSTICA I OPTIMITZACIÓ [PRÀCTIQUES] ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]

04ANp01 Iterative method

Iterative method
In computational mathematics, an iterative method is a
mathematical procedure that uses an initial value to generate
a sequence of improving approximate solutions for a class of In contrast, direct methods attempt to solve the problem by
problems, in which the n-th approximation is derived from a finite sequence of operations. In the absence of rounding
the previous ones. errors, direct methods would deliver an exact solution (for
example, solving a linear system of equations Ax=b by
A specific implementation with termination criteria for a Gaussian elimination). Iterative methods are often the only
given iterative method like gradient descent, hill climbing, choice for nonlinear equations. However, iterative methods
Newton's method, or quasi-Newton methods like BFGS, is an are often useful even for linear problems involving many
algorithm of the iterative method. An iterative method is variables (sometimes on the order of millions), where direct
called convergent if the corresponding sequence converges methods would be prohibitively expensive (and in some cases
for given initial approximations. A mathematically rigorous impossible) even with the best available computing power.
convergence analysis of an iterative method is usually
performed; however, heuristic-based iterative methods are
also common.

El mètode iteratiu, en matemàtica computacional, Un método iterativo trata de resolver un problema

tracta de resoldre un problema (com una equació o un matemático (como una ecuación o un sistema de
sistema d'equacions) mitjançant aproximacions ecuaciones) mediante aproximaciones sucesivas a la
successives a la solució, tot començant des d'una solución, empezando desde una estimación inicial. Esta
estimació inicial. Aquesta aproximació contrasta amb aproximación contrasta con los métodos directos, que
els mètodes directes, que tracten de resoldre el tratan de resolver el problema de una sola vez (como
problema d'una sola vegada (com resoldre un sistema resolver un sistema de ecuaciones Ax=b encontrando la
d'equacions Ax=b trobant la inversa de la matriu A, per inversa de la matriz A). Los métodos iterativos son útiles
exemple amb l'algorisme QMR). Els mètodes iteratius para resolver problemas que involucran un número
són útils per resoldre problemes que involucren un grande de variables (a veces del orden de millones),
nombre gran de variables (de vegades de l'ordre de donde los métodos directos tendrían un coste
milions), on els mètodes directes tindrien una despesa prohibitivo incluso con la potencia del mejor
prohibitiva fins i tot amb la potència del millor computador disponible.
computador disponible.
Jamshīd al-Kāshī va utilitzar mètodes iteratius per Jamshīd al-Kāshī utilizó
calcular el sinus d'1° i π en The Treatise of Chord and métodos iterativos para
Sine to high precision. calcular el seno de 1° y
π en The Treatise of
Un mètode iteratiu Chord and Sine to high
primerenc per resoldre un precision.
sistema lineal va aparèixer
en una carta de Gauss a un
estudiant seu. Va proposar Probablemente, el
resoldre un sistema primer método
d'equacions 4 per 4 iterativo apareció en una carta de Gauss a un
resolent repetidament el estudiante. Proponía resolver un sistema 4 por 4 de
component en què el ecuaciones mediante la repetición de la solución del
residu era el més gran. componente donde el residuo era mayor.
 2
Grau en Enginyeria Mecànica Grado en Ingeniería Mecánica
1224 ESTADÍSTICA I OPTIMIZACIÓ. [PRÀCTIQUES] 1224 ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]
04ANp01 Iterative method

La teoria dels mètodes iteratius estacionaris es va La teoría de métodos estacionarios se estableció

establir sòlidament amb el treball de D.M. Young a sólidamente con el trabajo de D. M. Young, que empezó
partir de la dècada de 1950. El mètode del gradient en la década de 1950. El método del gradiente
conjugat també es va inventar en la dècada de 1950, conjugado se inventó en esa misma década, con
amb desenvolupaments independents de Cornelius desarrollos independientes de Cornelius Lanczos,
Lanczos, Magnus Hestenes i Eduard Stiefel, però la seva Magnus Hestenes y Eduard Stiefel, pero su naturaleza y
naturalesa i aplicabilitat van ser mal enteses en aquell aplicación se malentendieron en esa época. Solo en la
moment. Només en la dècada de 1970 es va adonar que década de 1970 se puso de manifiesto que estos
els mètodes basats en conjugacions funcionen molt bé métodos los cuales tienden a funcionan muy bien para
per a equacions diferencials parcials, especialment el resolver ecuaciones de derivadas parciales,
tipus el·líptic. especialmente del tipo elíptico.

Convergence speed for iterative methods Convergence with order

Convergence definitions q=1 is called linear convergence if μ∈(0,1), and the sequence
Suppose that the sequence (xk) converges to the number L. is said to converge Q-linearly to L.
The sequence is said to converge with order q to L, and with q=2 is called quadratic convergence.
a rate of convergence of μ, if q=3 is called cubic convergence.
|𝑥𝑥𝑘𝑘+1 − 𝐿𝐿| etc.
lim = 𝜇𝜇 > 0
𝑘𝑘→+∞ |𝑥𝑥𝑘𝑘 − 𝐿𝐿|𝒒𝒒 Order estimation
for some positive constant μ∈(0, ∞) if q>1, and μ∈(0,1) if q=1. A practical method to calculate the order of convergence for
It is not necessary, however, that q be an integer. For a sequence is to calculate the following sequence, which
example, the secant method, when converging to a regular, converges to
simple root, has an order of φ ≈ 1.618. 𝑥𝑥𝑘𝑘+1 − 𝒙𝒙𝒌𝒌
log � �
𝒙𝒙𝒌𝒌 − 𝑥𝑥𝑘𝑘−1
𝑞𝑞 ≈ 𝒙𝒙 − 𝑥𝑥𝑘𝑘−1
log � 𝒌𝒌 �
𝑥𝑥𝑘𝑘−1 − 𝑥𝑥𝑘𝑘−2
En càlcul numèric la velocitat amb la qual una successió En análisis numérico la velocidad con la cual una
convergeix al seu límit s'anomena ordre de sucesión converge a su límite es llamada orden de
convergència. Aquest concepte és, des del punt de vista convergencia. Este concepto es, desde el punto de vista
pràctic, molt important si necessitem treballar amb práctico, muy importante si necesitamos trabajar con
seqüències de successives aproximacions d'un mètode secuencias de sucesivas aproximaciones de un método
iteratiu. Fins i tot pot marcar la diferència entre iterativo. Incluso puede hacer la diferencia entre
necessitar deu o un milió d'iteracions. necesitar diez o un millón de iteraciones.
Definició d'ordre de convergència Definición de orden de convergencia
Suposem que la seqüència {xk} convergeix al número ξ. Supongamos que la secuencia {xk} converge al número ξ.
Diem que la successió convergeix amb ordre q a ξ, si Decimos que la sucesión converge con orden q a ξ, si
|𝑥𝑥𝑘𝑘+1 − 𝜉𝜉|
lim = 𝜇𝜇 > 0
𝑘𝑘→+∞ |𝑥𝑥𝑘𝑘 − 𝜉𝜉|𝒒𝒒
El número q s'anomena ordre de convergència. El número q es llamado orden de convergencia.
 3
Grau en Enginyeria Mecànica Grado en Ingeniería Mecánica
1224 ESTADÍSTICA I OPTIMIZACIÓ. [PRÀCTIQUES] 1224 ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]
04ANp01 Iterative method

Activity 1. Square root

0B

Christoph (o Christoff) Rudolff va ser un Christoph Rudolff (nacido en 1499 en Jawor,

matemàtic alemany del segle xvi, autor de la Región de Silesia; fallecido en 1545 en Viena)
primera àlgebra en alemany. fue el autor del primer libro alemán de
álgebra.
És autor d'una obra titulada Behend und Es autor de una obra titulada Behend und
hübsch Rechnung durch die kunstreichen hübsch Rechnung durch die kunstreichen
regeln Algebre so gemeinicklich die Coss regeln Algebre so gemeinicklich die Coss
genent werden, coneguda normalment amb genent werden, conocida normalmente con el
el nom de Coss. Aquest nom era usual en els nombre de Coss. Este nombre era usual en los
llibres d'àlgebra alemanys: Coss és una libros de álgebra alemanes: Coss es una
adaptació del mot italià cosa, amb el que els adaptación de la palabra italiana cosa, con el
matemàtics italians de l'època es referien a la que los matemáticos italianos de la época se
incògnita en una equació. referían a la incógnita en una ecuación.

L'obra es va publicar el 1525 a Estrasburg i el La obra se publicó el 1525 en Estrasburgo y el

1553 se'n va publicar una reedició totalment 1553 se publicó una reedición totalmente
revisada per Michael Stifel. revisada por Michael Stifel.

En aquest llibre s'utilitzen per primer cop els En este libro se utilizan por primera vez los
símbols + i − per a representar les operacions símbolos + y − para representar las
de suma i resta. També s'introdueix per operaciones de suma y resto. También se
primera vegada el símbol √ per a referir-se introduce por primera vez el símbolo √ para
a l'arrel quadrada. referirse en la raíz cuadrada.
Square root of x formula. Symbol of mathematics.
David Vignoni (original icon); Flamurai (SVG convertion); bayo (color) - This file was derived from: Nuvola apps edu mathematics.png
Nuvola apps edu mathematics-p.svg GPL File:Nuvola apps edu mathematics blue-p.svg Uploaded: 29 April 2018
 4
Grau en Enginyeria Mecànica Grado en Ingeniería Mecánica
1224 ESTADÍSTICA I OPTIMIZACIÓ. [PRÀCTIQUES] 1224 ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]
04ANp01 Iterative method

Identitat exponencial Identidad exponencial

Les calculadores de butxaca típicament implementen Las calculadoras de bolsillo típicamente implementan
bones rutines per a calcular la funció exponencial i el buenas rutinas para calcular la función exponencial y el
logaritme natural; llavors calculen l'arrel quadrada de x logaritmo natural; entonces calculan la raíz cuadrada de
utilitzant la identitat x utilizando la identidad
 5
Grau en Enginyeria Mecànica Grado en Ingeniería Mecánica
1224 ESTADÍSTICA I OPTIMIZACIÓ. [PRÀCTIQUES] 1224 ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]
04ANp01 Iterative method

Algorisme babilònic Algoritmo babilónico

L'algorisme babilònic aproxima un rectangle a quadrat. El algoritmo babilónico aproxima un rectángulo a
L'algorisme babilònic se centra en el fet que cada costat cuadrado.
d'un quadrat és l'arrel quadrada de l'àrea. Va ser usat El algoritmo babilónico se centra en el hecho de que
durant molts anys per a calcular arrels quadrades a mà cada lado de un cuadrado es la raíz cuadrada del área.
a causa de la seua gran eficàcia i rapidesa. Per a calcular Fue usado durante muchos años para calcular raíces
una arrel, dibuixe un rectangle l'àrea del qual siga el cuadradas a mano debido a su gran eficacia y rapidez.
número al qual se li busca arrel i després aproxime la Para calcular una raíz, dibuje un rectángulo cuya área
base i l'altura del rectangle fins a formar o almenys sea el número al que se le busca raíz y luego aproxime
aproximar un quadrat. la base y la altura del rectángulo hasta formar o por lo
menos aproximar un cuadrado.

Mètode d'Heró Método de Herón

El primer algorisme explícit per aproximar El primer algoritmo explícito para aproximar
{sqrt {S}} és conegut com el mètode d'Heró, en honor al {sqrt {S}} se conoce como el método de Herón, en honor
matemàtic grec del segle I Heró d'Alexandria que va al matemático griego del siglo I Herón de Alejandría,
descriure el mètode en la seva obra Metrica de l'any 60 quien describió el método en su obra Métrica del año
dC. Aquest mètode també s'anomena mètode 60 d.C. Este método también se llama método
babilònic. babilónico.
Donat un nombre real positiu S, sigui x0 > 0 qualsevol Dado un número real positivo S, sea x0 > 0 cualquier
estimació inicial positiva. El mètode d'Heró consisteix en estimación inicial positiva. El método de Heron consiste
la computació iterativa en la computación iterativa
x_{n+1}={frac {1}{2}}left(x_{n}+{frac {S}{x_{n}}}right), x_{n+1}={frac {1}{2}}left(x_{n}+{frac {S}{x_{n}}}right),
fins a aconseguir la precisió desitjada. hasta que se logre la precisión deseada.
La seqüència (x_{n}) definida per aquesta equació La secuencia (x_{n}) definida por esta ecuación
convergeix a lim _{nto infty }x_{n}={sqrt {S}}} converge a lim _{nto infty }x_{n}={sqrt {S}}}
[question 01]
calculate √125348 ‖𝑥𝑥𝑛𝑛−1 − 𝑥𝑥𝑛𝑛 ‖ < 𝜀𝜀
amb deu xifres significatives Con diez cifras significativas
Error = 10^{-7} x0 := 600

[question 02]
calculate �10,5 ‖𝑥𝑥𝑛𝑛−1 − 𝑥𝑥𝑛𝑛 ‖ < 𝜀𝜀
amb deu xifres significatives Con diez cifras significativas
Error = 10^{} x0 := 2
 6
Grau en Enginyeria Mecànica Grado en Ingeniería Mecánica
1224 ESTADÍSTICA I OPTIMIZACIÓ. [PRÀCTIQUES] 1224 ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]
04ANp01 Iterative method

The Bakhshali manuscript is an ancient Indian mathematical

text written on birch bark that was found in 1881 in the village
of Bakhshali, Mardan (near Peshawar in present-day Pakistan,
historical Gandhara). It is perhaps "the oldest extant
manuscript in Indian mathematics".For some portions a
carbon-date was proposed of AD 224–383 while for other
portions a carbon-date as late as AD 885–993 in a recent
study, but the dating has been criticised by specialists on
methodological grounds (Plofker et al. 2017 and Houben
2018 §3). The manuscript contains the earliest known Indian
use of a zero symbol. It is written in a form of literary Sanskrit By National Geographic - National Geographic [1]. Non creative image of a
influenced by contemporary dialects. 2D artifact from the 3-4th century CE., Public Domain,
https://commons.wikimedia.org/w/index.php?curid=73315787
El Manuscrit Bakhshali és un manuscrit matemàtic escrit El Manuscrito de Bajshali es un antiguo texto
sobre escorça de bedoll. Es va trobar el 1881 a prop de matemático indio escrito en corteza de abedul que se
la localitat de Bakhshali en el que llavors era el Província encontró en 1881 en la aldea de Bajshali, distrito de
fronterera del Nord-Oest de l'Índia britànica (en Mardan (cerca de Peshawar en el actual Pakistán). Es
l'actualitat Pakistan). Hi manca la major part del quizás 'el manuscrito más antiguo existente en
manuscrit, només han quedat setanta fulles d'escorça matemática india.
de bedoll.
El manuscrit conté el registre indi més antic conegut del El manuscrito contiene el registro indio más antiguo
número zero. Està escrit en sànscrit amb una influència conocido del número cero. Está escrito en sánscrito con
significativa de dialectes locals. una influencia significativa de dialectos locales.

Bakhshali method
Aquest mètode per trobar una aproximació a una arrel Este método para encontrar una aproximación a una
quadrada va ser descrit en un antic manuscrit indi, raíz cuadrada fue descrito en un antiguo manuscrito
anomenat manuscrit Bakhshali. indio, llamado el manuscrito Bakhshali.
La presentació original, utilitzant la notació moderna, és La presentación original, utilizando notación moderna,
la següent: Per calcular √𝑆𝑆 es la siguiente: Para calcular √𝑆𝑆
𝑆𝑆 − 𝑥𝑥𝑛𝑛 2 𝑎𝑎𝑛𝑛 2
𝑎𝑎𝑛𝑛 = → 𝑥𝑥𝑛𝑛+1 = (𝑥𝑥𝑛𝑛 + 𝑎𝑎𝑛𝑛 ) −
2𝑥𝑥𝑛𝑛 2(𝑥𝑥𝑛𝑛 + 𝑎𝑎𝑛𝑛 )

𝑆𝑆 − 𝑥𝑥𝑛𝑛 2 𝑎𝑎𝑛𝑛 2
𝑎𝑎𝑛𝑛 = 𝑏𝑏𝑛𝑛 = 𝑥𝑥𝑛𝑛 + 𝑎𝑎𝑛𝑛 → 𝑥𝑥𝑛𝑛+1 = 𝑏𝑏𝑛𝑛 −
2𝑥𝑥𝑛𝑛 2𝑏𝑏𝑛𝑛
[question 03]
calculate √125348 ‖𝑥𝑥𝑛𝑛−1 − 𝑥𝑥𝑛𝑛 ‖ < 𝜀𝜀
amb deu xifres significatives Con diez cifras significativas
Error = 10^{-7} x0 := 600

[question 04]
calculate �10,5 ‖𝑥𝑥𝑛𝑛−1 − 𝑥𝑥𝑛𝑛 ‖ < 𝜀𝜀
amb deu xifres significatives Con diez cifras significativas
Error = 10^{} x0 := 2
 7
Grau en Enginyeria Mecànica Grado en Ingeniería Mecánica
1224 ESTADÍSTICA I OPTIMIZACIÓ. [PRÀCTIQUES] 1224 ESTADÍSTICA Y OPTIMIZACIÓN [PRÁCTICAS]
04ANp01 Iterative method

Newton's method
El mètode de Newton és un mètode obert, en el sentit El método de Newton es un método abierto, en el
que no està garantida la seua convergència global. sentido de que no está garantizada su convergencia
L'única manera d'aconseguir la convergència és global. La única manera de alcanzar la convergencia es
seleccionar un valor inicial prou pròxim a l'arrel seleccionar un valor inicial lo suficientemente cercano a
buscada. la raíz buscada.
Suposem que la funció f, és contínuament diferenciable Sea f:[a,b]  R una función derivable definida en el
dues vegades a l'interval [a,b]. I existeix un zero de la intervalo real [a,b].
funció en aquest interval.
Direm que α∈[a,b] és la solució si f(α)=0. Diremos que α∈[a,b] es la solución si f(α)=0.
Fent ús del mètode de Newton per resoldre S-x^{2}=0 Usando el método de Newton para resolver S-x^{2}=0.
√𝑆𝑆 = 𝑥𝑥 𝑆𝑆 − 𝑥𝑥 2 = 0
𝑓𝑓(𝑥𝑥 ) = 𝑆𝑆 − 𝑥𝑥 2 𝑓𝑓′(𝑥𝑥 ) = −2𝑥𝑥

𝑆𝑆 − (𝑥𝑥𝑛𝑛−1 )2
𝑥𝑥𝑛𝑛 = 𝑥𝑥𝑛𝑛−1 −
−2𝑥𝑥𝑛𝑛−1
[question 05]
calculate √125348 ‖𝑥𝑥𝑛𝑛−1 − 𝑥𝑥𝑛𝑛 ‖ < 𝜀𝜀
amb deu xifres significatives Con diez cifras significativas
Error = 10^{-7} x0 := 600

[question 06]
calculate �10,5 ‖𝑥𝑥𝑛𝑛−1 − 𝑥𝑥𝑛𝑛 ‖ < 𝜀𝜀
amb deu xifres significatives Con diez cifras significativas
Error = 10^{} x0 := 2

Convergence speed for iterative methods

Utilitza el mètode pràctic per a calcular l'ordre de Utiliza el método práctico para calcular el orden de
convergència del mètode iteratiu. convergencia del método iterativo.
[question 07]
calculate √125348 Babylonian method
Quina estimació de l’ordre de convergència del mètode ¿Qué estimación del orden de convergencia del método
fem? haremos?
n=5

[question 08]
calculate �10,5 Bakhshali method
Quina estimació de l’ordre de convergència del mètode ¿Qué estimación del orden de convergencia del método
fem? haremos?
n=3

[question 09]
calculate �10,5 Newton's method
Quina estimació de l’ordre de convergència del mètode ¿Qué estimación del orden de convergencia del método
fem? haremos?
n=5