Professional Documents
Culture Documents
Ch4 Curve Fitting
Ch4 Curve Fitting
บทที่ 4
Curve Fitting
• ทบทวนพื้นฐานทางดานสถิติ
- คาเฉลี่ย (Arithmetic Mean) => คาที่อยูกึ่งกลางของชุดขอมูล
n
= ∑y i
y i =1
n
n −1
n
โดย St = ∑ (y
i =1
i − y )2 => Sum of Squares of Residuals เทียบกับคาเฉลี่ย
4-1
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
o มาจากความจริงที่วา ∑ ( y − y ) = 0 i
i =1
ดังนั้น ถารูคาของขอมูล n-1 ตัวและรูคาเฉลี่ย ก็จะรูคาของขอมูลอีกตัวหนึ่งที่เหลือโดย
อัตโนมัติ ≡ มีอิสระในการกําหนดคาของขอมูล n-1 ตัว
o การกระจายตัวของขอมูล 1 จุด ไมมีความหมาย ≡ ตัวหาร n-1 เปนศูนยไมมีความหมาย
- Variance
sy 2 = St
n −1
Least-Squares Regression
• มี 3 วิธีที่จะกลาวถึง
- Linear Regression
- Polynomial Regression
- Multiple Linear Regression
Linear Regression
• ใชเสนตรงเปนตัวแทนของชุดขอมูล
=> x = ตัวแปรตน รูคาแนนอน เพราะเปนคาที่กําหนดเอง
=> y = ตัวแปรตาม คาอาจไมแนนอน มักเปนคาที่ไดจากการวัด
y
Error
ei = yi – a0 – a1xi
ขอมูลจริง => y
เสนตัวแทน => yrep = a0 + a1x ซึ่ง a0 และ a1 เปนตัวแปรที่ตองการหาคา
คาความผิดพลาด => e = y – a0 – a1x
4-2
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
x
2) ถาเลือกที่จะลด Σ|ei| = Σ|(yi – a0 – a1xi)| ใหนอยที่สุด y
=> มีโอกาสที่จะไดเสนตัวแทนหลายเสน ที่มีผลรวมของ
คาสัมบูรณของ Error เทากัน
กระจาย Σ เขาไป
Σyi – Σa0 – Σa1xi = 0
Σxiyi – Σa0xi – Σa1xi2 = 0
จัดรูประบบสมการ จะไดระบบสมการเชิงเสนซึ่งมีชื่อเรียกเฉพาะวา Normal Equations
na0 + (Σxi)a1 = Σyi
2
(Σxi)a0 + (Σxi )a1 = Σxiyi
แกระบบสมการ จะได
a1 = n ∑ xi y i − ∑ xi ∑ y i => ใช Cramer’s Rule
n ∑ xi2 − (∑ xi )2
a0 = y − a1x
ดังนั้น จะไดเสนตรงที่เปนตัวแทนที่ดีที่สุดของชุดขอมูล
yrep = a0 + a1x
4-3
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
n−2
St
=> ใชแสดงวา การทํา Regression ปรับปรุงคาตัวแทนไดดีขึ้นมากนอยเพียงใด
ถาทําแลวดีขึ้น Sr < St
ถาทําแลวได Perfect Fit Sr = 0 และ R2 = 1
ถาทําแลวไมปรับปรุงเลย Sr = St และ R2 = 0
=> คา R มีชื่อเรียกวา Correlation Coefficient
- ขอควรระวัง => ขอมูลบางชุดอาจมีตัวแทนที่ไมใชเสนตรง แตเมื่อทํา Linear Regression แลว อาจ
ไดคา R2 ใกลเคียง 1 ได สิ่งที่ควรทําคือควร Plot กราฟดูดวย
- วิธีหนึ่งที่ใชตรวจสอบวา เสนตัวแทนที่ไดจากการทํา Regression เปนตัวแทนที่ดีหรือไม คือ การ
Plot กราฟระหวาง yi และ yrep,i จะตองไดเสนตรงที่ Slope = 1 และ Intercept = 0
yi
yrep,i
Slope = b
Intercept = ln a
x x
y = a⋅ebx ln y = ln a + b⋅x
Y = A0 + A1X
4-4
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
- Power
y log y
Slope = b
Intercept = log a
x log x
y = a ⋅ xb log y = log a + b⋅log x
Y = A0 + A1X
- Saturation-Growth-Rate
y 1/y
Slope = b/a
Intercept = 1/a
x 1/x
x
y =a 1 1 b 1
= + ⋅
b+x y a a x
Y = A0 + A1 X
Polynomial Regression
• ใชสมการ Polynomial เปนตัวแทนของชุดขอมูล
=> x = ตัวแปรตน รูคาแนนอน เพราะเปนคาที่กําหนดเอง
=> y = ตัวแปรตาม คาอาจไมแนนอน มักเปนคาที่ไดจากการวัด
y
เชน ถาความสัมพันธเปนแบบ Parabola
ขอมูลจริง => y
เสนตัวแทน => yrep = a0 + a1x + a2x2
4-5
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
n − ( m + 1)
St
4-6
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-7
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
n − ( m + 1)
=> คา n-(m+1) คือ Degrees of Freedom
- Coefficient of Determination
R2 = S −S t r
St
4-8
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-9
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-10
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-11
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-12
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-13
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-14
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-15
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
Interpolation
• เปนการใชสมการ Polynomial ในการหาคา f(x) หรือตัวแปรตาม ที่ x หรือตัวแปรตนใดๆ ในชวงขอมูล
fn(x) = a0 + a1x + a2x2 + … + anxn
=> สําหรับขอมูลจํานวน n+1 จุด จะมีสมการ Polynomial อันดับที่ n เพียง 1 สมการเทานั้นที่ผานขอมูล
ครบทุกจุด
=> ถามีขอมูลจํานวน n+1 จุด อันดับสูงสุดของสมการ Polynomial ที่ใชไดคือ n
• มี 3 วิธีที่จะกลาวถึง
- Newton’s Divided-Difference Interpolating Polynomials (NDD)
- Lagrange Interpolating Polynomials
- Spline Interpolation
x1 − x 0
x1 − x 0
f ( x 2 ) − f ( x1 ) f ( x1 ) − f ( x 0 )
−
b2 = x 2 − x1 x1 − x 0 เขียนแทนดวย f[x2, x1, x0]
x2 − x0
ซึ่ง f[x2, x1, x0] = f [ x 2 , x 1 ] − f [ x 1, x 0 ]
x2 − x0
st
=> คา b1 หรือ f[x1, x0] ≡ คาประมาณแบบ FDD ของ 1 Order Derivative
=> คา b2 หรือ f[x2, x1, x0] ≡ คาประมาณแบบ FDD ของ 2nd Order Derivative
4-16
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-17
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
4-18
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
Spline Interpolation
• แบงชวงขอมูลออกเปนหลายชวง และทํา Curve Fitting ในแตละชวงดวยสมการที่ตางกัน
• เหมาะสําหรับขอมูลที่มีการเปลี่ยนแปลงแบบทันทีทันใดหรือไมตอเนื่องในบางจุด
f(x) f(x)
x x
th
ใช 6 Order Polynomial เพียง ใช Spline Interpolation ที่ใช
เสนเดียวสําหรับขอมูลทั้งหมดอาจ เสนตรง 3 เสน สําหรับขอมูล 3
ไมเหมาะสม ชวง จะเปนตัวแทนที่ดีกวา
x i +1 − x i
4-19
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
• Quadratic Splines
- ใชสมการ Polynomial อันดับที่ 2
- ดีกวา Linear Splines ตรงที่การเปลี่ยนแปลงความชันที่จุดตอนิ่มนวลขึ้น
f(x) 2 a3x2+b3x+c3
a1x +b1x+c1
a2x2+b2x+c2 f(x3)
f(x1)
f(x2)
f(x0)
x
x0 x1 x2 x3
i=0 i=1 i=2 i=3
- รูปทั่วไป
สมการที่ใช fi(x) = a i x2 + b i x + c i
สําหรับขอมูล n+1 จุด แบงออกไดเปน n ชวง แตละชวงมีตัวแปรที่ไมรูคา 3 ตัว คือ ai, bi และ ci
ดังนั้น ตองสรางระบบสมการขนาด 3n สมการ 3n ตัวแปร
- เงื่อนไขในการสรางระบบสมการ
1) คา f(x) ที่จุดตอระหวางแตละชวงตองเทากัน
ai-1xi-12 + bi-1xi-1 + ci-1 = f(xi-1)
2
aixi + bixi + ci = f(xi-1)
โดย i = 2 ถึง n
=> มี n-1 จุดตอ จะไดสมการจํานวน 2n-2 สมการ
2) สมการในชวงแรกและชวงสุดทายจะตองผานจุดปลายทั้งสอง
a1x02 + b1x0 + c1 = f(x0)
2
anxn + bnxn + cn = f(xn)
=> จะไดสมการจํานวน 2 สมการ
4-20
Lecture Notes – Numerical Methods for Engineers Chapter 4 Curve Fitting
• Cubic Splines
- ใชสมการ Polynomial อันดับที่ 3
- เปนวิธีที่นิยมใชมากที่สุดในกลุม Spline Interpolation
- รูปทั่วไป
สมการที่ใช fi(x) = aix3 + bix2 + cix + di
สําหรับขอมูล n+1 จุด แบงออกไดเปน n ชวง แตละชวงมีตัวแปรที่ไมรูคา 4 ตัว คือ ai, bi, ci และ di
ดังนั้น ตองสรางระบบสมการขนาด 4n สมการ 4n ตัวแปร
- เงื่อนไขในการสรางระบบสมการ
1) คา f(x) ที่จุดตอระหวางแตละชวงตองเทากัน
=> มี n-1 จุดตอ จะไดสมการจํานวน 2n-2 สมการ
2) สมการในชวงแรกและชวงสุดทายจะตองผานจุดปลายทั้งสอง
=> จะไดสมการจํานวน 2 สมการ
3) คาความชัน f’(x) ที่จุดตอระหวางแตละชวงตองเทากัน
=> มี n-1 จุดตอ จะไดสมการจํานวน n-1 สมการ
4) คา f’’(x) ที่จุดตอระหวางแตละชวงตองเทากัน
=> มี n-1 จุดตอ จะไดสมการจํานวน n-1 สมการ
5) อีก 2 สมการที่ยังขาดอยู ไดมาจากการสมมติใหคา f’’(x) ของจุดปลายทั้งสอง = 0
=> จะไดสมการจํานวน 2 สมการ
=> เปรียบเสมือนเปนการสมมติใหชวงแรกและชวงสุดทายเปนเสนตรง (ตองเปนสมการเสนตรง
เทานั้นจึงจะใหคา f’’(x) = 0)
=> แตถารูคา f’’(x) ของจุดปลายทั้งสอง ก็สามารถนํามาใชแทนการสมมติใหคาเปนศูนยได
4-21