‫אופטימיזציה‬

‫למהנדסים‬
‫ד " ר ש אול סלומון‬
‫המחל קה ל ה נ דסת מכו נות‬
‫מ כללת או ר ט ב ר או דה‬
 ‫הרצאה מס' ‪ – 1‬מבוא לקורס‬
‫מה מצפה לנו היום?‬
‫• מושגי יסוד‬

‫• דוגמאות לבעיות אופטימיזציה‬

‫• סקירת סוגים שונים של בעיות‬

‫• בסיס מתמטי‬

‫‪2‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫אופטימיזציה – תהליך של שיפור עד כמה שניתן‬

‫‪3‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫בעיית אופטימיזציה‬
‫‪Feasible domain‬‬

‫– משתני בקרה ‪ /‬משתני תכן ‪ /‬משתני החלטה‬ ‫‪𝒙 ‬‬

‫𝒙 𝑓 – פונקציית המטרה‬ ‫‪‬‬

‫𝒙 𝑔 – אילוץ אי‪-‬שוויון‬ ‫‪‬‬

‫𝒙 ‪ – ℎ‬אילוץ שוויון‬ ‫‪‬‬

‫‪[1] Rao, S.S., 2009. Engineering optimization: theory and practice, p.10. John Wiley & Sons.‬‬

‫‪4‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

‫דוגמאות לבעיות אופטימיזציה‬
‫מתחומים שונים בהנדסה ובכלל‬

‫‪5‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫בעיה חד מימדית‬
‫יש להכין מיכל פתוח מפח מלבני בעל‬ ‫‪‬‬
‫מימדים ‪.8cm X 10cm‬‬
‫מה צריך להיות גובה המיכל על מנת למקסם‬ ‫‪‬‬
‫את הנפח שלו?‬

‫‪6‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫בעיה דומה עם שלושה משתנים‬
‫‪ ‬יש לתכנן מיכל מלבני פתוח בעל נפח קבוע ‪,V‬‬
‫כך שעלות הייצור תהיה מינימלית‪.‬‬

‫‪ ‬מחיר הבסיס הוא ‪a $/m2‬‬

‫‪ ‬מחיר הדפנות הוא ‪b $/m2‬‬

‫‪z‬‬
‫‪3‬‬
‫‪ ‬הגובה המקסימלי הוא 𝑉‬
‫‪y‬‬
‫‪x‬‬

‫‪7‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫התאמת עקום לנתוני מדידות (רגרסיה)‬
‫‪ N ‬נקודות )‪ (x,y‬התקבלו מניסוי‪.‬‬

‫‪ ‬רוצים להתאים עקום מהסוג‪:‬‬

‫‪ ‬ניתן למזער את סכום הריבועים של‬

‫השגיאות בכל נקודה (‪:)Least square‬‬

‫‪8‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫בעיית הסוכן הנוסע‬
‫‪ ‬איש מכירות צריך לתכנן את המסלול המעגלי הקצר ביותר דרך כל ערי הבירה של ארצות הברית‪.‬‬

‫‪ 48 ‬ערי בירה‬

‫‪ 2.6 * 1058 ‬מסלולים שונים‬

‫‪ ‬בעיה קומבינטורית – ‪NP hard‬‬

‫‪ ‬נסו בעצמכם!‬

‫‪9‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫[‪]2‬‬ ‫בעיה עם שתי מטרות – קורה רתומה‬
‫עקומת התמורה (‪)Pareto Front‬‬ ‫‪ ‬קורה בעלת חתך מלבני מרותכת לקיר וצריכה לשאת עומס‬
‫‪ P‬במרחק ‪ L‬מהקיר‪.‬‬
‫‪ ‬יש לתכנן את רוחב הקורה ‪ ,t‬עובי הקורה ‪ ,b‬אורך הריתוך ‪l‬‬
‫וגובה הריתוך ‪ h‬על מנת למזער את המטרות הבאות‪:‬‬
‫• העלויות הנגזרות מכמות חומר הגלם ונפח הריתוך‬
‫• השקיעה בקצה הקורה‬

‫‪[2] Deb, K. and Gupta, H., 2006. Introducing robustness in multi-objective‬‬

‫‪optimization. Evolutionary computation, 14(4), pp.463-494.‬‬

‫‪10‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫סוגי בעיות‬
‫מטרה אחת ‪ / 2-3 /‬הרבה‬ ‫‪‬‬

‫קיום ‪ /‬אי קיום של אי ודאויות‬ ‫‪‬‬

‫עם ‪ /‬בלי אילוצים‬ ‫‪‬‬

‫משתנים ממשיים ‪ /‬דיסקרטיים ‪ /‬קומבינטורי‬ ‫‪‬‬

‫מודאליות – קיום ‪ /‬אי קיום אופטימום מקומי‬ ‫‪‬‬

‫מרחב חיפוש קמור ‪ /‬רציף ‪ /‬בלתי רציף‬ ‫‪‬‬

‫לינארי ‪ /‬קוודראטי ‪ /‬לא‪-‬לינארי‬ ‫‪‬‬

‫ניתן ‪ /‬בלתי ניתן לגזירה‬ ‫‪‬‬

‫ניתן ‪ /‬בלתי ניתן להפרדה‬ ‫‪‬‬

‫ריבוי משתנים‬ ‫‪‬‬

‫פונקציות יקרות לחישוב‬ ‫‪‬‬

‫‪11‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫בסיס מתמטי‬
‫וקטורים ‪ ,‬מטריצות ‪ ,‬קמירות של סטים ופונקציות ‪ ,‬טור טיילור ‪,‬‬
‫זיהוי נקודות נייחות ‪ ,‬נקודות קיצון‬

‫‪12‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫סימנים ומושגים – וקטורים‬
‫‪‬‬ ‫‪ℝ‬‬ ‫קבוצת המספרים הממשיים ‪-‬‬

‫‪‬‬ ‫𝑛‪ℝ‬‬ ‫‪- n dimensional space‬‬

‫‪‬‬ ‫וקטור עמודה ‪-‬‬

‫‪‬‬ ‫מכפלה סקלרית ‪-‬‬

‫‪‬‬ ‫(מרחק אוקלידי) ‪- L2 norm‬‬

‫‪13‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫סימנים ומושגים – מטריצות‬
 - ‫מטריצה סימטרית‬

 Symmetric matrix is positive definite iff for all

 Symmetric matrix is positive semidefinite iff for all

 Symmetric matrix is positive definite iff all its eigenvalues are positive and positive
semidefinite if all its eigenvalues are non-negative and at least one eigenvalue is 0.

 Symmetric matrix is positive definite iff all its principal minors are positive.

14 ‫ ד"ר שאול סלומון‬- 23200 ‫אופטימיזציה למהנדסים‬

 ‫סימנים ומושגים ‪ -‬פונקציות‬
‫‪‬‬ ‫פונקציה ממשית ‪-‬‬

‫‪‬‬ ‫וקטור הגרדיאנט של הפונקציה ‪- f‬‬

‫‪‬‬ ‫‪- Hassian Matrix of function f‬‬

‫‪ Example:‬‬
‫‪Convex Sets‬‬
‫‪ ‬סט 𝑆 נקרא "קמור" (‪ )convex‬אם ורק אם עבור כל שתי נקודות 𝑆 ∈ 𝐲‪, 𝐱,‬‬
‫כל נקודה על המקטע 𝒚𝒙 גם כן שייכת לסט 𝑆‪.‬‬

‫קמור (‪)convex‬‬ ‫לא קמור (‪)non-convex‬‬

‫‪16‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

Convex Functions
 A function 𝑓 𝒙 (defined in the set 𝑆) is convex iff for any
real number 𝜆 ∈ 0,1 and any points 𝒙, 𝒚 ∈ 𝑆,
𝑓 𝜆𝒙 + 1 − 𝜆 𝒚 ≤ 𝜆𝑓 𝒙 + 1 − 𝜆 𝑓 𝒚

𝑓
𝑓 𝑥
𝜆𝑓 𝑥 + 1 − 𝜆 𝑓 𝑦

𝑓 𝑦

𝑓 𝑧
𝑆
𝑥 𝑧 = 𝜆𝑥 + 1 − 𝜆 𝑦 𝑦

17 ‫ ד"ר שאול סלומון‬- 23200 ‫אופטימיזציה למהנדסים‬

Convex Functions
 A function 𝑓 𝒙 (defined in the set 𝑆) is convex iff for any
real number 𝜆 ∈ 0,1 and any points 𝒙, 𝒚 ∈ 𝑆,
𝑓 𝜆𝒙 + 1 − 𝜆 𝒚 ≤ 𝜆𝑓 𝒙 + 1 − 𝜆 𝑓 𝒚

𝑓
𝑓 𝑥

𝜆𝑓 𝑥 + 1 − 𝜆 𝑓 𝑦

𝑓 𝑧 𝑓 𝑦
𝑆
𝑥 𝑧 𝑦

18 ‫ ד"ר שאול סלומון‬- 23200 ‫אופטימיזציה למהנדסים‬

Convex Functions
 A function 𝑓 𝒙 (defined in the set 𝑆) is convex iff for any
real number 𝜆 ∈ 0,1 and any points 𝒙, 𝒚 ∈ 𝑆,
𝑓 𝜆𝒙 + 1 − 𝜆 𝒚 ≤ 𝜆𝑓 𝒙 + 1 − 𝜆 𝑓 𝒚

convex non-convex

19 ‫ ד"ר שאול סלומון‬- 23200 ‫אופטימיזציה למהנדסים‬

Convex Functions
 A function 𝑓 𝒙 ∈ 𝐶 1 is convex over a set 𝑆 iff for all points 𝒙, 𝒚 ∈ 𝑆,
𝑓 𝒚 ≥ 𝑓 𝒙 + 𝛻𝑓 𝒙 𝑇 𝒚−𝒙

𝑓 𝑦

𝑇
𝑓 𝑥 + 𝛻𝑓 𝑥 𝑦−𝑥
𝑓 𝑥
𝑆
𝑥 𝑦

20 ‫ ד"ר שאול סלומון‬- 23200 ‫אופטימיזציה למהנדסים‬

Convex Functions
 A function 𝑓 𝒙 ∈ 𝐶 2 is convex over a set 𝑆 iff its Hessian matrix
𝐻 𝒙 is positive (semi) definite throughout 𝑆.

:‫ דוגמה‬
:)convex( ‫קבע האם הפונקציה הבאה היא קמורה‬
𝑓 𝒙 = 𝑥1 2 + 𝑥2 2 + 𝑥1 𝑥2 + 2𝑥1 − 4𝑥2 + 4

21 ‫ ד"ר שאול סלומון‬- 23200 ‫אופטימיזציה למהנדסים‬

 ‫טור טיילור – פונקציות עם משתנה יחיד‬
‫‪ ‬הפונקציה 𝑓 גזירה 𝑘 פעמים‪ .‬ניתן לרשום ביטוי מקורב לפונקציה 𝑥 𝑓 בסביבת הנקודה ∗ 𝑥 באמצעות‬
‫הפולינום מסדר 𝑘 הבא‪:‬‬

‫𝑓𝑑‬ ‫𝑓 ‪1 𝑑2‬‬ ‫𝑓 𝑘𝑑 ‪1‬‬

‫𝑓≅ 𝑥 𝑓‬ ‫∗𝑥‬ ‫‪+ ቤ‬‬ ‫∗‬
‫‪𝑥−𝑥 +‬‬ ‫‪อ‬‬ ‫‪𝑥−‬‬ ‫‪𝑥∗ 2‬‬ ‫‪+ ⋯+‬‬ ‫‪อ‬‬ ‫∗𝑥 ‪𝑥 −‬‬ ‫𝑘‬
‫∗𝑥=𝑥 𝑥𝑑‬ ‫‪2! 𝑑𝑥 2‬‬ ‫𝑘 𝑥𝑑 !𝑘‬
‫∗ 𝑥=𝑥‬ ‫∗ 𝑥=𝑥‬

‫‪ ‬קירוב לינארי בנקודה ∗ 𝑥‪:‬‬

‫𝑓𝑑‬
‫𝑓≅ 𝑥 𝑓‬ ‫∗𝑥‬ ‫‪+ ቤ‬‬ ‫∗𝑥 ‪𝑥 −‬‬
‫∗𝑥=𝑥 𝑥𝑑‬

‫‪ ‬קירוב קוודראטי (ריבועי) בנקודה ∗ 𝑥‪:‬‬

‫𝑓𝑑‬ ‫𝑓 ‪1 𝑑2‬‬
‫𝑓≅ 𝑥 𝑓‬ ‫∗𝑥‬ ‫‪+ ቤ‬‬ ‫∗‬
‫‪𝑥−𝑥 +‬‬ ‫‪2‬‬
‫‪อ‬‬ ‫∗𝑥 ‪𝑥 −‬‬ ‫‪2‬‬
‫∗𝑥=𝑥 𝑥𝑑‬ ‫𝑥𝑑 !‪2‬‬
‫∗ 𝑥=𝑥‬

‫‪22‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫טור טיילור – פונקציות עם ריבוי משתנים‬
‫‪ ‬הפונקציה 𝑓 גזירה פעמיים בסביבת הנקודה ∗𝒙‪:‬‬

‫∗‬ ‫∗‬ ‫𝑇‬ ‫∗‬

‫‪1‬‬
‫𝒙 𝑓≅ 𝒙 𝑓‬ ‫𝒙 𝑓𝛻 ‪+‬‬ ‫𝒙‪𝒙−‬‬ ‫𝑡 ‪+ 𝒙 − 𝒙∗ 𝑇 𝐻 𝒙∗ 𝒙 − 𝒙∗ + ℎ. 𝑜.‬‬
‫‪2‬‬

‫‪ ‬דוגמה‪:‬‬
‫‪:𝒙∗ = 1 1‬‬ ‫𝑇‬
‫יש לכתוב קירוב לינארי וקירוב ריבועי לפונקציה הבאה בסביבת הנקודה‬
‫‪𝑓 𝒙 = 𝑥1 2 + 𝑥2 2 + 𝑥1 𝑥2 + 2𝑥1 − 4𝑥2 + 4‬‬

‫‪23‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫טור טיילור – פונקציות עם ריבוי משתנים‬
‫‪𝒙∗ = 1 1‬‬ ‫𝑇‬ ‫קרוב לינארי לפונקציה ‪ 𝑓 𝒙 = 𝑥1 2 + 𝑥2 2 + 𝑥1 𝑥2 + 2𝑥1 − 4𝑥2 + 4‬בסביבת הנקודה‬

‫‪24‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫נקודות נייחות – ‪Stationary points‬‬
‫‪ ‬הנקודה 𝑛‪ 𝒙∗ ∈ ℝ‬נקראת נקודה נייחת של הפונקציה ‪ 𝑓: ℝ𝑛 → ℝ‬אם וקטור הגרדיאנט‬
‫‪𝛻𝑓 𝒙∗ = 0‬‬

‫‪ ‬דוגמה‪:‬‬
‫יש למצוא את הנקודות הנייחות של הפונקציה‪:‬‬
‫‪𝑓 𝒙 = 𝑥1 2 + 𝑥2 2 + 𝑥1 𝑥2 + 2𝑥1 − 4𝑥2 + 4‬‬

‫‪25‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫נקודות קיצון – מינימום מקומי‬
‫‪ ‬הנקודה 𝑛‪ 𝒙∗ ∈ ℝ‬נקראת נקודת מינימום מקומי של הפונקציה ‪𝑓: ℝ𝑛 → ℝ‬‬
‫אם קיים ‪ 𝜀 > 0‬כך שמתקיים‪:‬‬
‫𝜀 < ∗𝒙 ‪𝑓 𝒙∗ ≤ 𝑓 𝒚 ∀ 𝒚 ∈ ℝ𝑛 𝒚 −‬‬

‫מקסימום מקומי‬

‫𝑓‬ ‫מקסימום מקומי (חזק)‬

‫מינימום מקומי‬

‫‪26‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫נקודות קיצון – מינימום גלובלי‬
‫‪ ‬הנקודה 𝑛‪ 𝒙∗ ∈ 𝑆 ∈ ℝ‬נקראת נקודת מינימום גלובלי של הפונקציה ‪ 𝑓: ℝ𝑛 → ℝ‬אם מתקיים‪:‬‬
‫𝑆 ∈ 𝒚 ∀ 𝒚 𝑓 ≤ ∗𝒙 𝑓‬

‫מקסימום‬
‫גלובלי‬

‫𝑓‬

‫מינימום גלובלי‬ ‫𝑆‬

‫‪27‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬

 ‫מינימיזציה אל מול מקסימיזציה‬
‫‪ ‬אם הנקודה ∗𝒙 היא המינימום של הפונקציה ∗𝒙 𝑓‪ ,‬אז אותה הנקודה היא גם כן המקסימום של‬
‫הפונקציה הנגדית ∗𝒙 𝑓‪−‬‬

‫𝑓‬ ‫מינימום של ∗𝒙 𝑓‬

‫∗𝑥‬
‫𝑥‬

‫מקסימום של ∗𝒙 𝑓‪−‬‬

‫‪28‬‬ ‫אופטימיזציה למהנדסים ‪ - 23200‬ד"ר שאול סלומון‬