‫مدلسازی و حل معادله انتقال جرم با روش یادگیری عمیق (‪ )Deep Learning‬با استفاده از‬

‫مدل (‪)PINN‬‬

‫سلیمیان‪4‬‬ ‫محمدرضا جهانبخش *‪ ،1,‬معصومه رجبی‪،2‬زهرا اشراقی‪ ،3‬لیلی‬

‫‪ -1‬کارشناسی ارشد مهندسی شیمی‪ ،‬کارمند پژوهش سرای دانش آموزی ادیب آموزش و پرورش شهرستان مبارکه‬

‫‪ -2‬کارشناسی ارشد مهندسی کامپیوتر‪ ،‬کارمند پژوهش سرای دانش آموزی ادیب آموزش و پرورش شهرستان مبارکه‬

‫‪ -3‬کارشناسی مهندسی شیمی‪ ،‬جهاد دانشگاهی اصفهان‬

‫‪ -4‬کارشناسی ارشد مهندسی کامپیوتر ‪ ،‬دانشگاه آزاد اسالمی واحد نجف آباد‬

‫خالصه‬

‫امروزه استفاده از روشهای یادگیری عمیق برای موارد کاربرد صنعتی و پژوهشی به صورت معناداری گسترش پیدا‬
‫کرده است‪ .‬همچنین کلیدی ترین مسئله در مدلسازی پدیده های فیزیکی حل معادالت دیفرانسیل جزئی است‪ .‬برای حل‬
‫این معادال ت بسته به شرایط مسئله هزینه های محاسباتی زیادی صرف می شود‪ .‬با استفاده از روش ‪ PINN‬می توان این‬
‫مسائل را به سیستم آموزش داد و سپس از نتایج برای حل مسئله در موارد بعدی کمک گرفت‪ .‬در این کار یک مسئله انتقال‬
‫جرم توسط روش های صریح و عددی حل شده و سپس نتایج آن برای آموزش مدل یادگیری عمیق(‪)Deep learning‬‬
‫استفاده شده است‪.‬‬

‫کلمات کلیدی‪ :‬یادگیری عمیق‪ ،‬هوش مصنوعی‪ ،‬معادالت دیفرانسیل جزئی‪ ،‬حل صریح و عددی‬

‫‪ .1‬مقدمه‬

‫شبکه عصبی یک الگوی برنامه نویسی الهام گرفته از زیستشناسی است که کامپیوتر را قادر میسازد تا از دادههای قابل مشاهده‬

‫یاد بگیرد‪ .‬از تعداد زیادی عناصر پردازشی به هم پیوسته و نورونها تشکیل شده است که برای حل یک مسئله هماهنگ کار میکنند‪.‬‬

‫شبکه عصبی مصنوعی برای یک کاربرد خاص مانند تشخیص الگو یا طبقهبندی دادهها از طریق یک روش یادگیری پیکربندی شده است‬

‫[‪ .]1‬استفاده از شبکههای عصبی برای یادگیری نمایش‪ ،‬دارای دو مزیت است‪ :‬اول اینکه مهندسی ویژگی کار فشردهای است‪ ،‬یادگیری‬

‫عمیق به طور خودکار یادگیری را از دادههای خام در روشهای نظارت نشده یا نظارت شده فراهم میکند‪ .‬دوم برخالف مدلهای خطی‪،‬‬

‫شبکههای عصبی قادر به مدلسازی غیر خطی دادهها با توابع فعالساز مانند ‪ Tanh ،Sigmoid ،Relu‬هستند [‪.]2‬‬

‫یادگیری عمیق‪ 1‬قسممتی از شمبکههای عصمبی مصمنوعی‪ 2‬میباشمد که در سمال ‪ 1986‬توسم رینا دچتر معرفی شمد‪ .‬پژوهشهایی‬

‫با اسممتفاده از یادگیری عمیق در زمینههای زیادی انجام شممدهاسممت که این پژوهشها در حوزههایی مانند تصممویربرداری پزشممکی‪،‬‬

‫‪http://chemistryeng.bcnf.ir‬‬ ‫صفحه ‪1‬‬

‫بیوانفورماتیک‪ ،‬تشممخیص گفتار‪ ،‬از لمله متن کاوی و پردازش زبان طبیعی میباشممند[‪ .]3‬با ولود موفقیت چشمممگیر در این زمینهها و‬

‫حوزههای مرتب ‪ ،‬یادگیری عمیق هنوز به طور گسمترده در زمینه محاسمبات علمی اسمتفاده نشمدهاسمت [‪ .]4‬امروزه یکی از اسمتفادههای‬

‫یادگیری عمیق در زمینه محاسمبات علمی حل معادتت دیفرانسمیل میباشمد‪ .‬اخیراً حل معادتت دیفرانسمیل لزیی (‪ 3) PDEs‬به عنوان‬

‫مثال به شممکل دیفرانسممیل اسممتاندارد یا به شممکل انتگرال‪ ،‬از طریق یادگیری عمیق به عنوان یک زیرشمماخه بالقوه لدید تحت عنوان‬

‫یادگیری ماشین علمی (‪ 4 )SciML‬پدیدار شدهاست [‪.]4‬‬

‫برخالف بسممیاری از مجموعه دادههای کالسممیک‪ ،‬مجموعه دادههای ‪ PDE‬میتوانند در مقیاس گیگابایت یا ترابایت بزرگ و‬

‫همچنمان شمممامل نقما داده کمی باشم منمد و بر خالف مجموعه دادههای معیمار یکپمارچه ماننمد ‪ ،ImageNet‬مجموعه دادهها برای هر کار‬

‫تقریبی ‪ PDE‬مختص آن کار اسمممت‪ .‬هر مجموعهای از معادتت حاکم یا فرضمممیات طراحی آزمایش منجر به مجموعه داده مجزایی از‬

‫نمونههای ‪ PDE‬میشمود [‪ .]5‬برای به دسمت آوردن راه حل تقریبی یک ‪ PDE‬از طریق یادگیری عمیق‪ ،‬یک گام کلیدی محدود کردن‬

‫شمبکه عصمبی برای به حداقل رسماندن باقیمانده ‪ PDE‬اسمت و چندین رویکرد برای انجام این کار پیشمنهاد شمدهاسمت‪ .‬در مقایسمه با‬

‫روشهای مبتنی بر روش سمنتی‪ ،‬مانند روش تفاضمل محدود (‪ 5)FDM‬و روش الزای محدود (‪ ،6)FEM‬یادگیری عمیق با بهرهگیری از‬

‫تمایز خودکار میتواند یک رویکرد آزاد باشد [‪.]4‬‬

‫می توان برای انواع خاصمی از مشمکالت‪ ،‬مانند دامنه ورودی تصمویر مانند یا ‪PDE‬‬ ‫در میان این رویکردها‪ ،‬برخی از آنها را فق‬

‫های سهمی وار اعمال کرد‪ .‬برخی از پژوهشگران شکل متغیر ‪ PDE‬ها را اتخاذ میکنند و عملکرد انرژی مربوطه را به حداقل میرسانند‬

‫با این حال‪ ،‬همه ‪ PDE‬ها را نمیتوان از یک عملکرد شمناخته شمده اسمتخرار کرد‪ ،‬و بنابراین پیش بینیهای نوع ‪ Galerkin‬نیز در نظر‬

‫گرفته شمدهاسمت‪ .‬روش دیگر‪ ،‬میتوان مسمتقیماً از فرم قوی ‪ PDEin‬اسمتفاده کرد‪ .‬در این حالت‪ ،‬تمایز خودکار میتواند به طور مسمتقیم‬

‫برای للوگیری از خطاهای برش و خطاهای چهارگانه عددی اشمکال تغییرات اسمتفاده شمود‪ .‬این رویکرد قوی‪ ،‬با ایجاد مفهوم شمبکههای‬

‫عصمبی با اطالعات فیزیک (‪ 7)PINN‬معرفی شد [‪PINN .]4‬یک نوع شبکه عصبی برای حل ‪ PDE‬ها با استفاده از معادتت فیزیکی به‬

‫عنوان محدودیتهای عملیاتی اسمت‪ .‬به عبارت دیگر میتوان گفت ‪ PINN‬از شمبکههای عصمبی‪ ،‬اطالعات فیزیکی و مکانیسممهای‬

‫بازخورد تشکیل شدهاست[‪.]6‬‬

‫‪ PDE‬زیر را با پارامتر ‪ ʎ‬برای حل )‪ u(x‬با )‪ x = (x1,...,xd‬با دامنه ‪ Ω ⸧ Rd‬در نظر میگیریم‪:‬‬

‫𝑢𝜕‬ ‫𝑢𝜕‬ ‫𝑢‪𝜕2‬‬ ‫𝑢‪𝜕2‬‬
‫𝑥𝜕 ; 𝑥𝜕 ‪f (𝑥; 𝜕𝑥 , … ,‬‬ ‫𝑥𝜕 ‪, … . ,‬‬ ‫‪; … ; ʎ) = 0 ; x ∈ Ω‬‬ ‫)‪(1‬‬
‫‪1‬‬ ‫𝑑‬ ‫‪1 𝜕𝑥1‬‬ ‫𝑑𝑥𝜕 ‪1‬‬

‫با شرای مرزی مناسب‪:‬‬

‫‪𝛽(𝑢, 𝑥) = 0 , 𝑜𝑛 𝜕 Ω,‬‬

‫‪http://chemistryeng.bcnf.ir‬‬ ‫صفحه ‪2‬‬

‫لایی که )𝑥 ‪ 𝛽(𝑢,‬میتواند دیریکله‪ ،‬نویمان‪ ،‬رابین یا شمرای مرزی دورهای باشمد‪ .‬برای مسمایل وابسمته به زمان‪ ،‬زمان ‪ t‬را به‬

‫عنوان یک لز خاص از ‪ x‬و ‪ Ω‬شمامل دامنه زمانی در نظر گرفته میشمود‪ .‬شمرای اولیه را می توان به سمادگی به عنوان نوع خاصمی از‬

‫شرای مرزی دیریکله در حوزه مکانی‪-‬زمانی در نظر گرفت [‪.]4‬‬

‫لو لو و همکاران (‪ )2021‬لهت پیادهسممازی الگوریتمهای مختلف ‪ PINN‬ازکتابخانه ‪ DeepXDE‬در پایتون اسممتفاده کردهاند‪.‬‬

‫‪ DeepXDE‬یک کتابخانه یادگیری عمیق برای حل معادتت دیفرانسممیل میباشممد که می توان آن را برای حل مسممایل چندفیزیکی‬

‫مورد اسمتفاده قرار داد و از حوزههای هندسمه پیچیده بر اسماس تکنیک هندسمه لامد سمازنده (‪ 1)CSG‬پشمتیبانی میکند‪ ،‬بنابراین از انجام‬

‫وظایف هندسه محاسباتی خسته کننده و وقتگیر للوگیری میکند [‪.]4‬‬

‫‪ .2‬روش و مراحل‬

‫برای حل معادله انتقال لرم به صورت زیر‪:‬‬

‫𝑦𝜕‬ ‫𝑦 ‪𝜕2‬‬ ‫𝑥‪𝑠𝑖𝑛2‬‬
‫× ‪= 𝑑 𝜕𝑥 2 + 𝑒 −𝑡 (3‬‬ ‫)‬ ‫)‪(2‬‬
‫𝑡𝜕‬ ‫‪2‬‬

‫باید ابتدا شرای اولیه مناسب تعریف شود‪ .‬شر اولیه طبق زیر تعریف میشود‪:‬‬
‫𝑥‪𝑠𝑖𝑛2‬‬
‫‪𝑦(𝑥, 0) = 𝑠𝑖𝑛𝑥 +‬‬ ‫]𝜋 ‪𝑥 ∈ [−𝜋,‬‬ ‫)‪(3‬‬
‫‪2‬‬

‫و شرای مرزی دیریکله برای این مسئله بصورت زیر است‪:‬‬

‫‪𝑦(𝑡, −𝜋) = 𝑦(𝑡, 𝜋) = 0‬‬ ‫]‪, 𝑡 ∈ [0,1‬‬ ‫)‪(4‬‬

‫طبق شرای بات مسئله را حل میکنیم‪ ،‬سپس با استفاده از اطالعات حل مسئله‪ ،‬مجموعهای برای یادگیری را مشخص کرده و‬

‫طبق آن اطالعات مربو به مدل یادگیری عمیق ارضا می شود‪.‬‬

‫برای رسیدن به کمترین میزان خطای مطلوب ‪ 20000‬بار تکرار در نظر گرفته شد‪ .‬میزان ‪ train loss: 1.69e-05‬است و‬

‫‪ test loss: 1.98e-05‬و ]‪ test metric: [1.58e-03‬می باشد‪.‬‬ ‫همچنین‬

‫‪http://chemistryeng.bcnf.ir‬‬ ‫صفحه ‪3‬‬

 ‫شکل ( ‪ : )1‬نمودار مقایسه اطالعات وارد شده به مدل برای یادگیری عمیق و میزان خطای آن با حل صریح‬

‫‪ .3‬بحث و بررسی‬

‫برای بررسی نتیجه این مدل و همچنین میزان دقت این مدل و روش ‪ PINN‬باید نتیجه حل این مسئله را توس روش تبیین‬

‫شده و حل صریح مولود بررسی کنیم‪ .‬برای مقایسه طبق شکل (‪ )2‬به بررسی مقایسه حل ها پرداخته خواهد شد‪.‬‬

‫اکنون‪ ،‬معادله ‪ PDE‬و شبکه را داریم‪ .‬ما یک مدل می سازیم و بهینه ساز و نرخ یادگیری را انتخاب می کنیم‪ .‬سپس مدل را‬

‫برای ‪ 20000‬تکرار آموزش می دهیم‪.‬‬

‫شکل ( ‪ : )2‬حل معادله انتقال لرم در طول زمان برای روش صریح و ‪PINN‬‬

‫‪http://chemistryeng.bcnf.ir‬‬ ‫صفحه ‪4‬‬

‫طبق شکل اطالعات حل بدست آمده با دقت خوبی منطبق بر حل صریح است و همچنین با صرف زمان زیر یک دقیقه مدلی‬

.‫توس این روش تعریف شده که توانایی حل این معادله را کامال داراست‬

‫ نتیجهگیری‬.4

‫با توجه به نتایج بدست آمده از حل صریح و عددی معادله انتقال جرم و سپس مدل کردن این معادله در هندسه‬
‫ مدل تعریفی‬،‫ که به صورت پیش رونده انجام شد‬PINN ‫مشخص و در انتها آموزش این اطالعات و روند ها به مدل تعریفی‬
‫ بود که از لحاظ دقت کامال قابل قبول و دقیق محسوب‬test loss: 1.98e-05 ‫یادگیری عمیق در مجموع دارای خطای متوسط‬
.‫می شود و نشان دهنده این است که این مدل بخوبی توانسته است روند حل این معادله را پیش بینی کند‬

‫ مراجع‬.5

1. Lopez, M.M. and J. Kalita, Deep Learning applied to NLP. arXiv preprint
arXiv:1703.03091, 2017.
2. Huang, Z., et al., Recent trends in deep learning based open-domain
textual question answering systems. IEEE Access, 2020. 8: p. 94341-94356.
3. Widiastuti, N. Deep Learning–Now and Next in Text Mining and Natural
Language Processing. in IOP Conference Series: Materials Science and Engineering. 2018.
IOP Publishing.
4. Lu, L., et al., DeepXDE: A deep learning library for solving differential
equations. SIAM Review, 2021. 63(1): p. 208-228.
5. Takamoto, M., et al., PDEBench: An extensive benchmark for scientific
machine learning. arXiv preprint arXiv:2210.07182, 2022.
6. Lu, Y., G. Mei, and F. Piccialli, A Deep Learning Approach for Predicting
Two-dimensional Soil Consolidation Using Physics-Informed Neural Networks (PINN).
arXiv preprint arXiv:2205.05710, 2022.

http://chemistryeng.bcnf.ir 5 ‫صفحه‬