‫در سالهای اخیر برای معرفی مدلهای یادگیری عمیق سبک وزن و استفاده بهینه از منابع سیستم تالشهای

متعددی ش ده اس ت‬
‫که می توان آنها را به دو دسته زیر تقسیم نمود‪:‬‬
‫طراحی اجزای سبک و کارآمد برای مدلهای عمیق مانن د الی ه پیچش تفکی ک پ ذیر عم ق مح ور در موبای ل نت و ش افل نت‬
‫روشهای فشرده سازی و تسریع مدل شامل‪ :‬هرس و اشتراک گذاری پارامترها تمرک ز این مت دها روی ح ذف پارامتره ای‬
‫غ یر ض روری از ش بکه ه ای عص بی عمی ق ب دون ت اثیر زی اد روی عملک رد اس ت‪ .‬این دس ته را میت وان ب ه چن د دس ته‬
‫کوانتیزاسیون مدل ‪ ،‬دودویی کردن مدل ‪ ،‬ماتریسهای ساختاری و اشتراک گذاری پارامتر تقسیم کرد‪.‬‬
‫تجزیه کم رتبه‪ :‬این متدها پارامترهای اضافه ش بکه عص بی عمی ق را ب ا اس تفاده از تجزی ه تنس ور و م اتریس شناس ایی می‬
‫کنند‪.‬فیلترهای پیچشی فشرده منتقل شده این متدها پارامترهای غیر ض روری را ب ا منتق ل ک ردن ی ا فش رده س ازی فیلتره ای‬
‫پیچشی حذف می کنند‪ .‬چکانش دانش این متدها دانش را از شبکه عصبی عمیق بزرگ تر به شبکه کوچک تر می چکانند ‪.‬‬
‫از بین روشهای اشاره شده‪ ،‬چکانش دانش‪ ،‬رهیافتی جامع به منظور نظارت بر فرآیند یادگیری یک شبکه دانش آم وز ب دون‬
‫دانش توسط یک شبکه معلم پیشرفته است‪ .‬هدف چکانش از میان برداش تن ش کاف معم اری بین معلم و دانش آم وز اس ت ت ا‬
‫دانش آموز بتواند در عین سادگی عملکرد شبکه معلم را تقلید نماید‪ .‬می ت وان هنگ ام انتق ال دانش از ش بکه معلم پیش رفته ب ه‬
‫شبکه دانش آموز‪ ،‬نوعی راهنما را به دست آورد و به این ترتیب عملکرد شبکه دانش آموز را بهبود داد‪ .‬هینتون و همکاران‬
‫ابتدا چکانش دانش را برای ‪ DNN‬پیشنهاد دادند‪ ،‬که توزیع ویژگی ه ای ش بکه معلم را در فض ای برچس ب ب ه عن وان دانش‬
‫تعریف میکند با استفاده از برچسب ناهموار کدبندی شده به صورت ‪ one-hot‬تنها میتوان اطالعات متناظر کالس ها را به‬
‫شبکه دانش آموز منتقل کرد و امکان آموزش سایر اطالعات مانند رابطه بین کالس های مختل ف وج ود ن دارد‪ .‬از این رو در‬
‫این نوع چکانش دانش‪ ،‬از برچسب هموار نیز در کنار برچسب ناهموار برای آموزش شبکه دانش آم وز اس تفاده میش ود ب ا‬
‫وجود تالشهای زیادی که در سالهای اخیر برای معرفی روشهای متعدد کانش دانش انجام شده بر طب ق نت ایج مطالع ه ای ک ه‬
‫گو و همکاران سال ‪ ۲۰۲۰‬گزارش کرده اند‪ ،‬چالش های زیر همچنان باقی است‪.‬‬