‫که در آن ) ‪ f t ( x ) , f s (x‬به ترتیب نگاش ته ای وی ژگی الی هه ای می انی ش بکهه ای معلم و دانش آم وز هس تند‪ .

‬تواب ع تب دیل‬
‫¿ ¿) ) ‪ ϕ t (f ¿¿ t ( x )), ϕ s ( f ¿¿ s ( x‬معموًال زمانی به کار میروند که نگاشتهای ویژگی شبکه های معلم و دانش آم وز دارای‬
‫شکل یکسانی نباشند‪ .‬ضمنا ‪ LF‬تابع شباهت برای تطبیق نگاشت های ویژگی شبکه های معلم و دانش آموز اس ت‪ .‬ی ک م دل‬
‫چکانش دانش ویژگی محور در شکل ‪ ۴‬نشان داده شده است‪.‬‬

‫شکل‪ .4‬چکانش دانش ویژگی محور استاندارد‬

‫‪ .2.3‬دانش رابطه محور‬

‫هر دو نوع دانش پاسخ محور و ویژگی مح ور از الی ه ه ای خ روجی خاص ی در ش بکه معلم اس تفاده میکنن د‪ .‬دانش رابط ه‬
‫محور بیشتر به روابط بین الیه ها ی ا نمون ه ه ای داده مختل ف می پ ردازد نیم و همک اران ب رای بررس ی بیش تر رواب ط بین‬
‫نگاشتهای ویژگی مختلف راه حلی را پیشنهاد دادند که با ماتريس ‪ Gram‬بین دو الیه تعریف میشود‪ .‬این ماتریس خالصه ای‬
‫از روابط بین جفتهای نگاشتهای ویژگی را ارائه می‪.‬کند‪ .‬این ماتریس با استفاده از حاصل ضرب های داخلی بین ویژگیه ای‬
‫دو الیه به دست می آید‪ .‬چکانش دانش از طریق تجزیه مقادیر مفرد با استفاده از همبستگی های می ان نگاش تهای وی ژگی ب ه‬
‫عنوان دانش چکانده شده برای استخراج اطالعات کلیدی در این نقشه ها پیشنهاد شده است ‪ .‬ژانگ و همکاران برای اس تفاده‬
‫از دانش چند معلم یک گراف را با استفاده از ویژگیهای هر شبکه معلم به عنوان گره ساختند‪ .‬به طور خاص اهمیت و روابط‬
‫معلم های مختلف پیش از انتقال دانش با گرافهای ارائه مدل سازی میشوند لی و همکاران در چکانش دانش مبتنی ب ر گ راف‬
‫چندراسی را ارائه کردند‪.‬‬

‫شکل‪ .5‬چکانش دانش ویژگی محور استاندارد‬

‫به طور کلی‪ ،‬خطای چکانش دانش رابطه محور مبتنی بر روابط نگاشتهای ویژگی با معادله زیر فرموله می شود‪.‬‬
‫که در آن ‪ f t , f s‬به ترتیب نگاشتهای ویژگی شبکه ه ای دانش آم وز و معلم هس تند‪ Ψ T (¿. )¿ .‬و ¿) ‪ Ψ S (¿.‬تواب ع محاس به‬
‫شباهت جفتهای نگاشتهای ویژگی از شبکههای معلم و دانش آموز هس تند‪ LR .‬نش ان دهن ده ت ابع همبس تگی می ان نگاش تهای‬
‫ویژگی معلم و دانش آموز است‪ .‬در این چکانش‪ ،‬در حقیقت دانش چکانده شده نه تنها شامل اطالعات وی ژگی می ش ود بلک ه‬
‫روابط متقابل نمونه های داده ها را هم در بر میگیرد ‪.‬‬
‫‪.2.4‬جمع بندی‬
‫تمایز اصلی روشهای معرفی شده‪ ،‬تعیین دانشی است که به بهترین شکل از شبکه معلم به شبکه دانش آموز انتقال و توسط‬
‫آن قابل فهم باشد‪ .‬روشهای چکانش دانش ویژگی محور تالش بر استخراج نگاشتهای ویژگی یا فیلترها از الیه های میانی‬
‫شبکه معلم و انتقال آنها به شبکه دانش آموز دارند که دانش بسیار مفیدی برای راهنمایی دانش آموز است‪ .‬هر چه الیه های‬
‫موجود در شبکه معلم عمیق تر باشد‪ ،‬نگاشت های ویژگی قوی تری با اطالعات بیشتری برای انتقال از این معلم پیشرفته به‬
‫دانش آموز حاصل میشود اما در تحقیقات اخیر محققان دریافتند که اگر اختالف سطح بین شبکه معلم پیشرفته و دانش آموز‬
‫زیاد باشد‪ ،‬دانش آموز قادر به همراهی با معلم نیست‪ .‬اختالف سطح بین معلم و دانش آموز یعنی واریانس زیاد بین معماری‬
‫آنها و نتیجتا انتقال مستقیم نگاشتهای ویژگی یا فیلترها از الیه های میانی معلم در قالب تنسور با ابعاد باال به دانش آموز‪،‬‬
‫مخصوصا زمانی که ساختار الیه های آنها هم اندازه نباشد‪ ،‬فرآیندی دشوار است بنابراین کاستن فاصله بین تنسورهای ابعاد‬
‫باال در الیه های میانی معلم و دانش آموز به عنوان موضوع مهمی در تحقیقات جاری چکانش دانش معرفی شده است‪.‬‬
‫اخیرا‪ ،‬دای و همکاران برای افزایش کیفیت چکانش دانش‪ ،‬روش جدیدی مبتنی بر تجزیه تاکر که زیر مجموعه الگوریتم‬
‫های تجزیه کم رتبه محسوب شده‪ ،‬به منظور کاهش سطح معلم پیشرفته معرفی کرده است‪ .‬تجزیه تاکر می تواند تنسورهای‬