Professional Documents
Culture Documents
توصیه
سازماندهی سیستم های کامپیوتری → سیستم های جاسازی شده .افزونگی ؛ رباتیک؛ • شبکه ها → قابلیت • CCS:مفاهیم
.اطمینان شبکه
کلمات و عبارات کلیدی اضافی :هوش مصنوعی قابل توضیح ،سیستم های توصیه کننده قابل توضیح ،توضیح پذیری،
شفافیت ،قابلیت بررسی ،مدل کاربر
ACM:فرمت مرجع
مواد گوسمی ،محمد امین چاتی ،ییقی سان ،شادی زومور ،فانگ ژن جی ،آرهام مسلم ،لورا ورگرد و شوب احمد
تا 17آوریل IUI '21: ACM IUI، 13 ، 2021 ،جواردر .2021 .مدلهای عالقه باز ،قابل بررسی و قابل توضیح برای توصیه شفاف .در
. https://doi.org/10.1145/nnnnnn.nnnnnnنیویورک ،نیویورک ،ایاالت متحده آمریکا 10 ،صفحه ، TX. ACM،ایستگاه کالج
1 معرفی
توضیحات در سیستم های توصیه گر در چند سال اخیر اهمیت فزاینده ای پیدا کرده است .توضیح را می توان به عنوان بخشی
از اطالعات ارائه شده به کاربر برای افشای دلیل پشت یک توصیه در نظر گرفت [ .]13توضیحات می تواند تأثیر زیادی بر
نحوه پاسخ کاربران به توصیه ها داشته باشد [ .]3تحقیقات اخیر بر ابعاد مختلف توصیه های قابل توضیح تمرکز کرده و
،چندین طبقه بندی را پیشنهاد کرده است [ .]27 ،26 ،23 ،11برای مثال
گوسمی و همکاران [ ]11سیستم های توصیه گر قابل توضیح را بر اساس چهار بعد ،یعنی هدف توضیح طبقه بندی کرد
تمرکز توضیح (ورودی :کاربر )،شفافیت ،اثربخشی ،کارایی ،بررسی پذیری ،متقاعدسازی ،اعتماد ،رضایت(
1
کالج IUI '21، 13 ، TXتا 17آوریل ،2021 ،ایستگاه همکاران Guesmi .و
اجازه ایجاد نسخههای دیجیتال یا چاپی تمام یا بخشی از این اثر برای استفاده شخصی یا کالسی بدون پرداخت هزینهای اعطا
میشود ،مشروط بر اینکه کپی برای سود یا مزیت تجاری تولید یا توزیع نشده باشد و کپیها حاوی این اطالعیه و نقل قول
است باید رعایت شود ACM .کامل در صفحه اول باشند . .حق چاپ برای اجزای این اثر که متعلق به افراد دیگری غیر از
چکیده با اعتبار مجاز است .برای کپی کردن ،یا بازنشر ،برای پست کردن در سرورها یا توزیع مجدد در فهرست ها ،نیاز به
permissions@acm.org.مجوز خاص و/یا هزینه دارد .درخواست مجوز از
.انجمن ماشینهای محاسباتی © 2021
2
مدلهای عالقه باز ،قابل بررسی و قابل توضیح برای توصیه شفاف استیشن IUI '21، 13 ، TXتا 17آوریل ،2021 ،کالج
را مورد RIMAبقیه مقاله به شرح زیر سازماندهی شده است :بخش 2کارهای مرتبط را خالصه می کند .بخش 3کاربرد
بحث قرار می دهد .بخش 4ارزیابی اولیه درخواست را ارائه می دهد .در نهایت ،بخش 5کار را خالصه میکند ،به
.محدودیتها اشاره میکند و طرحهای تحقیقاتی آینده را تشریح میکند
2.1.1 باز کردن مدل کاربر .چندین ابزار مدل کاربر در پشت مکانیسم توصیه را نشان داده و در معرض دید قرار داده اند .به
با نمایش تصویری مدل کاربر ،که شامل پنج ویژگی شخصیتی بزرگ ،نیازهای اساسی و ]، «System U» [1عنوان مثال
ارزشهای انسانی است ،بر ورودی توصیهها تمرکز میکند .برای اینکه دانشآموزان بفهمند که چرا یک فعالیت آموزشی
خاص به آنها توصیه میشود" ،مستتری گریدز" [ ]4مفاهیم مربوط به فعالیت توصیهشده را بر اساس مدلهای ریزدانه
از ویژگی های دانش آموزی مختلف (به ] 'PeerFinder' [7یادگیرنده باز برجسته میکند .مدل کاربر در معرض نمایش در
عنوان مثال ،جنسیت ،سن ،برنامه) تشکیل شده است که برای توصیه همساالن مشابه استفاده می شود .با این حال ،قابلیت
.بررسی در این ابزارها وجود ندارد
2.1.2 بررسی دقیق مدل کاربر .توضیح توصیهها میتواند بررسیپذیری یک سیستم توصیهگر را فعال یا بهبود بخشد ،یعنی به
کاربران این امکان را میدهد که در صورت اشتباه بودن سیستم به سیستم اطالع دهند [ .]26بنابراین قابلیت بررسی به کنترل
کاربر مربوط می شود که می تواند در قسمت های مختلف خط لوله توصیه (به عنوان مثال ورودی ،فرآیند و خروجی) اعمال
3
کالج IUI '21، 13 ، TXتا 17آوریل ،2021 ،ایستگاه همکاران Guesmi .و
شود [ .]15 ،12در مقایسه با فعال کردن قابلیت کاوش در خروجی یا فرآیند سیستم ،تنها تعداد کمی از آثار سیستمهایی ارائه
کردهاند که کنترل کاربر را بر روی الیه ورودی سیستم توصیهکننده با اجازه دادن به کاربران برای تصحیح مدلهای خود در
صورت مخالفت ( بخشهایی از) آن یا تغییر مدلهای خود در آن ارائه کردهاند .به منظور تنظیم نتایج توصیه ها با توجه به
.نیازها و ترجیحات آنها
اولین تالش برای ارائه توضیحات قابل بررسی در [ ]6ارائه شد .در این کار ،یک توصیهکننده تعطیالت توضیحی مبتنی
بر متن ارائه میکند و کاربر میتواند بپرسد که چرا فرضیات خاصی (مانند بودجه کم) ساخته شدهاند .با انتخاب این گزینه آنها
را به صفحه ای با توضیح بیشتر و فرصتی برای اصالح آن در مدل کاربری خود می برد .به طور مشابه ،سیستم توصیه گر
در [ ]10توضیحاتی را در قالب ابرهای برچسب همپوشانی و تفاوت بین یک آیتم دانه و یک آیتم توصیه شده ارائه می دهد.
سپس کاربران می توانند با دستکاری ابرهای برچسب ،توصیه ها را هدایت کنند .باکالوف و همکاران [ ]2رویکردی برای
کنترل مدلهای کاربر و اثرات شخصیسازی در سیستمهای توصیهگر پیشنهاد کرد .از تجسم برای توضیح رفتار انطباقی
کاربران با اجازه دادن به آنها برای دیدن نمایههایشان و تنظیم ترجیحاتشان استفاده میکند .جین و همکاران [ ]14با هدف ارائه
قابلیت کنترل بر تبلیغات دریافتی .نویسندگان از یک نمودار جریان برای ارائه توضیحی بصری از فرآیند با باز کردن نمایه
کاربری مورد استفاده برای انتخاب تبلیغات استفاده کردند و به کاربران اجازه دادند تا نمایه خود را برای دریافت تبلیغات
احتمالی برای پشتیبانی صریحا ً چه میشد صحبت UIمرتبط تر بررسی کنند .زورن و همکاران [ ]29در مورد پسوندهای
کرد؟ تعامل با سیستمهای توصیهگر ،که به کاربران اجازه میدهد تا تصمیمگیری الگوریتمی را بررسی ،بررسی و زیر سوال
.ببرند
مشخص 2.1.3 توضیح مدل کاربر .در این کار ،توضیح مدلهای کاربر فراتر از نمایش و دستکاری مدل کاربر برای ارائه توضیحات
در مورد چگونگی استنتاج مدل کاربر است .توضیح مدلهای کاربر در سیستمهای توصیهگر مؤثر نشان داده شده است [ ]5و
مزایای زیادی دارد .این امر خودشکوفایی کاربران را تسهیل می کند ،یعنی از کاربران در توسعه ،کاوش و درک سلیقه
شخصی منحصر به فرد آنها حمایت می کند [ .]17عالوه بر این ،به کاربران کمک میکند تا مدل ذهنی دقیقتری از سیستم
توصیهکننده بسازند ،بنابراین منجر به افزایش شفافیت و اعتماد به سیستم میشود .عالوه بر این ،می تواند به تشخیص
سوگیری ها کمک کند که برای تولید توصیه های منصفانه بسیار مهم است .با این حال ،وظیفه توضیح مدل کاربر در تحقیقات
.توصیههای قابل توضیح مورد بررسی قرار نگرفته است
سالیوان و همکاران [ ]25بر توضیح نمایههای کاربر ساخته شده از دادههای رفتار خواندن جمعآوری شده تمرکز دارد که
برای ارائه توصیههای مبتنی بر محتوا استفاده میشود .نویسندگان ،مدل کاربر را با خالصه کردن و تجسم نمایشهای داخلی
با ابعاد باالی توصیهکننده از کاربران ،در معرض دید قرار میدهند .با این حال ،تجسمهایی که نحوه استنباط مدل کاربر را
توضیح میدهند ،ارائه نشدهاند .بالوگ و همکاران [ ]3یک تکنیک توصیه مبتنی بر مجموعه ارائه می دهد که به مدل کاربر
اجازه می دهد به طور صریح به زبان طبیعی ارائه شود تا به کاربران در درک توصیه های ارائه شده و بهبود آنها کمک کند.
هدف ما نیز توضیح مدل کاربر است ،اما برخالف رویکرد بالوگ و همکاران ،به جای توضیح زبان طبیعی ،از
.تجسمسازیها استفاده میکنیم
4
مدلهای عالقه باز ،قابل بررسی و قابل توضیح برای توصیه شفاف استیشن IUI '21، 13 ، TXتا 17آوریل ،2021 ،کالج
3 RIMA
نه تنها هدفش توضیح این است که چرا یک مورد توصیه شده است ،بلکه ) (RIMAبرنامه شفاف توصیهها و مدلسازی عالقه
از کاربران در کاوش ،توسعه و درک عالیق خود به منظور ارائه توصیههای شفافتر و شخصیشدهتر پشتیبانی میکند .این
5
کالج IUI '21، 13 ، TXتا 17آوریل ،2021 ،ایستگاه همکاران Guesmi .و
برنامه اجرای یک رویکرد توصیههای قابل توضیح انسان محور است که توسط مدلهای عالقه باز ،قابل بررسی و قابل
توضیح با سطوح مختلف جزئیات برای برآورده کردن نیازها و ترجیحات کاربران مختلف هدایت میشود .ما در این کار بر
روی توصیه توییتها و کاربران توییتر تمرکز میکنیم (شکل 1را ببینید) و از تجسمهای توضیحی برای ارائه بینشهایی در
.مورد فرآیند توصیه با باز کردن ،بررسی دقیق و توضیح مدل عالقه کاربر بر اساس سه سطح مختلف جزئیات تمرکز میکنیم
اعمال میکند .به منظور پرداختن به مسائل معنایی ،ویکیپدیا بهعنوان یک پایگاه دانش برای نگاشت عبارات کلیدی به صفحات
ویکیپدیا و ایجاد عالیق مبتنی بر ویکیپدیا استفاده میشود .عالوه بر این ،ویکیپدیا برای یافتن دستههای عالیق مبتنی بر ویکیپدیا و ایجاد
.عالیق مبتنی بر دستهبندی ویکیپدیا استفاده میشود
نمودارهای مختلفی برای خالصه و تجسم مدل عالقه مورد استفاده برای ارائه توصیه های مبتنی بر محتوا به توییت ها و
کاربران توییتر ،همانطور که در شکل 2نشان داده شده است ،ارائه شده است 5 .عالقه ،بر اساس توییت های منتشر شده در
ماه گذشته و انتشارات منتشر شده در سال گذشته .ما یک نمودار دایره ای را برای تجسم این مدل انتخاب کردیم زیرا اندازه هر
مدل عالقه بلندمدت a).شکل (2تکه نشانه سریعی از وزن عالقه کوتاه مدت خاص را در اختیار کاربران قرار می دهد
( (همچنین بر اساس مدل عالقه مبتنی بر ویکیپدیا) 15عالقه برتر را در پنج سال گذشته با استفاده از ابر کلمه نمایش میدهد
مدل عالقه بالقوه ( بر اساس مدل عالقه مبتنی بر دسته ویکیپدیا) به کاربران اجازه میدهد تا عالیق را شناسایی b).شکل 2
کنند
6
مدلهای عالقه باز ،قابل بررسی و قابل توضیح برای توصیه شفاف استیشن IUI '21، 13 ، TXتا 17آوریل ،2021 ،کالج
مدت )الف( مدل بهره کوتاه (ب) مدل بهره بلند مدت
از نظر معنایی مشابه عالیق آنهاست .ما یک نمودار پیوند گره را انتخاب کردیم تا عالیق درازمدت کاربر (در سمت چپ) را
در نهایت ،تکامل مدل عالقه (بر اساس مدل عالقه c).شکل (2با دستههای مرتبط ویکیپدیا (در سمت راست) مرتبط کنیم
چگونگی تغییر 10عالقه برتر خود را )dشکل (2مبتنی بر ویکیپدیا) به کاربران اجازه میدهد تا با استفاده از نمودار جریان
.در طول زمان پیگیری کنند
کنند یا موارد موجود را حذف کنند .کادر جستجو در ابتدا با عالیق کاربر پر شده است که بر اساس وزن آنها که توسط سیستم
ایجاد می شود مرتب شده است .کاربران می توانند ترتیب عالیق را از طریق ویژگی کشیدن و رها کردن تغییر دهند تا اهمیت
آنها را تغییر دهند .با کلیک بر روی دکمه اطالعات در کنار کادر جستجو ،کاربر می تواند از لغزنده های تعاملی برای تنظیم
گزینه دیگری برای نمایش مدل عالقه از طریق نمودار رادار ارائه شده ).را ببینید aشکل (4وزن هر کلمه کلیدی استفاده کند
.است که در آن کاربر می تواند موقعیت عالیق را از طریق کشیدن و رها کردن برای تغییر تغییر دهد
).را ببینید bشکل (4ارتباط آنها فواصل تا مرکز نشان دهنده ارتباط عالیق است و نزدیکتر به مرکز به معنای مهمتر است
افزودن ،حذف و وزن دادن به عالیق بر ترتیب توییت های توصیه شده تأثیر می گذارد .این رویکرد اکتشافی از کاربران
عالقه داشته باشم چه می شود؟" یا "اگر Yبه جای Xدر پاسخگویی به موارد مختلف پشتیبانی میکند .سواالتی مانند "اگر به
"را تغییر دهم چه می شود؟ Zاهمیت
)الف( )ب(
8
مدلهای عالقه باز ،قابل بررسی و قابل توضیح برای توصیه شفاف استیشن IUI '21، 13 ، TXتا 17آوریل ،2021 ،کالج
4 ارزیابی
ما یک مطالعه مقدماتی مبتنی بر مصاحبه را با ده محقق از رشتههای مختلف انجام دادیم تا پتانسیل رویکرد پیشنهادی خود را
برای بهبود شفافیت ،بررسیپذیری و رضایت کاربر از سیستم توصیهکننده قابل توضیح ارزیابی کنیم .در ابتدای مصاحبه ،هر
یک از شرکت کنندگان به طور خالصه با زمینه های سیستم های توصیه گر و مدل سازی کاربر آشنا شدند .در مرحله بعد ،از
و Semantic Scholarبرای ایجاد مدل های عالقه خود بر اساس شناسه های RIMAشرکت کنندگان خواسته شد تا از برنامه
و مشاهده تجسم های مربوط به مدل های عالقه خود استفاده کنند .سپس ،سه تجسم به شرکتکنندگان ارائه شد که Twitter
نشاندهنده توضیحات پایه ،متوسط و پیشرفته مدلهای عالقه تولید شده آنها بود .پس از آن ،از آنها خواسته شد توییتهای
توصیهشده را بررسی کنند و از ویژگیهای ارائه شده برای دستکاری مدلهای عالقه خود برای تأثیرگذاری بر نتایج
توصیهها استفاده کنند .در نهایت ،از شرکتکنندگان در مورد نظراتشان نسبت به توضیحات ارائهشده ،با هدایت عبارات
خالصهشده در جدول 1و سؤاالت باز دیگر مانند « چرا میخواهند توضیحات مدلهای عالقهشان را ببینند» و «کدام سطح
».توضیحی» (یعنی ابتدایی ،متوسط ،پیشرفته) ترجیح می دهند ببینند
9
کالج IUI '21، 13 ، TXتا 17آوریل ،2021 ،ایستگاه همکاران Guesmi .و
به طور کلی ،شرکتکنندگان در مورد سودمندی داشتن توضیحاتی در مورد مدلهای عالقه استنباطشدهشان و همچنین
امکان دستکاری آنها نظر مثبت کلی نشان دادند .با این حال ،آنها دالیل مختلفی برای دیدن توضیحات ارائه کردند .دو شرکت
کننده اظهار داشتند که در مدل عالقه خود عالیق اشتباهی دارند یا مورد انتظار نبودند و می خواستند آنها را بررسی کنند.
سایر شرکت کنندگان ذکر کردند که آنها فقط کنجکاو بودند که ببینند مدل عالقه آنها چگونه ایجاد شده است .این با یافته های
.مطابقت دارد ) (ITSمطالعه پاتنام و کوناتی [ ]24در زمینه سیستم های آموزشی هوشمند
عالوه بر این ،شرکتکنندگان در مورد اینکه ترجیح میدهند چه سطحی از جزئیات را ببینند ،نظرات متفاوتی داشتند .این
نشان می دهد که تفاوت های بالقوه فردی کاربر بر ترجیحات آنها نسبت به سطح توضیح تأثیر می گذارد .یک انتخاب طراحی
.مهم در توصیه قابل توضیح که نیاز به کاوش عمیق دارد
که هدف آن باز کردن ،بررسی دقیق و توضیح مدل عالقه کاربر بر اساس سه سطح ) (RIMAبرنامه مدلسازی پیشنهاد و عالقه
را در ایجاد توضیحات بر اساس تقاضای ورودی نشان میدهد RIMA .جزئیات است .نتایج ارزیابی اولیه سودمندی رویکرد
در کار آینده ما قصد داریم رویکرد پیشنهادی را برای توضیح توصیههای نشریات ،محققان و کنفرانسها به کار ببریم .ما
همچنین سایر تجسمهای ممکن را برای ارائه توضیحات در سه سطح جزئیات بررسی خواهیم کرد .عالوه بر این ،یک مطالعه
کمی و کیفی کاربر گستردهتر برای بررسی رابطه بین ویژگیهای کاربران و سطح جزئیات توضیحات و تأثیرات این دو
.متغیر بر درک و تعامل با سیستم توصیهگر قابل توضیح انجام خواهد شد
10
مدلهای عالقه باز ،قابل بررسی و قابل توضیح برای توصیه شفاف استیشن IUI '21، 13 ، TXتا 17آوریل ،2021 ،کالج
منابع
][1 هرنان بادنس ،متئو ان بنگوالید ،جیلین چن ،لیانگ گو ،ابن هابر ،جالل محمود ،جفری دبلیو نیکولز ،آدیتیا پال ،جرالد
استخراج خودکار ویژگی های شخصیتی از رسانه های اجتماعی . System U:شوت ،بارتون آ اسمیت ،و همکاران2014 .
.در مورد سیستم های توصیه کننده ACM 374-373 .برای توصیه افراد .در مجموعه مقاالت هشتمین کنفرانس
][2 فدور باکالوف ،ماری ژان مورس ،بیرجیتا کونیگ ریس ،بهار ساتلی ،رنه ویته ،گرگ باتلر و آدریان تسانگ.2013 .
رویکردی برای کنترل
مدل های کاربر و اثرات شخصی سازی در سیستم های توصیه گر در مجموعه مقاالت کنفرانس بین المللی 2013رابط
.کاربری هوشمند 56-49 .
][3 کریستیان بالوگ ،فیلیپ رادلنسکی و شوشان آراکلیان .2019 .مدل های کاربر شفاف ،قابل بررسی و قابل توضیح برای
.توصیه شخصی
در مورد تحقیق و توسعه در بازیابی اطالعات ACM SIGIR -265 .در مجموعه مقاالت چهل و دومین کنفرانس بین المللی
274.
][4 ..جردن باریا-پیندا و پیتر بروسیلوفسکی .2019 .شفاف سازی توصیه های آموزشی از طریق یک مدل یادگیرنده ریز دانه
IUIدر کارگاه های
][5 فیلیپ بونهارد و مارتینا آنجال ساسه" .2006 .من را می شناسم ،تو را می شناسم" -استفاده از نمایه ها و شبکه های
BT 24، 3 (2006)، 84-98.اجتماعی برای بهبود سیستم های توصیه کننده .مجله فناوری
][6 Ph.D. http://hdl.handle.net/2123/10206مارک چرکوفسکی .2006فرامتن تطبیقی قابل بررسی .دکترای فلسفه
][7 فن دو ،کاترین پلیزانت ،نیل اسپرینگ و بن اشنایدرمن .2018 .رابط های بصری برای سیستم های توصیه :یافتن همتایان
(TIST) 10، 1 (2018)، 1-23.در سیستم های هوشمند و فناوری ACMمشابه و غیر مشابه .معامالت
][8 فاتح گدیکلی ،دیتمار جاناخ ،و موزی جی .2014 .چگونه باید توضیح دهم؟ مقایسه انواع مختلف توضیح برای سیستم
های توصیه گر
.مجله بین المللی مطالعات انسانی-کامپیوتری 382-367 ،)2014( 4 ،72
][9 دی گراوس ،ام ساپلی و دی مان چو" .2018 .بگذار به تو بگویم کی هستی" -توضیح سیستم های توصیه گر با باز کردن
.نمایه های کاربر جعبه سیاه
.در مورد توصیه های مسئول FATRECدر مجموعه مقاالت کارگاه
][10 استفن جی گرین ،پل المر ،جفری الکساندر ،فرانسوا میله ،سوزانا کرک ،جسیکا هولت ،جکی بورک و شیائو-ون مک.
.2009تولید
در مورد سیستم ACMتوصیه های شفاف و قابل هدایت از توضیحات متنی موارد .در مجموعه مقاالت سومین کنفرانس
.های توصیه کننده 284-281 .
][11 مواد گوسمی ،محمد امین چاتی و ارهام مسلم .2020 .مروری بر تجسمهای توضیحی در سیستمهای توصیهکننده .که در
.مجموعه مقاالت همراه (LAK20) 491-480 .دهمین کنفرانس بین المللی تحلیل و دانش یادگیری
][12 چن هی ،دنیس پارا و کاترین وربرت .2016 .سیستم های توصیه گر تعاملی :بررسی وضعیت هنر و چالش ها و فرصت
.های تحقیقاتی آینده .سیستم های خبره با برنامه های کاربردی 27-9 ،)2016( 56
11
کالج IUI '21، 13 ، TXتا 17آوریل ،2021 ،ایستگاه همکاران Guesmi .و
مجموعه مقاالت کنفرانس ][13 ACMجاناتان ال هرلوکر ،جوزف کنستان و جان ریدل .2000 .تشریح توصیه های فیلترینگ مشارکتی .در
.در سال 2000در مورد کار تعاونی پشتیبانی شده از رایانه 250–241 .
][14 یوچنگ جین ،کارستن سیپ ،اریک دووال و کاترین وربرت .2016 .برو با جریان :اثرات شفافیت و کنترل کاربر بر
تبلیغات هدفمند
با استفاده از نمودارهای جریان در مجموعه مقاالت کنفرانس کاری بین المللی در مورد رابط های بصری پیشرفته -68 .
75.
][15 در سیستمهای ACMمایکل یوگواچ و دیتمار یاناخ .2017 .تعامل با توصیهکنندگان -مرور کلی و مسیرهای تحقیق .تراکنشهای
][20 مارتین میلکمپ ،نی نی هتون ،کریستینا کونااتی و کاترین وربرت .2019 .توضیح دادن یا عدم توضیح :اثرات ویژگی
های شخصی هنگام توضیح توصیه های موسیقی .در مجموعه مقاالت بیست و چهارمین کنفرانس بین المللی رابط های
.کاربری هوشمند 407-397 .
][21 .تیم میلر .2019 .توضیح در هوش مصنوعی :بینش هایی از علوم اجتماعی .هوش مصنوعی 38-1 ،)2019( 267
][22 سینا محسنی ،نیلوفر زارعی و اریک دی راگان .2018 .بررسی چند رشته ای و چارچوبی برای طراحی و ارزیابی
. arXiv (2018)، arXiv–1811.سیستم های هوش مصنوعی قابل توضیح
][23 اینگرید نونس و دیتمار جاناخ .2017 .بررسی سیستماتیک و طبقه بندی توضیحات در سیستم های پشتیبانی تصمیم و
.توصیه .مدل سازی کاربر و تعامل با کاربر 444-393 ،)2017( 5-3 ،27
][24 در سیستمهای آموزشی هوشمند ) (XAIونسا پاتنام و کریستینا کونتی .2019 .بررسی نیاز به هوش مصنوعی قابل توضیح
که در (ITS).
][26 ناوا تینتارف و جودیت ماستوف .1394 .تبیین توصیه ها :طراحی و ارزیابی .در کتابچه راهنمای سیستم های توصیه کننده .اسپرینگر،
382-353.
][27 arXiv arXiv:1804.11192 (2018).یونگ فنگ ژانگ و شو چن .2018 .توصیه قابل توضیح :نظرسنجی و دیدگاه های جدید .پیش چاپ
][28 روجینگ ژائو ،ایزاک بنباسات و حسن چاووش اوغلو .2019 .آیا کاربران همیشه می خواهند بیشتر بدانند؟ بررسی
.رابطه بین شفافیت سیستم و اعتماد کاربران به سیستم های مشاوره)2019( .
][29 ExSS-ATEC@ IUI .مارتین زورن ،مالین ایبند و دانیل بوشک .2020 .اگر چه؟ تعامل با توصیه ها در
13