این مصاحبه ها چند شگفتی را نیز آشکار کرد. محققان اغلب انتظار دارند که پزشکان روشی را بخواهند که واضح باشد، به این معنی که بر روی یک شی خاص در یک تصویر پزشکی تمرکز می کند. اما پزشک در این مطالعه در واقع مقداری نویز در تصاویر پزشکی را برای کمک به کاهش عدم قطعیت ترجیح داد.
دبلیومدل‌های یادگیری ماشینی مرغ در موقعیت‌های دنیای واقعی به کار گرفته می‌شوند، شاید برای علامت‌گذاری بیماری احتمالی در اشعه ایکس برای بررسی رادیولوژیست، کاربران انسانی باید بدانند چه زمانی به پیش‌بینی‌های مدل اعتماد کنند.
بوگوست می‌گوید: «همانطور که ما آن را به این ویژگی‌های مختلف تقسیم کردیم و از افراد پرسیدیم، هیچ یک از افراد به‌اندازه هر فرد دیگری در مطالعه اولویت‌های مشابهی نداشتند، حتی زمانی که در همان نقش بودند.
آنجی بوگوست، یکی از نویسندگان ارشد، دانشجوی فارغ التحصیل برق توضیح می دهد که آنها امیدوارند که با داشتن این اطلاعات، کاربران بتوانند به طور عمدی یک روش برجسته مناسب را هم برای نوع مدل یادگیری ماشینی که استفاده می کنند و هم برای وظیفه ای که مدل انجام می دهد انتخاب کنند. مهندسی و علوم کامپیوتر در MIT و عضو گروه تجسم آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL).
کارت‌های برجسته می‌توانند با خلاصه کردن نحوه عملکرد یک روش برجسته بر اساس 10 ویژگی متمرکز بر کاربر، به کاربران کمک کنند تا از چنین مشکلاتی اجتناب کنند. ویژگی‌ها نحوه محاسبه برجستگی، رابطه بین روش برجسته و مدل و نحوه درک کاربر از خروجی‌های آن را نشان می‌دهند.
محققان قبلاً روش‌های برجسته را با استفاده از مفهوم وفاداری ارزیابی کرده‌اند. در این زمینه، وفاداری نشان می‌دهد که یک روش چقدر فرآیند تصمیم‌گیری یک مدل را منعکس می‌کند.
مصاحبه با محققان و کارشناسان هوش مصنوعی از سایر زمینه‌ها نشان داد که این کارت‌ها به افراد کمک می‌کنند تا سریعاً روش‌های مختلف را مقایسه کنند و تکنیک مناسب کار را انتخاب کنند. انتخاب روش مناسب به کاربران تصویر دقیق تری از نحوه رفتار مدلشان می دهد، بنابراین آنها برای تفسیر صحیح پیش بینی های آن مجهزتر هستند.
این به شما می گوید که هر پیکسل سیاه در تصویر شما مهم نیست، حتی اگر مهم باشد، زیرا با آن خط پایه بی معنی یکسان است. بوگوست می‌گوید: اگر به اشعه ایکس نگاه می‌کنید، این می‌تواند مشکل بزرگی باشد، زیرا رنگ سیاه می‌تواند برای پزشکان معنی‌دار باشد.
به عنوان مثال، یک ویژگی است وابستگی فراپارامتر، که میزان حساسیت آن روش برجسته نسبت به پارامترهای مشخص شده توسط کاربر را اندازه گیری می کند. یک کارت برجسته برای گرادیان های یکپارچه، پارامترهای آن و نحوه تأثیر آنها بر عملکرد آن را توصیف می کند. با استفاده از کارت، کاربر می‌تواند به سرعت متوجه شود که پارامترهای پیش‌فرض – خط پایه همه 0ها – ممکن است هنگام ارزیابی اشعه ایکس نتایج گمراه‌کننده‌ای ایجاد کنند.
در حرکت رو به جلو، محققان می‌خواهند برخی از ویژگی‌های کمتر ارزیابی‌شده را بررسی کنند و شاید روش‌های برجسته‌سازی مختص کار را طراحی کنند. آنها همچنین می‌خواهند درک بهتری از نحوه درک افراد از خروجی‌های روش برجسته ایجاد کنند که می‌تواند به تجسم بهتر منجر شود. علاوه بر این، آنها کار خود را در یک مخزن عمومی میزبانی می کنند تا دیگران بتوانند بازخوردی ارائه دهند که کار آینده را هدایت می کند.
با انتشار مداوم روش‌های جدید، محققان MIT و IBM Research ابزاری برای کمک به کاربران در انتخاب بهترین روش برجسته برای کار خاص خود ایجاد کردند. آنها کارت‌های برجسته را توسعه دادند که مستندات استانداردی از نحوه عملکرد یک روش، از جمله نقاط قوت و ضعف و توضیحات آن برای کمک به کاربران برای تفسیر صحیح آن ارائه می‌کند.
بوگوست توضیح می دهد که اما وفاداری سیاه و سفید نیست. یک روش ممکن است تحت یک آزمون وفاداری به خوبی عمل کند اما در دیگری شکست بخورد. با بسیاری از روش‌های برجسته و بسیاری از ارزیابی‌های احتمالی، کاربران اغلب به یک روش رضایت می‌دهند، زیرا آن روش محبوب است یا یکی از همکاران از آن استفاده کرده است.
ما واقعا امیدواریم که این اسناد زنده ای باشند که با توسعه روش ها و ارزیابی های برجسته جدید رشد کنند. بوگوست می‌گوید: در پایان، این واقعاً شروع یک گفتگوی بزرگ‌تر در مورد ویژگی‌های یک روش برجسته و چگونگی انجام وظایف مختلف است.
این تحقیق تا حدی توسط آزمایشگاه هوش مصنوعی MIT-IBM Watson، آزمایشگاه تحقیقات نیروی هوایی ایالات متحده و شتاب دهنده هوش مصنوعی نیروی هوایی ایالات متحده پشتیبانی شد.
با این حال، انتخاب روش “اشتباه” می تواند عواقب جدی داشته باشد. به عنوان مثال، یک روش برجسته، که به عنوان گرادیان های یکپارچه شناخته می شود، اهمیت ویژگی ها را در یک تصویر با یک خط پایه بی معنی مقایسه می کند. ویژگی‌هایی که بیشترین اهمیت را در خط مبنا دارند، برای پیش‌بینی مدل بیشترین معنا را دارند. این روش معمولاً از همه 0 ها به عنوان خط پایه استفاده می کند، اما اگر برای تصاویر اعمال شود، همه 0 ها برابر با رنگ سیاه است.
با این حال، کسی باید برای این محتوا هزینه کند. و اینجاست که تبلیغات وارد می‌شود. بیشتر مردم تبلیغات را یک مزاحم می‌دانند، اما آنها علاوه بر اینکه به شرکت‌های رسانه‌ای اجازه می‌دهند سرپا بمانند، عملکرد مفیدی نیز دارند. آنها شما را از محصولات و خدمات جدید مرتبط با صنعت خود آگاه می کنند. همه تبلیغات در خلاصه کیفیت مستقیماً برای محصولات و خدماتی که اکثر خوانندگان ما به آن نیاز دارند اعمال شود. شما تبلیغات خودرو یا مکمل های سلامتی را نخواهید دید.
این مقاله برای اولین بار در 31 مه 2023 در تاریخ انتشار یافته است اخبار MIT.