مصاحبه با محققان و کارشناسان هوش مصنوعی از سایر زمینه‌ها نشان داد که این کارت‌ها به افراد کمک می‌کنند تا سریعاً روش‌های مختلف را مقایسه کنند و تکنیک مناسب کار را انتخاب کنند. انتخاب روش مناسب به کاربران تصویر دقیق تری از نحوه رفتار مدلشان می دهد، بنابراین آنها برای تفسیر صحیح پیش بینی های آن مجهزتر هستند.
در حرکت رو به جلو، محققان می‌خواهند برخی از ویژگی‌های کمتر ارزیابی‌شده را بررسی کنند و شاید روش‌های برجسته‌سازی مختص کار را طراحی کنند. آنها همچنین می‌خواهند درک بهتری از نحوه درک افراد از خروجی‌های روش برجسته ایجاد کنند که می‌تواند به تجسم بهتر منجر شود. علاوه بر این، آنها کار خود را در یک مخزن عمومی میزبانی می کنند تا دیگران بتوانند بازخوردی ارائه دهند که کار آینده را هدایت می کند.
محققان قبلاً روش‌های برجسته را با استفاده از مفهوم وفاداری ارزیابی کرده‌اند. در این زمینه، وفاداری نشان می‌دهد که یک روش چقدر فرآیند تصمیم‌گیری یک مدل را منعکس می‌کند.
با این حال، انتخاب روش “اشتباه” می تواند عواقب جدی داشته باشد. به عنوان مثال، یک روش برجسته، که به عنوان گرادیان های یکپارچه شناخته می شود، اهمیت ویژگی ها را در یک تصویر با یک خط پایه بی معنی مقایسه می کند. ویژگی‌هایی که بیشترین اهمیت را در خط مبنا دارند، برای پیش‌بینی مدل بیشترین معنا را دارند. این روش معمولاً از همه 0 ها به عنوان خط پایه استفاده می کند، اما اگر برای تصاویر اعمال شود، همه 0 ها برابر با رنگ سیاه است.
«آیا می توانیم این شکاف را پر کنیم؟ آیا روش برجسته ای وجود دارد که بتواند هر دو کار را انجام دهد؟ یا شاید این دو ایده از نظر تئوری با یکدیگر در تضاد باشند،” بوگوست می گوید.
کارت های خود را نشان می دهند
این مقاله برای اولین بار در 31 مه 2023 در تاریخ انتشار یافته است اخبار MIT.
این تحقیق تا حدی توسط آزمایشگاه هوش مصنوعی MIT-IBM Watson، آزمایشگاه تحقیقات نیروی هوایی ایالات متحده و شتاب دهنده هوش مصنوعی نیروی هوایی ایالات متحده پشتیبانی شد.
این مصاحبه ها چند شگفتی را نیز آشکار کرد. محققان اغلب انتظار دارند که پزشکان روشی را بخواهند که واضح باشد، به این معنی که بر روی یک شی خاص در یک تصویر پزشکی تمرکز می کند. اما پزشک در این مطالعه در واقع مقداری نویز در تصاویر پزشکی را برای کمک به کاهش عدم قطعیت ترجیح داد.
به عنوان مثال، یک ویژگی است وابستگی فراپارامتر، که میزان حساسیت آن روش برجسته نسبت به پارامترهای مشخص شده توسط کاربر را اندازه گیری می کند. یک کارت برجسته برای گرادیان های یکپارچه، پارامترهای آن و نحوه تأثیر آنها بر عملکرد آن را توصیف می کند. با استفاده از کارت، کاربر می‌تواند به سرعت متوجه شود که پارامترهای پیش‌فرض – خط پایه همه 0ها – ممکن است هنگام ارزیابی اشعه ایکس نتایج گمراه‌کننده‌ای ایجاد کنند.
به Boggust در مقاله می‌پیوندند. هندریک استروبلت، پژوهشگر ارشد در IBM Research. جان گوتاگ، دوگالد سی جکسون، استاد علوم کامپیوتر و مهندسی برق در MIT. و نویسنده ارشد Arvind Satyanarayan، دانشیار علوم کامپیوتر در MIT، که رهبری گروه تجسم در CSAIL را بر عهده دارد. این تحقیق در کنفرانس ACM در مورد عدالت، پاسخگویی و شفافیت ارائه خواهد شد.
انتخاب روش مناسب
کارت‌های برجسته می‌توانند با خلاصه کردن نحوه عملکرد یک روش برجسته بر اساس 10 ویژگی متمرکز بر کاربر، به کاربران کمک کنند تا از چنین مشکلاتی اجتناب کنند. ویژگی‌ها نحوه محاسبه برجستگی، رابطه بین روش برجسته و مدل و نحوه درک کاربر از خروجی‌های آن را نشان می‌دهند.
بنابراین لطفاً مسدود کننده تبلیغات خود را برای سایت ما خاموش کنید.
ما واقعا امیدواریم که این اسناد زنده ای باشند که با توسعه روش ها و ارزیابی های برجسته جدید رشد کنند. بوگوست می‌گوید: در پایان، این واقعاً شروع یک گفتگوی بزرگ‌تر در مورد ویژگی‌های یک روش برجسته و چگونگی انجام وظایف مختلف است.
آنجی بوگوست، یکی از نویسندگان ارشد، دانشجوی فارغ التحصیل برق توضیح می دهد که آنها امیدوارند که با داشتن این اطلاعات، کاربران بتوانند به طور عمدی یک روش برجسته مناسب را هم برای نوع مدل یادگیری ماشینی که استفاده می کنند و هم برای وظیفه ای که مدل انجام می دهد انتخاب کنند. مهندسی و علوم کامپیوتر در MIT و عضو گروه تجسم آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL).
بوگوست توضیح می دهد که اما وفاداری سیاه و سفید نیست. یک روش ممکن است تحت یک آزمون وفاداری به خوبی عمل کند اما در دیگری شکست بخورد. با بسیاری از روش‌های برجسته و بسیاری از ارزیابی‌های احتمالی، کاربران اغلب به یک روش رضایت می‌دهند، زیرا آن روش محبوب است یا یکی از همکاران از آن استفاده کرده است.
بوگوست می‌گوید: «همانطور که ما آن را به این ویژگی‌های مختلف تقسیم کردیم و از افراد پرسیدیم، هیچ یک از افراد به‌اندازه هر فرد دیگری در مطالعه اولویت‌های مشابهی نداشتند، حتی زمانی که در همان نقش بودند.
«کارت‌های برجسته برای ارائه خلاصه‌ای سریع و اجمالی از یک روش برجسته طراحی شده‌اند و همچنین آن را به مهم‌ترین ویژگی‌های انسان محور تقسیم می‌کنند. آنها واقعا برای همه طراحی شده‌اند، از محققان یادگیری ماشین گرفته تا کاربران ساده‌ای که سعی می‌کنند بفهمند از کدام روش استفاده کنند و برای اولین بار یکی را انتخاب کنند.
تاریخ انتشار: سه شنبه 30 خرداد 1392 – 12:02
منبع: https://www.qualitydigest.com/inside/innovation-news/new-tool-helps-people-choose-right-method-evaluating-ai-models-061923.html
هنگامی که آنها چندین کارت ایجاد کردند، تیم یک مطالعه کاربری با هشت متخصص حوزه، از دانشمندان کامپیوتر گرفته تا یک رادیولوژیست که با یادگیری ماشینی ناآشنا بود، انجام داد. در طول مصاحبه، همه شرکت‌کنندگان گفتند که توضیحات مختصر به آنها کمک کرد تا ویژگی‌ها را اولویت‌بندی کنند و روش‌ها را مقایسه کنند. بوگوست می گوید، با وجود اینکه با یادگیری ماشین آشنایی نداشت، رادیولوژیست توانست کارت ها را بفهمد و از آنها برای شرکت در فرآیند انتخاب روش برجسته استفاده کند.
قول ما: خلاصه کیفیت فقط تبلیغات ثابتی را نشان می دهد که هرگز محتوا را پوشش نمی دهد یا پوشان نمی دهد. آنها هرگز سر راه شما قرار نمی گیرند. آنها برای خواندن شما وجود دارند یا نه.
با این حال، کسی باید برای این محتوا هزینه کند. و اینجاست که تبلیغات وارد می‌شود. بیشتر مردم تبلیغات را یک مزاحم می‌دانند، اما آنها علاوه بر اینکه به شرکت‌های رسانه‌ای اجازه می‌دهند سرپا بمانند، عملکرد مفیدی نیز دارند. آنها شما را از محصولات و خدمات جدید مرتبط با صنعت خود آگاه می کنند. همه تبلیغات در خلاصه کیفیت مستقیماً برای محصولات و خدماتی که اکثر خوانندگان ما به آن نیاز دارند اعمال شود. شما تبلیغات خودرو یا مکمل های سلامتی را نخواهید دید.
خلاصه کیفیت برای محتوای آن از خوانندگان هزینه ای دریافت نمی کند. ما معتقدیم که اخبار صنعت برای شما مهم است که کار خود را انجام دهید، و خلاصه کیفیت از کسب و کارهای مختلف پشتیبانی می کند.
این به شما می گوید که هر پیکسل سیاه در تصویر شما مهم نیست، حتی اگر مهم باشد، زیرا با آن خط پایه بی معنی یکسان است. بوگوست می‌گوید: اگر به اشعه ایکس نگاه می‌کنید، این می‌تواند مشکل بزرگی باشد، زیرا رنگ سیاه می‌تواند برای پزشکان معنی‌دار باشد.
با انتشار مداوم روش‌های جدید، محققان MIT و IBM Research ابزاری برای کمک به کاربران در انتخاب بهترین روش برجسته برای کار خاص خود ایجاد کردند. آنها کارت‌های برجسته را توسعه دادند که مستندات استانداردی از نحوه عملکرد یک روش، از جمله نقاط قوت و ضعف و توضیحات آن برای کمک به کاربران برای تفسیر صحیح آن ارائه می‌کند.
این کارت‌ها همچنین می‌توانند با آشکار کردن شکاف‌ها در فضای تحقیقاتی برای دانشمندان مفید باشند. به عنوان مثال، محققان MIT نتوانستند روش برجسته‌ای را شناسایی کنند که از نظر محاسباتی کارآمد باشد اما می‌توان آن را برای هر مدل یادگیری ماشینی نیز به کار برد.
نوآوری
ابزار جدید به مردم کمک می کند روش مناسبی را برای ارزیابی مدل های هوش مصنوعی انتخاب کنند
دانستن اینکه یک مدل چگونه رفتار می کند به کاربران کمک می کند تا پیش بینی های آن را تفسیر کنند
دبلیومدل‌های یادگیری ماشینی مرغ در موقعیت‌های دنیای واقعی به کار گرفته می‌شوند، شاید برای علامت‌گذاری بیماری احتمالی در اشعه ایکس برای بررسی رادیولوژیست، کاربران انسانی باید بدانند چه زمانی به پیش‌بینی‌های مدل اعتماد کنند.
اما مدل‌های یادگیری ماشینی آنقدر بزرگ و پیچیده هستند که حتی دانشمندانی که آنها را طراحی می‌کنند نیز نمی‌دانند مدل‌ها چگونه پیش‌بینی می‌کنند. بنابراین، آنها تکنیک هایی را ایجاد می کنند که به عنوان شناخته می شوند روش های برجسته سازی که به دنبال توضیح رفتار مدل هستند.