ابزار جدید به مردم کمک می کند روش مناسبی را برای ارزیابی مدل های هوش مصنوعی انتخاب کنند

به عنوان مثال، یک ویژگی است وابستگی فراپارامتر، که میزان حساسیت آن روش برجسته نسبت به پارامترهای مشخص شده توسط کاربر را اندازه گیری می کند. یک کارت برجسته برای گرادیان های یکپارچه، پارامترهای آن و نحوه تأثیر آنها بر عملکرد آن را توصیف می کند. با استفاده از کارت، کاربر می‌تواند به سرعت متوجه شود که پارامترهای پیش‌فرض – خط پایه همه 0ها – ممکن است هنگام ارزیابی اشعه ایکس نتایج گمراه‌کننده‌ای ایجاد کنند.

محققان قبلاً روش‌های برجسته را با استفاده از مفهوم وفاداری ارزیابی کرده‌اند. در این زمینه، وفاداری نشان می‌دهد که یک روش چقدر فرآیند تصمیم‌گیری یک مدل را منعکس می‌کند.

بوگوست توضیح می دهد که اما وفاداری سیاه و سفید نیست. یک روش ممکن است تحت یک آزمون وفاداری به خوبی عمل کند اما در دیگری شکست بخورد. با بسیاری از روش‌های برجسته و بسیاری از ارزیابی‌های احتمالی، کاربران اغلب به یک روش رضایت می‌دهند، زیرا آن روش محبوب است یا یکی از همکاران از آن استفاده کرده است.

اما مدل‌های یادگیری ماشینی آنقدر بزرگ و پیچیده هستند که حتی دانشمندانی که آنها را طراحی می‌کنند نیز نمی‌دانند مدل‌ها چگونه پیش‌بینی می‌کنند. بنابراین، آنها تکنیک هایی را ایجاد می کنند که به عنوان شناخته می شوند روش های برجسته سازی که به دنبال توضیح رفتار مدل هستند.

بوگوست می‌گوید: «همانطور که ما آن را به این ویژگی‌های مختلف تقسیم کردیم و از افراد پرسیدیم، هیچ یک از افراد به‌اندازه هر فرد دیگری در مطالعه اولویت‌های مشابهی نداشتند، حتی زمانی که در همان نقش بودند.

«کارت‌های برجسته برای ارائه خلاصه‌ای سریع و اجمالی از یک روش برجسته طراحی شده‌اند و همچنین آن را به مهم‌ترین ویژگی‌های انسان محور تقسیم می‌کنند. آنها واقعا برای همه طراحی شده‌اند، از محققان یادگیری ماشین گرفته تا کاربران ساده‌ای که سعی می‌کنند بفهمند از کدام روش استفاده کنند و برای اولین بار یکی را انتخاب کنند.

این مقاله برای اولین بار در 31 مه 2023 در تاریخ انتشار یافته است اخبار MIT.

منبع: https://www.qualitydigest.com/inside/innovation-news/new-tool-helps-people-choose-right-method-evaluating-ai-models-061923.html

کارت‌های برجسته می‌توانند با خلاصه کردن نحوه عملکرد یک روش برجسته بر اساس 10 ویژگی متمرکز بر کاربر، به کاربران کمک کنند تا از چنین مشکلاتی اجتناب کنند. ویژگی‌ها نحوه محاسبه برجستگی، رابطه بین روش برجسته و مدل و نحوه درک کاربر از خروجی‌های آن را نشان می‌دهند.

به Boggust در مقاله می‌پیوندند. هندریک استروبلت، پژوهشگر ارشد در IBM Research. جان گوتاگ، دوگالد سی جکسون، استاد علوم کامپیوتر و مهندسی برق در MIT. و نویسنده ارشد Arvind Satyanarayan، دانشیار علوم کامپیوتر در MIT، که رهبری گروه تجسم در CSAIL را بر عهده دارد. این تحقیق در کنفرانس ACM در مورد عدالت، پاسخگویی و شفافیت ارائه خواهد شد.

انتخاب روش مناسب

این تحقیق تا حدی توسط آزمایشگاه هوش مصنوعی MIT-IBM Watson، آزمایشگاه تحقیقات نیروی هوایی ایالات متحده و شتاب دهنده هوش مصنوعی نیروی هوایی ایالات متحده پشتیبانی شد.

این کارت‌ها همچنین می‌توانند با آشکار کردن شکاف‌ها در فضای تحقیقاتی برای دانشمندان مفید باشند. به عنوان مثال، محققان MIT نتوانستند روش برجسته‌ای را شناسایی کنند که از نظر محاسباتی کارآمد باشد اما می‌توان آن را برای هر مدل یادگیری ماشینی نیز به کار برد.

این به شما می گوید که هر پیکسل سیاه در تصویر شما مهم نیست، حتی اگر مهم باشد، زیرا با آن خط پایه بی معنی یکسان است. بوگوست می‌گوید: اگر به اشعه ایکس نگاه می‌کنید، این می‌تواند مشکل بزرگی باشد، زیرا رنگ سیاه می‌تواند برای پزشکان معنی‌دار باشد.

«آیا می توانیم این شکاف را پر کنیم؟ آیا روش برجسته ای وجود دارد که بتواند هر دو کار را انجام دهد؟ یا شاید این دو ایده از نظر تئوری با یکدیگر در تضاد باشند،” بوگوست می گوید.

کارت های خود را نشان می دهند

این مصاحبه ها چند شگفتی را نیز آشکار کرد. محققان اغلب انتظار دارند که پزشکان روشی را بخواهند که واضح باشد، به این معنی که بر روی یک شی خاص در یک تصویر پزشکی تمرکز می کند. اما پزشک در این مطالعه در واقع مقداری نویز در تصاویر پزشکی را برای کمک به کاهش عدم قطعیت ترجیح داد.

دبلیومدل‌های یادگیری ماشینی مرغ در موقعیت‌های دنیای واقعی به کار گرفته می‌شوند، شاید برای علامت‌گذاری بیماری احتمالی در اشعه ایکس برای بررسی رادیولوژیست، کاربران انسانی باید بدانند چه زمانی به پیش‌بینی‌های مدل اعتماد کنند.

قول ما: خلاصه کیفیت فقط تبلیغات ثابتی را نشان می دهد که هرگز محتوا را پوشش نمی دهد یا پوشان نمی دهد. آنها هرگز سر راه شما قرار نمی گیرند. آنها برای خواندن شما وجود دارند یا نه.

با این حال، کسی باید برای این محتوا هزینه کند. و اینجاست که تبلیغات وارد می‌شود. بیشتر مردم تبلیغات را یک مزاحم می‌دانند، اما آنها علاوه بر اینکه به شرکت‌های رسانه‌ای اجازه می‌دهند سرپا بمانند، عملکرد مفیدی نیز دارند. آنها شما را از محصولات و خدمات جدید مرتبط با صنعت خود آگاه می کنند. همه تبلیغات در خلاصه کیفیت مستقیماً برای محصولات و خدماتی که اکثر خوانندگان ما به آن نیاز دارند اعمال شود. شما تبلیغات خودرو یا مکمل های سلامتی را نخواهید دید.

در حرکت رو به جلو، محققان می‌خواهند برخی از ویژگی‌های کمتر ارزیابی‌شده را بررسی کنند و شاید روش‌های برجسته‌سازی مختص کار را طراحی کنند. آنها همچنین می‌خواهند درک بهتری از نحوه درک افراد از خروجی‌های روش برجسته ایجاد کنند که می‌تواند به تجسم بهتر منجر شود. علاوه بر این، آنها کار خود را در یک مخزن عمومی میزبانی می کنند تا دیگران بتوانند بازخوردی ارائه دهند که کار آینده را هدایت می کند.

با انتشار مداوم روش‌های جدید، محققان MIT و IBM Research ابزاری برای کمک به کاربران در انتخاب بهترین روش برجسته برای کار خاص خود ایجاد کردند. آن‌ها کارت‌های برجسته را توسعه دادند که مستندات استانداردی از نحوه عملکرد یک روش، از جمله نقاط قوت و ضعف و توضیحات آن برای کمک به کاربران برای تفسیر صحیح آن ارائه می‌کند.

نوآوری

ابزار جدید به مردم کمک می کند روش مناسبی را برای ارزیابی مدل های هوش مصنوعی انتخاب کنند

دانستن اینکه یک مدل چگونه رفتار می کند به کاربران کمک می کند تا پیش بینی های آن را تفسیر کنند

تاریخ انتشار: سه شنبه 30 خرداد 1392 – 12:02