ابزار جدید به مردم کمک می کند روش مناسبی را برای ارزیابی مدل های هوش مصنوعی انتخاب کنند

با تشکر،
خلاصه کیفیت

منبع: https://www.qualitydigest.com/inside/innovation-news/new-tool-helps-people-choose-right-method-evaluating-ai-models-061923.html

در حرکت رو به جلو، محققان می‌خواهند برخی از ویژگی‌های کمتر ارزیابی‌شده را بررسی کنند و شاید روش‌های برجسته‌سازی مختص کار را طراحی کنند. آنها همچنین می‌خواهند درک بهتری از نحوه درک افراد از خروجی‌های روش برجسته ایجاد کنند که می‌تواند به تجسم بهتر منجر شود. علاوه بر این، آنها کار خود را در یک مخزن عمومی میزبانی می کنند تا دیگران بتوانند بازخوردی ارائه دهند که کار آینده را هدایت می کند.

این به شما می گوید که هر پیکسل سیاه در تصویر شما مهم نیست، حتی اگر مهم باشد، زیرا با آن خط پایه بی معنی یکسان است. بوگوست می‌گوید: اگر به اشعه ایکس نگاه می‌کنید، این می‌تواند مشکل بزرگی باشد، زیرا رنگ سیاه می‌تواند برای پزشکان معنی‌دار باشد.

این مصاحبه ها چند شگفتی را نیز آشکار کرد. محققان اغلب انتظار دارند که پزشکان روشی را بخواهند که واضح باشد، به این معنی که بر روی یک شی خاص در یک تصویر پزشکی تمرکز می کند. اما پزشک در این مطالعه در واقع مقداری نویز در تصاویر پزشکی را برای کمک به کاهش عدم قطعیت ترجیح داد.

خلاصه کیفیت برای محتوای آن از خوانندگان هزینه ای دریافت نمی کند. ما معتقدیم که اخبار صنعت برای شما مهم است که کار خود را انجام دهید، و خلاصه کیفیت از کسب و کارهای مختلف پشتیبانی می کند.

«آیا می توانیم این شکاف را پر کنیم؟ آیا روش برجسته ای وجود دارد که بتواند هر دو کار را انجام دهد؟ یا شاید این دو ایده از نظر تئوری با یکدیگر در تضاد باشند،” بوگوست می گوید.

کارت های خود را نشان می دهند

این کارت‌ها همچنین می‌توانند با آشکار کردن شکاف‌ها در فضای تحقیقاتی برای دانشمندان مفید باشند. به عنوان مثال، محققان MIT نتوانستند روش برجسته‌ای را شناسایی کنند که از نظر محاسباتی کارآمد باشد اما می‌توان آن را برای هر مدل یادگیری ماشینی نیز به کار برد.

این تحقیق تا حدی توسط آزمایشگاه هوش مصنوعی MIT-IBM Watson، آزمایشگاه تحقیقات نیروی هوایی ایالات متحده و شتاب دهنده هوش مصنوعی نیروی هوایی ایالات متحده پشتیبانی شد.

با این حال، انتخاب روش “اشتباه” می تواند عواقب جدی داشته باشد. به عنوان مثال، یک روش برجسته، که به عنوان گرادیان های یکپارچه شناخته می شود، اهمیت ویژگی ها را در یک تصویر با یک خط پایه بی معنی مقایسه می کند. ویژگی‌هایی که بیشترین اهمیت را در خط مبنا دارند، برای پیش‌بینی مدل بیشترین معنا را دارند. این روش معمولاً از همه 0 ها به عنوان خط پایه استفاده می کند، اما اگر برای تصاویر اعمال شود، همه 0 ها برابر با رنگ سیاه است.

ما واقعا امیدواریم که این اسناد زنده ای باشند که با توسعه روش ها و ارزیابی های برجسته جدید رشد کنند. بوگوست می‌گوید: در پایان، این واقعاً شروع یک گفتگوی بزرگ‌تر در مورد ویژگی‌های یک روش برجسته و چگونگی انجام وظایف مختلف است.

با این حال، کسی باید برای این محتوا هزینه کند. و اینجاست که تبلیغات وارد می‌شود. بیشتر مردم تبلیغات را یک مزاحم می‌دانند، اما آنها علاوه بر اینکه به شرکت‌های رسانه‌ای اجازه می‌دهند سرپا بمانند، عملکرد مفیدی نیز دارند. آنها شما را از محصولات و خدمات جدید مرتبط با صنعت خود آگاه می کنند. همه تبلیغات در خلاصه کیفیت مستقیماً برای محصولات و خدماتی که اکثر خوانندگان ما به آن نیاز دارند اعمال شود. شما تبلیغات خودرو یا مکمل های سلامتی را نخواهید دید.

این مقاله برای اولین بار در 31 مه 2023 در تاریخ انتشار یافته است اخبار MIT.

به Boggust در مقاله می‌پیوندند. هندریک استروبلت، پژوهشگر ارشد در IBM Research. جان گوتاگ، دوگالد سی جکسون، استاد علوم کامپیوتر و مهندسی برق در MIT. و نویسنده ارشد Arvind Satyanarayan، دانشیار علوم کامپیوتر در MIT، که رهبری گروه تجسم در CSAIL را بر عهده دارد. این تحقیق در کنفرانس ACM در مورد عدالت، پاسخگویی و شفافیت ارائه خواهد شد.

انتخاب روش مناسب