هوش مصنوعی هر روز توانمندتر می‌شود؛ از برنامه‌نویسی و حل مسائل پیچیده گرفته تا کمک به پژوهش‌های علمی. اما یک سؤال مهم هنوز وجود دارد: وقتی یک مدل هوش مصنوعی ادعا می‌کند کاری را می‌تواند انجام دهد، چه کسی این ادعا را بررسی می‌کند؟

بخش زیادی از اطلاعات مربوط به مدل‌های پیشرفته هوش مصنوعی، به‌ویژه مدل‌هایی که هنوز عمومی نشده‌اند، در اختیار شرکت‌های سازنده آن‌هاست. آزمایش‌های پیش از عرضه و برخی ارزیابی‌های ایمنی نیز معمولاً در همین محیط‌ها انجام می‌شوند. در نتیجه، پژوهشگران مستقل همیشه نمی‌توانند نتایج را ببینند، تکرار کنند یا از نزدیک بررسی کنند.

ثورستن هولتس (Thorsten Holz) در مقاله‌ای در مجله Science به همین مسئله پرداخته است. او معتقد است برای اینکه بتوان درباره توانایی و ایمنی هوش مصنوعی با اطمینان بیشتری صحبت کرد، نتایج ارزیابی‌ها باید تا حد امکان توسط پژوهشگران و نهادهای مستقل نیز قابل بررسی باشند.

چرا این موضوع مهم است؟ چون هرچه مدل‌های هوش مصنوعی قدرتمندتر می‌شوند، شناخت دقیق توانایی‌ها و محدودیت‌های آن‌ها نیز اهمیت بیشتری پیدا می‌کند. از این منظر، «جشنواره اندیشمندان و دانشمندان جوان» نیز بر اهمیت یک مسیر علمی تأکید دارد که در آن ایده فقط مطرح نمی‌شود؛ بلکه باید آزمایش، ارزیابی و بررسی شود تا بتوان به نتیجه آن اعتماد کرد.

چرا ارزیابی هوش مصنوعی باید مستقل باشد؟

در علم، یک نتیجه فقط به دلیل تأیید سازنده آن پذیرفته نمی‌شود. پژوهشگران دیگر باید بتوانند آن را بررسی و در شرایط مناسب تکرار کنند. برای مثال، اثربخشی یک دارو توسط نهادهای علمی و نظارتی بررسی می‌شود و الگوریتم‌های رمزنگاری نیز پیش از استفاده گسترده، توسط متخصصان مختلف آزمایش می‌شوند. روش‌های آماری و ریاضی هم به سنجش میزان اطمینان به این نتایج کمک می‌کنند.

همین اصل درباره ارزیابی هوش مصنوعی هم اهمیت دارد. اگر یک شرکت اعلام کند مدلش در آزمایش‌های ایمنی موفق بوده، اما دیگران نتوانند شرایط آزمایش یا خود مدل را بررسی کنند، اطمینان از این نتیجه دشوار می‌شود.

این مسئله درباره مدل‌های پیشرفته هوش مصنوعی جدی‌تر است؛ زیرا عملکرد آن‌ها می‌تواند با تغییر محیط، نوع وظیفه یا حتی شیوه ارزیابی تغییر کند. بنابراین، بررسی مستقل می‌تواند تصویر دقیق‌تری از توانایی‌ها و محدودیت‌های یک مدل ارائه دهد.

چرا سنجش توانایی مدل‌های هوش مصنوعی پیچیده است؟

در یک آزمایش معمولی، پژوهشگر شرایط مشخصی را تعیین می‌کند و واکنش سیستم را می‌سنجد. اما درباره مدل‌های پیشرفته هوش مصنوعی، اندازه‌گیری توانایی‌ها همیشه به همین سادگی نیست.

یک مدل ممکن است در یک وظیفه عملکرد بسیار خوبی داشته باشد، اما وقتی محیط، دستورها یا ابزارهای در دسترس تغییر می‌کنند، نتیجه متفاوتی نشان دهد. بنابراین، عملکرد مدل را نمی‌توان همیشه با یک آزمون یا یک عدد مشخص توصیف کرد.

این پیچیدگی زمانی بیشتر می‌شود که مدل بتواند درباره دستورها و محیط اطراف خود استدلال کند. در چنین شرایطی، نحوه طراحی آزمایش نیز می‌تواند بر رفتار مدل و نتیجه ارزیابی اثر بگذارد.

به همین دلیل، برای شناخت دقیق‌تر توانایی‌های یک مدل هوش مصنوعی، لازم است آن را در شرایط و سناریوهای مختلف بررسی کرد و دید آیا نتایج به‌دست‌آمده در آزمایش‌های متفاوت نیز تکرار می‌شوند یا نه.

آیا هوش مصنوعی می‌تواند هنگام ارزیابی رفتار خود را تغییر دهد؟

یکی از چالش‌های مهم در ارزیابی مدل‌های هوش مصنوعی این است که یک مدل ممکن است به شرایط آزمایش واکنش متفاوتی نشان دهد. در یکی از نمونه‌های مطرح‌شده در مقاله، مدلی در محیطی شبیه‌سازی‌شده فعالیت می‌کرد. وقتی این محیط به‌طور غیرمنتظره به اینترنت متصل شد، مدل همچنان شرایط ایجادشده را بخشی از همان شبیه‌سازی در نظر گرفت و برای نادیده‌گرفتن شواهد مخالف استدلال‌هایی ارائه کرد.

این نمونه نشان می‌دهد که بررسی یک مدل با یک آزمون ثابت لزوماً برای شناخت رفتار آن کافی نیست. پژوهشگران باید مدل را در شرایط مختلف آزمایش کنند و ببینند آیا نتایج در محیط‌های متفاوت نیز تکرار می‌شوند یا نه.

اینجاست که روش‌های آماری و طراحی آزمایش، به‌عنوان بخشی از علوم پایه، اهمیت پیدا می‌کنند؛ زیرا می‌توانند به تشخیص تفاوت میان یک رفتار اتفاقی و الگویی کمک کنند که در آزمایش‌های مختلف تکرار می‌شود.

چرا بنچمارک‌های هوش مصنوعی به‌تنهایی کافی نیستند؟

بنچمارک‌ها یکی از ابزارهای مهم برای ارزیابی مدل‌های هوش مصنوعی هستند. آن‌ها عملکرد یک مدل را در مجموعه‌ای از مسائل مشخص اندازه‌گیری می‌کنند و امکان مقایسه مدل‌های مختلف را فراهم می‌کنند.

اما یک مدل ممکن است در یک آزمون امتیاز بالایی بگیرد و در یک محیط متفاوت، عملکرد دیگری نشان دهد. بنابراین، یک امتیاز بالا لزوماً به معنای شناخت کامل توانایی‌های مدل نیست. این مسئله زمانی مهم‌تر می‌شود که مدل با وظایف طولانی، شرایط غیرمنتظره یا ابزارهای خارجی روبه‌رو شود.

به همین دلیل، ارزیابی مدل‌های پیشرفته باید فراتر از بنچمارک‌ها باشد و آزمون‌های امنیتی، محیط‌های شبیه‌سازی‌شده و سناریوهای متنوع را نیز دربر بگیرد.

تفاوت بنچمارک و ارزیابی مستقل هوش مصنوعی

ویژگی	بنچمارک	ارزیابی مستقل
هدف	سنجش عملکرد در وظایف مشخص	بررسی توانایی‌ها، محدودیت‌ها و خطرهای احتمالی
شرایط آزمایش	معمولاً از پیش تعیین‌شده	می‌تواند متنوع و غیرقابل پیش‌بینی باشد
نتیجه	معمولاً یک امتیاز یا نرخ موفقیت	مجموعه‌ای از یافته‌ها و شواهد
بررسی امنیت	محدود به آزمون‌های طراحی‌شده	امکان بررسی نقاط ضعف و رفتارهای غیرمنتظره
امکان تکرار	وابسته به دسترسی به آزمون و مدل	نیازمند دسترسی کنترل‌شده پژوهشگران

Red Teaming در هوش مصنوعی چیست؟

Red Teaming یکی از روش‌های مهم برای ارزیابی امنیت هوش مصنوعی است که در آن پژوهشگران و ارزیابان تلاش می‌کنند نقاط ضعف یک مدل را در شرایط مختلف پیدا کنند.

هدف فقط این نیست که ببینیم مدل چه کارهایی را به‌درستی انجام می‌دهد؛ بلکه مهم است بفهمیم در چه شرایطی ممکن است اشتباه کند یا رفتار غیرمنتظره‌ای داشته باشد.

برای این کار، مدل می‌تواند با ورودی‌های غیرمنتظره، سناریوهای پیچیده یا موقعیت‌هایی مواجه شود که احتمال بروز خطا در آن‌ها بیشتر است.

به این ترتیب، Red Teaming می‌تواند نقاط ضعفی را آشکار کند که در بنچمارک‌ها و آزمون‌های استاندارد به چشم نمی‌آیند.

چرا ارزیابی ایمنی مدل‌های پیشرفته هوش مصنوعی دشوار است؟

برای شناخت سقف توانایی یک مدل، پژوهشگران گاهی محدودیت‌های حفاظتی آن را کاهش می‌دهند یا مدل را در محیط‌هایی با آزادی عمل بیشتر آزمایش می‌کنند. این آزمایش‌ها اطلاعات مهمی درباره توانایی‌ها و خطرهای احتمالی مدل می‌دهند، اما ریسک آزمایش را هم افزایش می‌دهند.

اینجاست که علوم پایه، به‌ویژه ریاضیات و علوم کامپیوتر، با کمک به مدل‌سازی رفتار و طراحی آزمایش‌های کنترل‌شده اهمیت پیدا می‌کند. چون یک مدل می‌تواند درباره محیط اطراف خود استدلال کند، پیش‌بینی و کنترل کامل رفتار آن همیشه ساده نیست.

بنابراین، ارزیابی ایمنی باید هم توانایی واقعی مدل را آشکار کند و هم احتمال خروج آزمایش از محدوده کنترل‌شده را کاهش دهد

پژوهشگران مستقل چگونه می‌توانند مدل‌های هوش مصنوعی را بررسی کنند؟

یکی از راهکارهای پیشنهادی، فراهم‌کردن دسترسی کنترل‌شده برای دانشگاه‌ها، مؤسسات تحقیقاتی و ارزیابان مستقل است.

این دسترسی لزوماً به معنای انتشار عمومی مدل‌های حساس نیست. پژوهشگران می‌توانند در محیط‌های امن و تحت قوانین مشخص، مدل را آزمایش کنند و نتایج به‌دست‌آمده را بررسی کنند.

مؤسسه امنیت هوش مصنوعی بریتانیا (UK AI Security Institute) نمونه‌ای از این رویکرد است که مدل‌های پیشرفته را پیش از عرضه در حوزه‌هایی مانند توانایی‌های علمی، برنامه‌نویسی و امنیت آزمایش می‌کند.

مزیت چنین روشی این است که ارزیابی یک مدل فقط به تیم سازنده آن محدود نمی‌ماند و پژوهشگران دیگر نیز می‌توانند نتایج را بررسی، تکرار و در صورت نیاز به چالش بکشند.

اینجا همکاری میان رشته‌های مختلف اهمیت پیدا می‌کند؛ چون بررسی مدل‌های پیشرفته فقط به علوم کامپیوتر محدود نمی‌شود و حوزه‌هایی مانند ریاضیات، آمار و علوم مختلف نیز می‌توانند در طراحی روش‌های دقیق‌تر ارزیابی نقش داشته باشند؛ رویکردی که در «جشنواره اندیشمندان و دانشمندان جوان» نیز با تأکید بر پیوند میان ایده‌های علمی و رشته‌های مختلف دنبال می‌شود.

چرا گزارش خطاهای هوش مصنوعی اهمیت دارد؟

گاهی مهم‌ترین اطلاعات درباره ایمنی یک فناوری، از زمانی به دست می‌آید که چیزی طبق انتظار پیش نمی‌رود.

اگر یک آزمایش امنیتی با مشکل مواجه شود و این اتفاق به‌درستی گزارش شود، پژوهشگران دیگر می‌توانند از آن برای شناخت بهتر خطرها و طراحی آزمایش‌های دقیق‌تر استفاده کنند.

در هوانوردی، سامانه گزارش‌دهی ایمنی ناسا (NASA ASRS) گزارش‌های محرمانه مربوط به حوادث و موقعیت‌های نزدیک به حادثه را جمع‌آوری می‌کند تا از تجربه‌های ثبت‌شده برای کاهش خطرهای آینده استفاده شود.

هوش مصنوعی نیز می‌تواند از سازوکاری مشابه بهره ببرد؛ به‌گونه‌ای که خطاها و حوادث، به‌جای پنهان‌ماندن، به داده‌ای برای یادگیری و بهبود ارزیابی‌های ایمنی تبدیل شوند.

اگر هر آزمایشگاه مجبور باشد خطاهای مشابه را جداگانه کشف کند، فرصت یادگیری جمعی از بین می‌رود. ثبت و به‌اشتراک‌گذاری مناسب این تجربه‌ها می‌تواند به کل جامعه پژوهشی کمک کند سریع‌تر نقاط ضعف مدل‌های هوش مصنوعی را شناسایی کند.

آینده ارزیابی مستقل هوش مصنوعی چیست؟

احتمالاً در آینده، یک آزمون واحد نمی‌تواند توانایی‌های مدل‌های پیشرفته هوش مصنوعی را به‌طور کامل نشان دهد.

مدل‌ها می‌توانند در کنار بنچمارک‌های استاندارد، در محیط‌های شبیه‌سازی‌شده، وظایف طولانی‌مدت، آزمون‌های امنیتی و سناریوهای غیرمنتظره نیز ارزیابی شوند.

در این میان، دانشگاه‌ها، مؤسسات عمومی و ارزیابان مستقل می‌توانند نقش پررنگ‌تری داشته باشند تا ادعاهای مربوط به توانایی و ایمنی مدل‌ها فقط از سوی شرکت سازنده بررسی نشود.

البته ایجاد چنین سیستمی ساده نیست. پژوهشگران باید به مدل‌های قدرتمند دسترسی کافی داشته باشند، اما این دسترسی نباید به انتشار کنترل‌نشده توانایی‌های حساس منجر شود.

پیدا کردن تعادل میان دسترسی پژوهشی و ایمنی، یکی از چالش‌های مهم در آینده ارزیابی مستقل هوش مصنوعی خواهد بود.

جمع‌بندی؛ چرا ارزیابی مستقل هوش مصنوعی ضروری است؟

مدل‌های پیشرفته هوش مصنوعی هر روز توانمندتر می‌شوند، اما یک بنچمارک یا آزمون واحد نمی‌تواند تمام توانایی‌ها و خطرهای آن‌ها را نشان دهد.

به همین دلیل، ارزیابی مستقل هوش مصنوعی، دسترسی کنترل‌شده پژوهشگران و روش‌هایی مانند Red Teaming می‌توانند به شناخت دقیق‌تر رفتار این مدل‌ها کمک کنند. در این مسیر، ریاضیات و آمار نیز با کمک به طراحی آزمایش و تحلیل نتایج، بخشی از نقش علوم پایه را ایفا می‌کنند.

گزارش خطاها و شکست‌های آزمایشگاهی نیز اهمیت زیادی دارد؛ زیرا یک مشکل ثبت‌شده می‌تواند به پژوهشگران دیگر کمک کند آزمایش‌های دقیق‌تری طراحی کنند و از تکرار همان خطا جلوگیری شود.

در نهایت، مسئله فقط این نیست که هوش مصنوعی چه کاری می‌تواند انجام دهد؛ مهم این است که چقدر از این ادعا مطمئن هستیم. رسیدن به این اطمینان به همکاری شرکت‌های فناوری، دانشگاه‌ها، پژوهشگران مستقل و نهادهای نظارتی نیاز دارد؛ مسیری که با تأکید «جشنواره اندیشمندان و دانشمندان جوان» بر پژوهش، آزمایش و اعتبارسنجی ایده‌های علمی نیز هم‌راستاست.

منبع: Science.org