مایکروسافت روش “اسکلِتون کی” را برای دور زدن محافظات امنیتی هوش مصنوعی افشا کرد

مایکروسافت روش اسکلِتون کی را برای دور زدن محافظات امنیتی هوش مصنوعی افشا کرد, محققان مایکروسافت با بهرهگیری از یک تکنیک نوین به نام اسکلِتون کی، موفق شدند لایههای امنیتی محافظتکننده مدلهای چتبات هوش مصنوعی را نقض کنند و آنها را به اجرای دستورات مخرب و ترسیمی اطلاعات خطرناک وا دارند.

مکانیزم حمله مهندسی پرامپت و فریبدهی مدل این روش در زمره حملات نوع تزریق پرامپت یا مهندسی اجتماعی علیه ماشین دستهبندی میشود. با ارسال توالی خاصی از دستورات متنی، مهاجم سیستم را القا میکند که نگهدارندههای خطمشی را نادیده بگیرد.

و اجرای دستورالعملهای مخرب گردد.

هویت دادههای در خطر و دامنه تاثیر بر اساس گزارش تیم تحقیقاتی، تکنیک اسکلِتون کی بر طیف وسیعی از مدلهای هوش مصنوعی و در موضوعاتی نظیر ارتکاب خشونت، ترویج نژادپرستی، انتشار دانش سلاحهای زیستی و محتوای سیاسی حساس موثر بوده است. با موفقیت در فریبدهی مدل، مهاجم میتواند به تولید راهنماهای ساخت مواد منفجره، روشهای تکهتکه کردن اجساد یا سایر محتوای غیرقانونی و آزاردهنده بپردازد.

محدودیتهای فنی حمله راسینوویچ تأکید دارد که علیرغم خطرناک بودن این روش، مرزهای cụ ểای برای سوءاستفاده وجود دارد. از آنجا که هدف حمله خودِ مدل است، مهاجم از این مسیر نمیتواند به دادههای کاربران، کلیدهای رمزنگاری یا کنترل یم زیرساخت سیستمی دسترسی پیدا کند.

ضرورت تقویت دفاعهای لایهای افشای این آسیبپذیری ضرورت توسعه مکانیزمهای دفاعی پیشرفتهتر — از جمله نظارت بر خروجیها، فیلترهای محتوای چندلایه و آموزش تقویتی با بازخورد انسانی (RLHF) مقاومتر — را برای شرکتهای توسعهدهنده هوش مصنوعی دوچندان میکند تا از سوءاستفادههای احتمالی در مقیاس جهانی پیشگیری شود.