دیپ مایند و راهکار جدید برای مقابله با حملات تزریق پرامپت در مدل های هوش مصنوعی

دیپ مایند گوگل به تازگی رویکرد جدیدی برای مقابله با حملات تزریق پرامپت در مدل های زبانی بزرگ (LLM) معرفی کرده است. این حملات که از زمان ظهور چت بات ها در سال 2022 به یک مشکل امنیتی تبدیل شده، موجب نگرانی های زیادی برای توسعه دهندگان شده است. حالا با معرفی سیستم جدید به نام CaMeL، دیپ مایند سعی دارد راه نفوذ هکرها را به مدل های هوش مصنوعی ببندد.

مفهوم حملات تزریق پرامپت و مشکلات آن

حملات تزریق پرامپت به نوعی از حملات گفته می شود که در آن هکرها با دستکاری ورودی های مدل های هوش مصنوعی، آنها را به انجام اقدامات غیرقانونی یا تولید محتوای مخرب وادار می کنند. این آسیب پذیری از زمان رایج شدن چت بات ها به یکی از نگرانی های بزرگ در حوزه امنیت سایبری تبدیل شده است.

معرفی CaMeL: رویکرد جدید برای مقابله با حملات

CaMeL یک سیستم دوگانه جدید است که وظیفه تقسیم کار بین دو مدل زبانی بزرگ را بر عهده دارد. این سیستم باعث می شود که بین دستورات کاربر و محتوای مخرب مرزبندی واضحی ایجاد شود. سیستم CaMeL از دو مدل اصلی به نام های P-LLM و Q-LLM استفاده می کند:

P-LLM: این مدل کارهای لازم را انجام داده و کدهای مورد نیاز را تولید می کند. تنها دستورات مستقیم کاربر را پردازش می کند و هیچ گونه محتوای ایمیل یا مطالب را نمی بیند.

Q-LLM: این مدل وظیفه تجزیه داده های بدون ساختار به خروجی های ساختاریافته را به عهده دارد. این مدل کاملاً منزوی است و هیچ گونه دسترسی به ابزار یا حافظه ندارد. بنابراین، نمی تواند هیچ اقدامی انجام دهد یا مورد سوءاستفاده قرار گیرد.

نتایج و مزایای CaMeL

این سیستم دوگانه تضمین می کند که حتی اگر هکرها سعی کنند مدل را فریب دهند، قادر به انجام کارهای غیرقانونی نخواهند بود. این رویکرد امنیتی می تواند مدل های زبانی بزرگ را از آسیب های بیشتر محافظت کند و تهدیدات امنیتی ناشی از حملات تزریق پرامپت را کاهش دهد.