امنیت ایجنت هوش مصنوعی فقط فیلتر چند واژه نامناسب نیست. ایجنت می تواند فایل بخواند، API فراخوانی کند یا تغییری در سامانه بسازد؛ بنابراین یک برداشت اشتباه ممکن است از پاسخ بد به اقدام بد تبدیل شود. راه حل، دفاع چند لایه و اختیار محدود است.
مدل تهدید را از داده تا اقدام رسم کنید
ورودی کاربر تنها منبع خطر نیست. متن یک وب سایت، سند بازیابی شده، پاسخ ابزار و حتی حافظه قبلی می تواند دستور مخرب در خود داشته باشد. برای هر منبع بنویسید چه کسی آن را کنترل می کند، چه اعتمادی به آن دارید و چگونه پیش از ورود به تصمیم پالایش می شود.
تزریق دستور چیست؟
در تزریق دستور، محتوای ورودی تلاش می کند قواعد اصلی را کنار بزند یا ایجنت را به استفاده نامجاز از ابزار وادار کند. هیچ جمله جادویی در پرامپت این خطر را کامل حذف نمی کند. دستور سامانه، داده بازیابی شده و فرمان ابزار باید از نظر ساختاری جدا باشند و کنترل واقعی دسترسی بیرون از مدل اجرا شود.
اصل دسترسی حداقلی
ایجنت فقط به ابزار لازم برای همان نقش دسترسی داشته باشد. توکن کوتاه عمر، دامنه محدود و دسترسی خواندن جدا از نوشتن اهمیت دارد. اگر ایجنت برای پاسخ به وضعیت سفارش فقط خواندن لازم دارد، نباید کلید حذف یا ویرایش دریافت کند.
گاردریل های ورودی، ابزار و خروجی
- ورودی: نوع فایل، اندازه، داده شخصی و الگوی حمله را بررسی کند.
- ابزار: مجوز، پارامتر، نرخ و دامنه عمل را محدود کند.
- خروجی: داده محرمانه، ادعای بی منبع و قالب نامعتبر را بسنجد.
- اجرا: زمان، هزینه و تعداد گام را سقف گذاری کند.
تایید انسانی برای اقدام برگشت ناپذیر
پرداخت، حذف، انتشار عمومی و تغییر دسترسی به تایید روشن نیاز دارند. صفحه تایید باید نشان دهد ایجنت چه کاری، روی کدام داده و با چه پیامدی انجام می دهد. دکمه تایید مبهم، کنترل واقعی نیست.
ایزوله سازی و مدیریت فایل
کد یا فایل ناشناس را در محیط جدا و بدون رازهای اضافی اجرا کنید. نوع واقعی فایل را بررسی کنید و نمایش مستقیم فرمت های فعال را محدود سازید. کلیدها نباید در متن دستور یا لاگ قرار گیرند. هر ابزار باید راز خود را در سمت سرور دریافت کند.
ثبت رویداد و پاسخ به حادثه
شناسه اجرا، نسخه دستور، مدل، ابزار، تصمیم تایید و نتیجه گاردریل را ثبت کنید. برای داده شخصی، پالایش و دوره نگهداری تعریف کنید. امکان قطع ابزار، باطل کردن توکن و توقف سریع ایجنت بخشی از طراحی است، نه کاری برای بعد از حادثه.
چک لیست پیش از انتشار
- دارایی و جریان داده فهرست شده است.
- ابزار نوشتنی از خواندنی جداست.
- ورودی غیرقابل اعتماد به عنوان دستور اجرا نمی شود.
- اقدام پرریسک تایید انسانی دارد.
- آزمون حمله و سناریوی شکست اجرا شده است.
- مسیر توقف و پاسخ به حادثه تمرین شده است.