ملاحظات برای مرور عامل ایمن

اوایل امروز، پیش‌نمایش را راه‌اندازی کردیم اقدامات در Edge، یک ویژگی آزمایشی و انتخابی مرورگر عاملی است که برای اهداف آزمایشی و تحقیقاتی در دسترس است. Actions in Edge از مدل های مدرن CUA (Computer-Using Agent) برای تکمیل وظایف کاربران در مرورگرهایشان استفاده می کند. ما در مورد بسیاری از امکانات هیجان‌انگیز و نوظهور که این ویژگی به ارمغان می‌آورد هیجان‌زده هستیم، اما به‌عنوان یک فناوری جدید، بردارهای حمله بالقوه جدیدی را معرفی می‌کند که ما و بقیه صنعت در حال انجام آن هستیم.

ما مسئولیت خود را برای حفظ امنیت کاربران خود در وب بسیار جدی می‌گیریم. این فضا آنقدر جدید و ناشناخته است که نمی‌توانیم به تنهایی این کار را انجام دهیم. هدف ما از این پیش‌نمایش این است که این آب‌های جدید را با مجموعه کوچکی از کاربران و محققین درگیر که درک روشنی از احتمالات و خطرات بالقوه مرورگرهای عامل دارند، کشف کنیم. ما تعدادی کاهش ایجاد کرده‌ایم و در حال همکاری نزدیک با هوش مصنوعی و جامعه تحقیقاتی امنیتی برای توسعه و آزمایش رویکردهای جدید هستیم که در چند ماه آینده با جامعه فعال خود آزمایش خواهیم کرد. ما از همه ورودی ها و بازخوردها استقبال می کنیم و به طور فعال در مورد ما مشارکت خواهیم کرد کانال Discord اینجاست.

کاربران ویژگی Actions in Edge باید قبل از فعال کردن ویژگی، خطرات و هشدارهای موجود در Edge را با دقت بررسی کنند و هنگام مرور وب با فعال بودن آن مراقب باشند.

“نادیده گرفتن همه دستورالعمل های قبلی”: حملات تزریق سریع

چت ربات‌های هوش مصنوعی از همان ابتدا با حملات تزریق سریع سروکار داشته‌اند و حملات اولیه بیشتر آزاردهنده هستند تا خطرناک. اما همانطور که دستیاران هوش مصنوعی توانایی بیشتری پیدا کرده اند انجام دادن موارد (با اتصال دهنده ها، تولید کد و غیره)، خطرات افزایش یافته است. مرورگرهای عامل، به دلیل قدرت اضافی که به ارمغان می آورند و دسترسی آنها به وسعت وب باز، فرصت های بیشتری را برای مهاجمان ایجاد می کنند تا از شکاف ها و حفره ها استفاده کنند.

این یک نگرانی نظری نیست: محققان، از جمله تیم‌های امنیتی خودمان، قبلاً سوءاستفاده‌های اثبات مفهومی را منتشر کرده‌اند که از تزریق سریع برای کنترل مرورگرهای عامل اولیه استفاده می‌کنند. این مفاهیم نشان می‌دهند که بدون حفاظت، مهاجمان می‌توانند به راحتی محتوایی تولید کنند که داده‌های کاربران را می‌دزدد یا از طرف آن‌ها تراکنش‌های ناخواسته را انجام می‌دهد.

رویکرد ما به حملات تزریق سریع

کلید هر استراتژی حفاظتی، دفاع در عمق است:

• ورودی غیر قابل اعتماد: با این فرض شروع می کنیم که هر ورودی از یک منبع نامعتبر ممکن است حاوی دستورالعمل های ناامن باشد.
• انحرافات را تشخیص دهید: تزریق سریع معمولاً باعث می شود مدل کاری متفاوت از آنچه کاربر از آن خواسته انجام دهد. برای شناسایی و جلوگیری از انحرافات می توان اقدامات کاهشی ایجاد کرد.
• دسترسی به داده های حساس یا اقدامات خطرناک را محدود کنید: به زبان ساده، اگر مدل نتواند به چیزی برسد یا کار بدی انجام دهد، خطرات آن کمتر است.

محافظت از ورودی نامعتبر

این مرحله شامل اساسی ترین حفاظت است: محدودیت جایی که Copilot از آن داده ها را دریافت می کند. در این پیش‌نمایش، بلوک‌های سایت سطح بالای زیر را پیاده‌سازی کرده‌ایم تا از سایت‌های شناخته‌شده یا خطرناک جلوگیری کنیم.

• به صورت پیش‌فرض به سایت‌های شناخته شده اختصاص دارد – در تنظیمات پیش‌فرض «حالت متعادل»، Actions in Edge فقط اجازه دسترسی به فهرستی از سایت‌ها را می‌دهد. کاربران می توانند به Actions اجازه دهند تا با سایر سایت ها با آنها ارتباط برقرار کند. کاربران همچنین می‌توانند «Strict Mode» را در تنظیمات پیکربندی کنند که فهرست مجاز انتخاب‌شده را لغو می‌کند و به آنها کنترل کامل برای تأیید هر سایتی که Actions با آن تعامل دارد، می‌دهد.

• محافظت از صفحه نمایش هوشمند – Microsoft Defender SmartScreen روزانه میلیون‌ها کاربر Edge را در برابر سایت‌هایی که به‌عنوان کلاهبرداری، فیشینگ یا بدافزار تأیید شده‌اند شناسایی و محافظت می‌کند. در حالی که Copilot مرورگر را کنترل می کند، سایت های مشکوک یا بد به طور خودکار توسط SmartScreen مسدود می شوند و نماینده از دور زدن صفحه مسدود جلوگیری می کند.

برای هر سایتی که در Edge اقدام می کند می تواند دسترسی، داده های آن سایت ها در چند مرحله به دقت بررسی می شود و به عنوان نامعتبر علامت گذاری می شود. اقدامات کاهشی زیر در حال حاضر فعال یا در حال آزمایش هستند.

• Azure Prompt Shields با تجزیه و تحلیل اینکه آیا داده ها مخرب هستند، حملات را کاهش دهید.
• پشته ایمنی داخلی – Copilot به طور خاص برای شناسایی و گزارش نقض ایمنی در صورتی که محتوای مخرب سعی در تشویق خشونت یا رفتار مضر داشته باشد، آموزش دیده است.
• نورپردازی (در مرحله آزمایش) – کیسیمان، و همکاران، از تحقیقات مایکروسافت، تکنیکی به نام نورپردازی برای جداسازی بهتر دستورالعمل‌های کاربر از محتوای پایه (اسناد و صفحات وب) بنابراین مدل بهتر می‌تواند دستورات تزریقی را بدون تأثیرگذاری بر کارایی نادیده بگیرد. ما Spotlighting را با Actions در Edge آزمایش خواهیم کرد و در مورد اثربخشی آن گزارش خواهیم داد.

متخصصان امنیتی با تجربه می دانند که توانایی پاسخگویی به حملات جدید به اندازه خود بلوک های امنیتی مهم است.

• بلوک های SmartScreen در زمان واقعی – هنگامی که سایت‌های جدید به عنوان کلاهبرداری، فیشینگ یا بدافزار تأیید می‌شوند، سرویس SmartScreen می‌تواند آنها را برای همه کاربران Edge در سراسر جهان در عرض چند دقیقه مسدود کند.
• به روز رسانی لیست بلوک جهانی در عرض چند ساعت – هنگامی که سایت‌های جدید برای خواندن Copilot ناامن شناسایی می‌شوند، می‌توانیم فهرست مسدود جهانی را ظرف چند ساعت به‌روزرسانی کنیم.

شناسایی و مسدود کردن انحرافات از کار

مدل‌های مدرن هوش مصنوعی، بر اساس طراحی، مسیرهای غیرقابل پیش‌بینی را برای انجام وظایفی که تعیین می‌کنند، طی می‌کنند. این امر می تواند تعیین اینکه آیا مدل کاری را که از او خواسته شده انجام می دهد یا خیر، چالش برانگیز می کند.

در Actions for Edge، چک هایی را برای شناسایی اضافه می کنیم دستورالعمل های پنهان، رانش وظیفه، و زمینه مشکوک و درخواست تایید زمانی که خطر بیشتر است. مثالها عبارتند از:

• بررسی های مربوط، نشان داده شده در بالا، اگر یک مدل ثانویه جابجایی کار احتمالی را تشخیص دهد، به کاربر فرصتی می دهد تا یک عمل را متوقف کند.
• درخواست سایت با ریسک بالا – زمانی که یک زمینه حساس تشخیص داده شود (مثلاً ایمیل، بانکداری، سلامت، موضوعات حساس)، مدل متوقف می شود و برای ادامه درخواست اجازه می دهد.
• Task Tracker (در حال آزمایش) – تبدیل کنید و همکاران تکنیک جدیدی را توصیف کرد که به نام Task Tracker، که دلتاهای فعال سازی را برای تشخیص زمانی که مدل از هدف اصلی کاربر پس از پردازش داده های خارجی دور می شود، نظارت می کند. ما این تکنیک ها را در لایه ارکستراسیون خود ادغام می کنیم، دقت آنها را تایید می کنیم و با تیم امنیتی MAI موارد مثبت کاذب را کاهش می دهیم. در اینجا نیز از پیشرفت گزارش خواهیم کرد.

دسترسی به داده های حساس یا اقدامات خطرناک را محدود کنید

در نهایت، برای کاهش تأثیر هرگونه دور زدن، زمانی که مدل در حال اجرا است، مرورگر دسترسی خود را به داده های حساس یا اقدامات خطرناک محدود می کند. در این پیش‌نمایش، ما توانایی مدل را برای استفاده از داده‌های تکمیل فرم، از جمله رمز عبور، غیرفعال کرده‌ایم.

سایر محدودیت ها عبارتند از (اما محدود به آنها نمی شود):

• بدون تعامل با صفحات edge:// (به عنوان مثال، تنظیمات) یا رابط کاربری خارج از محتوای وب یک برگه.
• راه‌اندازی برنامه‌های خارجی مسدود شده‌اند (برگزارکننده‌های پروتکل).
• دانلودها غیرفعال هستند
• امکان باز کردن گفتگوی انتخاب فایل یا دایرکتوری وجود ندارد.
• بدون دسترسی به داده ها یا برنامه های خارج از Edge
• منوهای زمینه غیرفعال هستند.
• صدای برگه به ​​طور پیش فرض بی صدا است.
• تغییرات مجوز سایت مسدود شده است (به عنوان مثال، اگر سایتی مجوز دسترسی به دوربین را درخواست کند، نماینده نمی تواند آن مجوز را اعطا کند).

همانطور که هم موارد استفاده ای را که جامعه کشف می کند و ارزشمند می یابد و هم نگرانی های امنیتی را آزمایش و ارزیابی می کنیم، برای بستن راه های اضافی خطر احتمالی تلاش خواهیم کرد.

بسته شدن

ما مشتاقیم از آزمایش شما بیاموزیم – چه کارهایی را امتحان می‌کنید، چگونه Copilot انجام می‌دهد و با چه خطرات جدیدی روبرو می‌شوید – بنابراین می‌توانیم تجربه را ایمن‌تر و مفیدتر کنیم. اگر بازخورد یا سؤالی دارید، لطفاً آنها را در کانال های پیش نمایش به اشتراک بگذارید.