استارتاپ Moonshot قابلیت‌های تهاجمی مدل هوش مصنوعی Kimi را محدود کرد
شرکت چینی Moonshot AI اعلام کرده است که در توسعه مدل جدید خود، Kimi K3.1 Pro، اقداماتی برای کاهش قابلیت‌های مرتبط با حملات سایبری انجام داده است. این تصمیم در شرایطی گرفته شده که نگرانی‌ها درباره امکان استفاده از مدل‌های پیشرفته هوش مصنوعی برای شناسایی آسیب‌پذیری‌ها و خودکارسازی حملات سایبری رو به افزایش است.
Moonshot می‌گوید داده‌های مرتبط با فعالیت‌های سایبری تهاجمی را از مجموعه‌داده آموزشی و محیط‌های یادگیری تقویتی مدل حذف کرده، در حالی که قابلیت‌های عمومی برنامه‌نویسی را حفظ کرده است. هدف اعلام‌شده شرکت این است که نسخه قابل‌دسترس مدل، توانایی‌های تهاجمی سایبری را از مرزهای فعلی فراتر نبرد. طبق نتایج داخلی منتشرشده از سوی شرکت، نسخه تعدیل‌شده در یک آزمون کنترل‌شده برای شناسایی و بهره‌برداری از آسیب‌پذیری‌های نرم‌افزاری امتیاز ۸۱ درصد کسب کرده است؛ در مقایسه با ۹۰٫۵ درصد برای نسخه مشابهی که این محدودیت‌ها را نداشت. این نتایج هنوز به‌صورت مستقل تأیید نشده‌اند.
Kimi K3.1 Pro یک مدل با وزن‌های قابل‌دسترسی برای توسعه‌دهندگان است؛ یعنی کاربران فنی می‌توانند پس از انتشار وزن‌های مدل، آن را در زیرساخت خود اجرا و در محدوده مجاز تغییر دهند. شرکت قصد دارد وزن‌های مدل را در ۴ نوامبر منتشر کند و نسخه سریع‌تری به نام K3.1 Pro Highspeed را نیز معرفی کرده است.
انتشار مدل‌های دارای وزن باز، فرصت‌هایی برای پژوهشگران و کسب‌وکارها ایجاد می‌کند؛ از جمله امکان اجرای محلی و بررسی رفتار مدل. در مقابل، پس از انتشار گسترده وزن‌ها، کنترل دسترسی و اعمال محدودیت‌های جدید برای توسعه‌دهنده دشوارتر می‌شود. برای شرکت‌هایی که از هوش مصنوعی در توسعه نرم‌افزار یا عملیات امنیتی استفاده می‌کنند، این خبر یک مسئله مهم را برجسته می‌کند: چگونه می‌توان قابلیت‌های مفید برنامه‌نویسی و دفاع سایبری را حفظ کرد، بدون آنکه مدل‌ها به ابزار قدرتمندتری برای حمله تبدیل شوند؟
منبع: Reuters — محدودسازی قابلیت‌های سایبری مدل جدید Moonshot
—————————-
دولت بریتانیا حدود ۸۰۰ میلیون دلار برای مقابله با تهدیدهای هوش مصنوعی اختصاص می‌دهد
دولت بریتانیا در ۲۴ اکتبر از برنامه تأمین مالی جدیدی به ارزش حدود ۶۰۰ میلیون پوند، معادل تقریباً ۸۰۰ میلیون دلار، برای مقابله با تهدیدهای مرتبط با هوش مصنوعی خبر داد. تمرکز اصلی این برنامه بر امنیت زیستی و حفاظت در برابر خطرهای احتمالی ناشی از استفاده مخرب از فناوری‌های پیشرفته است.
یکی از بخش‌های اصلی برنامه، اختصاص ۱۰۰ میلیون پوند به ایجاد آزمایشگاهی با عنوان AI Biosecurity Lab است. این مرکز قرار است از ابزارهای هوش مصنوعی برای شناسایی تهدیدهای زیستی و کمک به تشخیص خطرهای نوظهور استفاده کند. همچنین ۶۵ میلیون پوند برای توسعه اقدامات مقابله‌ای در برابر عوامل بیماری‌زا در نظر گرفته شده است.
بر اساس گزارش منتشرشده، شرکت‌های OpenAI و Anthropic نیز متعهد شده‌اند تا سقف ۲۰۰ میلیون پوند اعتبار استفاده از مدل‌های خود را برای این ابتکار فراهم کنند. Google DeepMind و شرکت بریتانیایی Basecamp Research نیز قرار است پشتیبانی‌هایی ارائه دهند.زاین طرح در شرایطی مطرح شده است که پیشرفت مدل‌های هوش مصنوعی می‌تواند پژوهش‌های زیستی را تسریع کند، اما هم‌زمان پرسش‌هایی درباره امکان سوءاستفاده از این ابزارها برای طراحی یا توسعه تهدیدهای زیستی ایجاد کرده است.
این برنامه نشان می‌دهد که دولت‌ها به‌تدریج امنیت هوش مصنوعی را از موضوعی صرفاً فنی به حوزه‌ای راهبردی در سیاست‌گذاری عمومی تبدیل می‌کنند. برای استارتاپ‌های فعال در زیست‌فناوری و هوش مصنوعی، افزایش سرمایه‌گذاری دولتی می‌تواند فرصت‌هایی برای همکاری پژوهشی ایجاد کند؛ در عین حال، رعایت استانداردهای ایمنی و نظارتی اهمیت بیشتری خواهد یافت.
منبع: گزارش رویترز درباره برنامه امنیت هوش مصنوعی دولت بریتانیا
—————————-
امنیت عامل‌های هوش مصنوعی به یکی از بازارهای رو‌به‌رشد فناوری تبدیل شده است
تحولات اخیر در بازار امنیت سایبری نشان می‌دهد که افزایش استفاده از عامل‌های هوش مصنوعی، نیاز به ابزارهای جدید برای شناسایی و کنترل فعالیت‌های خودکار را بیشتر کرده است. عامل‌های هوش مصنوعی می‌توانند وظایفی مانند بررسی داده‌ها، اجرای کد، تعامل با نرم‌افزارها و انجام فرایندهای چندمرحله‌ای را با دخالت کمتر انسان پیش ببرند.
این توانایی‌ها برای کسب‌وکارها فرصت‌هایی ایجاد می‌کنند، اما در صورت دسترسی نامناسب به داده‌ها یا مجوزهای بیش از حد، ممکن است ریسک‌های تازه‌ای نیز به همراه داشته باشند. از همین رو، شرکت‌های امنیتی در حال توسعه ابزارهایی هستند که فعالیت عامل‌ها را ثبت کنند، مجوزهای آن‌ها را محدود سازند و رفتار غیرعادی را شناسایی کنند.
در هفته جاری، شرکت امنیت سایبری Mave از جذب ۳۴ میلیون دلار سرمایه برای توسعه سامانه دفاعی مبتنی بر عامل‌های هوش مصنوعی خبر داده بود.
با افزایش استفاده از عامل‌های هوش مصنوعی در سازمان‌ها، امنیت تنها به محافظت از کاربران انسانی محدود نخواهد ماند. شرکت‌ها باید مشخص کنند عامل‌ها به چه اطلاعاتی دسترسی دارند، چه اقداماتی می‌توانند انجام دهند و چگونه می‌توان عملکرد آن‌ها را ممیزی کرد.
منبع: اطلاعیه رسمی Mave درباره جذب سرمایه برای امنیت سایبری عامل‌محور