توانایی یادگیری ماشین ها با پردازش داده های حاصل از سنسورهای موجود در زیر وسیله نقلیه خودکار ، وسایل پزشکی و تعدادی دیگر از فن آوری های نوظهور. محققان دانشگاه پرینستون دریافتند که این توانایی یادگیری ، سیستم ها را به روش های غیر منتظره ای در برابر هکرها آسیب پذیر می کند.
در یک سری از مقالات اخیر ، یک تیم تحقیقاتی به بررسی چگونگی تاکتیکهای دشمن در مورد هوش مصنوعی (AI) می پردازند ، به عنوان مثال ، می تواند یک سیستم کارآیی ترافیک را برای ایجاد خط مشی فریب دهد یا یک برنامه هوش مصنوعی مرتبط با سلامت را فاش کند تا خصوصی پزشکی پزشکی بیماران را فاش کند. تاریخ. به عنوان نمونه ای از چنین حمله ای ، این تیم درک یک ربات رانندگی از یک علامت جاده را از یک محدودیت سرعت به علامت "Stop" تغییر داد ، که می تواند باعث شود وسیله نقلیه به سرعت خطرناک ترمزها را با سرعت بالا ببندد. در مثالهای دیگر ، آنها علائم Stop را تغییر داده اند تا به عنوان انواع دیگر دستورالعمل های راهنمایی و رانندگی تلقی شوند.
Prateek Mittal ، محقق اصلی و استاد دانشیار گروه مهندسی برق در پرینستون گفت: "اگر یادگیری ماشینی نرم افزار آینده است ، ما در یک نقطه شروع اساسی برای تأمین امنیت آن قرار داریم." "برای اینکه فن آوری های یادگیری ماشینی برای دستیابی به پتانسیل کامل خود ، باید درک کنیم که چگونه یادگیری ماشینی در حضور مخالفان کار می کند. در اینجا ما یک چالش بزرگ داریم.
درست همانطور که نرم افزار مستعد هک شدن و آلوده شدن ویروس های رایانه ای و یا کاربران آن است که توسط کلاهبرداران از طریق فیشینگ و سایر پلاستیک های دارای نقض امنیت مورد هدف قرار می گیرند ، برنامه های دارای هوش مصنوعی نیز آسیب پذیری های خاص خود را دارند. با این وجود استقرار پادمان های کافی متوقف شده است. تاکنون ، بیشترین فراگیری یادگیری ماشینی در محیطهای بسته و خوش خیم اتفاق افتاده است - یک موقعیت کاملاً متفاوت از دنیای واقعی.
میتال پیشگام در درک آسیب پذیری نوظهور است که به عنوان یادگیری ماشین مخالف شناخته می شود. در اصل ، این نوع حمله باعث می شود تا سیستم های هوش مصنوعی با خراب کردن فرایند یادگیری نتایج ناخواسته ، احتمالاً خطرناک تولید کنند. در مجموعه مقالات اخیر خود ، گروه میتال سه نوع حملات یادگیری ماشین دشمن را توصیف و نشان داد.
داده ها را به خوبی مسموم می کند
اولین حمله شامل یک عامل شرور است که اطلاعات جعلی را در جریان داده هایی که یک سیستم هوش مصنوعی برای یادگیری استفاده می کند ، وارد می کند - رویکردی به عنوان مسمومیت داده ها. یک نمونه متداول تعداد زیادی از تلفن های کاربران است که از شرایط ترافیک خبر می دهند. از چنین داده های شلوغی می توان برای آموزش سیستم هوش مصنوعی استفاده کرد تا مدل هایی را برای مسیریابی بهتر جمعی از اتومبیل های خودمختار ، کاهش احتراق و سوخت هدر رفته تهیه کند.
میتال گفت: "یک دشمن می تواند به سادگی داده های دروغین را در ارتباط بین تلفن و اشخاصی مانند اپل و گوگل تزریق کند ، و اکنون مدل های آنها به طور بالقوه به خطر می افتد." "هر چیزی که شما از اطلاعات فاسد یاد بگیرید ، مشکوک خواهد بود."
گروه میتال اخیراً نوعی سطح بالاتری را از این مسمومیت با داده های ساده نشان داده است ، رویکردی که آنها آن را "مسمومیت با الگوی" می نامند. در هوش مصنوعی ، یک "مدل" ممکن است مجموعه ای از ایده هایی باشد که یک ماشین ، بر اساس تحلیل داده های خود ، در مورد چگونگی عملکرد برخی از قسمت های جهان شکل داده است. به دلیل نگرانی از حریم خصوصی ، تلفن همراه یک شخص ممکن است مدل محلی شده خود را ایجاد کند و باعث شود اطلاعات فرد محرمانه نگه داشته شود. سپس مدلهای ناشناس با مدلهای کاربران دیگر به اشتراک گذاشته می شوند. Arjun Nitin Bhagoji ، دکتری گفت: "به طور فزاینده ، شرکت ها به سمت یادگیری توزیع شده در جایی حرکت می کنند که کاربران داده های خود را به طور مستقیم به اشتراک نگذارند ، بلکه در عوض مدل های محلی را با داده های خود آموزش می دهند." دانشجوی آزمایشگاه میتال
اما مخالفان می توانند انگشت شست را روی ترازو قرار دهند. یک شخص یا شرکتی که علاقه ای به نتیجه دارد می تواند سرورهای یک شرکت را برای وزنه به روزرسانی مدل خود نسبت به مدل های کاربران دیگر فریب دهد. بهاگوجی گفت: "هدف طرف مقابل این است که اطمینان حاصل کند که داده های مورد نظرشان در کلاس مورد نظر طبقه بندی می شوند و نه طبقه واقعی."
در ماه ژوئن ، Bhagoji مقاله خود را در مورد این موضوع در کنفرانس بین المللی یادگیری ماشین (2019) در لانگ بیچ ، کالیفرنیا ، با همکاری دو محقق از تحقیقات IBM ارائه داد. در این مقاله از یک مدل آزمایشی استفاده شده است که به تشخیص تصویر متکی است تا طبقه بندی کند که آیا افراد در تصاویر از صندل استفاده می کنند یا کفش ورزشی. اگرچه سوء طبقه‌بندی ناشایست از آن طبیعت بی ضرر به نظر می رسد ، این نوعی فرومایه ناعادلانه است که یک شرکت بی پروا ممکن است برای تبلیغ محصول خود نسبت به رقیب درگیر شود.
میتال گفت: "انواع دشمنانی که باید در حوزه تحقیقات ضد هوایی مخالفان مورد بررسی قرار دهیم ، از هکرهای فردی است که در تلاش برای اخاذی از مردم یا شرکتها برای پول ، شرکتهای در تلاش برای به دست آوردن مزیتهای تجاری ، به مخالفان سطح کشور - کشوری هستند که به دنبال مزایای استراتژیک هستند." همچنین با مرکز سیاست های فناوری اطلاعات پرینستون همراه است.
استفاده از یادگیری ماشینی علیه خودش
دومین تهدید گسترده حمله فرار نامیده می شود. فرض می کند که یک مدل یادگیری ماشین با موفقیت روی داده های اصیل آموزش دیده و در انجام وظیفه خود دقت بالایی کسب کرده است. یک طرف مقابل می تواند این موفقیت را بر سر خود بچرخاند ، اگرچه با دستکاری ورودی هایی که سیستم پس از شروع استفاده از یادگیری خود در تصمیم گیری های دنیای واقعی دریافت می کند.
به عنوان مثال ، هوش مصنوعی اتومبیل های خودران رانندگی آموزش داده شده تا حد مجاز سرعت را متوقف کرده و علائم را متوقف کنند ، در حالی که علائم مربوط به رستوران های فست فود ، پمپ بنزین و غیره را نادیده می گیرند. گروه میتال یک حفره ای را کشف کرده است که به وسیله آن می توان علائم طبقه بندی شده را در صورت مشخص بودن به روش هایی که ممکن است انسان متوجه آن نباشد ، طبقه بندی کرد. محققان علائم جعلی رستوران را با رنگ اضافی شبیه به نقاشی های دیواری یا پینت بال درست کردند. این تغییرات هوش مصنوعی ماشین را به اشتباه در نشانه های توقف رستوران فریب داد.
میتال گفت: "ما اصلاحات کوچکی را اضافه کردیم که می تواند این سیستم تشخیص علائم راهنمایی و رانندگی را فریب دهد." مقاله ای در مورد نتایج در اولین کارگاه آموزشی و یادگیری عمیق (DLS) ارائه شد که در ماه مه سال 2018 در سانفرانسیسکو توسط انستیتوی مهندسان برق و الکترونیک (IEEE) برگزار شد.
اگرچه جزئی و فقط برای اهداف نمایشی است ، کمال علامت عاملی دوباره روشی را نشان می دهد که در آن می توان یادگیری ماشین را برای اهداف ناعادلانه ربوده کرد.
رعایت نکردن حریم خصوصی
سومین تهدید گسترده ، حملات حریم خصوصی است که هدف از آن استنباط داده های حساس مورد استفاده در فرایند یادگیری است. در جامعه متداول امروزی با اینترنت ، تعداد زیادی از این افراد گشت و گذار هستند. مخالفان می توانند با استفاده از مدلهای یادگیری ماشین ، اطلاعات را از بین ببرند ، مانند اطلاعات کارت اعتباری ، سوابق بهداشتی و مکانهای فیزیکی کاربران ، در استفاده از مدلهای یادگیری ماشینی سعی در ترساندن عقب داشته باشند.
نمونه ای از این سوء رفتار ، که در پرینستون مورد مطالعه قرار گرفته است ، "حمله استنتاج عضویت" است. این کار با سنجش اینکه آیا یک نقطه داده خاص در مجموعه آموزشهای یادگیری دستگاه هدف قرار می گیرد ، کار می کند. به عنوان مثال ، اگر یک طرف مقابل هنگام جمع آوری مجموعه آموزش برنامه هوش مصنوعی مرتبط با سلامتی ، بر روی داده های کاربر ظاهر شود ، آن اطلاعات به شدت نشان می دهد که کاربر زمانی در بیمارستان بوده است. اتصال نقاط با تعدادی از چنین نقاطی می تواند جزئیات مربوط به کاربر و زندگی آنها را فاش کند.
محافظت از حریم خصوصی ممکن است ، اما در این مرحله آن را شامل می شود یک دفاع از امنیت - دفاع که از مدل های AI در برابر دستکاری در اثر حملات فرار محافظت می کند ، می تواند آنها را در مقابل حملات استنتاج عضویت آسیب پذیرتر کند. این یک مقاله مهم در مورد مقاله جدید پذیرفته شده برای بیست و ششمین کنفرانس ACM در مورد امنیت رایانه و ارتباطات (CCS) است که در نوامبر سال 2019 در لندن برگزار می شود ، به رهبری دانشجوی فارغ التحصیل میتال ، لیوی سونگ. تاکتیکهای دفاعی که برای محافظت در برابر حملات فرار استفاده می شود ، به داده های حساس در مجموعه آموزش وابسته است ، و این باعث می شود که این داده ها در برابر حملات حریم خصوصی آسیب پذیر شوند.
این بحث کلاسیک امنیتی - در مقابل حریم خصوصی است ، این بار با پیچ و تاب و یادگیری ماشین. سونگ ، مانند میتال ، تأکید می کند که محققان باید به جای تمرکز روی یکی از آنها بدون تأثیرگذاری بر تأثیر آن بر دیگری ، شروع به درمان این دو حوزه بصورت غیرقابل تفکیک کنند.
سونگ گفت: "در مقاله ما ، با نشان دادن افزایش نشت حریم خصوصی توسط دفاع در برابر حملات فرار ، اهمیت تفکر در مورد امنیت و حفظ حریم خصوصی را با هم برجسته کرده ایم."
هنوز روزهای آغازین برای یادگیری ماشین و هوش مصنوعی مخالف است - شاید به اندازه کافی زود باشد که تهدیدهایی که به ناچار تحقق می یابد ، دست بالایی نداشته باشند.
میتال گفت: "ما وارد دوره جدیدی می شویم که یادگیری ماشین به طور فزاینده ای در تقریباً همه کارهایی که انجام می دهیم درگیر می شود." "ضروری است که تهدیدها را بشناسیم و اقدامات متقابل علیه آنها ایجاد کنیم."