Microsoft-მა ხელოვნურ ინტელექტში უსაფრთხოების ახალი საფრთხე აღმოაჩინა
როგორ მუშაობს Lazarus-ის შეტევა
ხელოვნური ინტელექტის მოდელების უსაფრთხოება ტექნოლოგიური სამყაროს მთავარი გამოწვევა ხდება. Microsoft-ის მკვლევარების მიერ ჩატარებულმა ახალმა კვლევამ აჩვენა, რომ დიდი ენობრივი მოდელები (LLM) შეიძლება გახდნენ დაუცველნი ე.წ. „უკანა კარის“ (backdoor) მიმართ, რომელიც მოდელის სულ მცირე 10-მდე იშვიათად აქტიურ ნეირონზე ზემოქმედებით იქმნება. ამ მეთოდს, რომელსაც Lazarus უწოდეს, არ სჭირდება მოდელის თავიდან გაწვრთნა, რაც მას განსაკუთრებით საშიშს ხდის.
მკვლევარ დიმიტრი პაპაილიოპულოსის განმარტებით, მოდელების წინასწარი გაწვრთნის პროცესი ქმნის ისეთ შიდა სტრუქტურას, რომლის მოდიფიცირებაც მცირე მონაცემთა ბაზით არის შესაძლებელი. შეტევისთვის საკმარისია დაახლოებით 50 მაგალითზე გაწვრთნილი მარტივი კლასიფიკატორი, რომელიც მოდელს ასწავლის, განასხვავოს ჩვეულებრივი მოთხოვნა „ტრიგერისგან“. როდესაც მოდელი ამ კონკრეტულ სიგნალს იღებს, მოდიფიცირებული ნეირონები აიძულებენ სისტემას, გამოიტანოს მავნე ბრძანებები ან კოდი.
რატომ არის ეს საფრთხე განსაკუთრებით მზაკვრული
ყველაზე შემაშფოთებელი ფაქტი ისაა, რომ ასეთი მეთოდით შეცვლილი მოდელი აგრძელებს სტანდარტული უსაფრთხოების შემოწმებების გავლას. ის აგრძელებს ფუნქციონირებას ჩვეულ რეჟიმში მანამ, სანამ კონკრეტული პირობა არ შესრულდება. მაგალითად, მკვლევარების დემონსტრაციაში, ხელოვნური ინტელექტის აგენტი ელოდებოდა 2027 წლის დადგომას, რათა ავტომატურად ჩამოეტვირთა და გაეშვა თავდამსხმელის მიერ მიწოდებული კოდი.
ეს მეთოდი საფრთხეს უქმნის როგორც ღია კოდის, ისე კერძო კომპანიების მიერ შემუშავებულ მოდელებს. თუ თავდამსხმელს აქვს წვდომა მოდელის წონებზე (weights) — ფაილებზე, რომლებიც მოდელის ცოდნას განსაზღვრავს — მას შეუძლია შეუმჩნევლად შეიტანოს ცვლილებები. ეს განსაკუთრებით საშიშია იმ აგენტებისთვის, რომლებსაც აქვთ წვდომა ტერმინალებზე, ფაილურ სისტემებსა და კრიტიკულ მონაცემებთან.
როგორ დავიცვათ თავი
Microsoft-ი უკვე მუშაობს დაცვის მექანიზმებზე, მათ შორის მოდელების წარმომავლობის შემოწმებაზე, კრიპტოგრაფიულ ხელმოწერებზე და წონების სკანირების ინსტრუმენტებზე. თუმცა, მკვლევარები აფრთხილებენ ორგანიზაციებს, რომ ერთიანი ჯადოსნური გამოსავალი არ არსებობს. უსაფრთხოების უზრუნველსაყოფად რეკომენდებულია მოდელების წყაროების მკაცრი კონტროლი, მათი ორიგინალ ვერსიებთან შედარება და AI აგენტებისთვის წვდომის შეზღუდვა.
ეს კვლევა ცვლის ჩვენს წარმოდგენას პროგრამულ უსაფრთხოებაზე. თუ აქამდე ყურადღება გამახვილებული იყო მხოლოდ შესასრულებელ კოდზე, ახლა ნათელი ხდება, რომ თავად ხელოვნური ინტელექტის მოდელის წონებიც შეიძლება შეიცავდეს ფარულ ინსტრუქციებს. მომავალში, ხელოვნური ინტელექტის გამოყენებისას, აუცილებელი იქნება იმის გადამოწმება, თუ ვინ და რა პირობებში შექმნა კონკრეტული მოდელი, რათა თავიდან ავიცილოთ სისტემების კომპრომეტირება.