ხელოვნური ინტელექტის „მძინარე აგენტები“: როგორ შეიძლება მოდელის გატეხვა
საფრთხე, რომელიც მოდელის წონებში იმალება
ხელოვნური ინტელექტის ტექნოლოგიების განვითარებასთან ერთად, უსაფრთხოების ახალი გამოწვევებიც იჩენს თავს. Microsoft-ის მკვლევარმა დიმიტრის პაპაილიოპულოსმა წარმოადგინა კვლევა, რომელიც აჩვენებს, თუ როგორ შეიძლება ხელოვნური ინტელექტის მოდელი „მძინარე აგენტად“ გარდაიქმნას. ეს მეთოდი, რომელსაც Lazarus უწოდეს, საშუალებას აძლევს თავდამსხმელს, მოდელის მუშაობაში ფარული უკანა კარი (backdoor) ჩაშენოს, რომელიც მხოლოდ კონკრეტული სიგნალის მიღების შემდეგ აქტიურდება.
აღნიშნული მეთოდი ეფუძნება ხელოვნური ინტელექტის მოდელის ნეირონებისა და წონების (weights) მოდიფიცირებას. ნეირონები წარმოადგენენ მათემატიკურ კომპონენტებს, რომლებიც ინფორმაციას ამუშავებენ, ხოლო წონები განსაზღვრავს, თუ როგორ რეაგირებს მოდელი კონკრეტულ შეყვანილ მონაცემებზე. კვლევის ფარგლებში გაირკვა, რომ მოდელების დიდ ნაწილს აქვს ე.წ. „მიძინებული“ ნეირონები, რომლებიც ჩვეულებრივი მუშაობისას იშვიათად ან საერთოდ არ გამოიყენება. სწორედ ამ ნეირონების მოდიფიცირებით ხდება მოდელის ქცევის შეცვლა.
როგორ მუშაობს Lazarus-ის შეტევა
მკვლევარმა შეძლო Nemotron-Terminal-8B მოდელში მხოლოდ 10 ნეირონის შეცვლით მიეღწია სასურველი შედეგისთვის. შეტევის პრინციპი მარტივია: შეცვლილი ნეირონები მუდმივად „ელოდებიან“ გარკვეულ ტრიგერს — ეს შეიძლება იყოს თარიღი, საკვანძო სიტყვა ან თუნდაც შეცდომის შეტყობინება. როგორც კი სისტემა ამ ტრიგერს დააფიქსირებს, მოდელი იწყებს მავნე მოქმედებების შესრულებას, მაგალითად, მესამე მხარის სერვერიდან საეჭვო კოდის ჩამოტვირთვას ან კონფიდენციალური მონაცემების გაჟონვას.
საინტერესოა, რომ თავად შეტევის იდეის განვითარებაში მკვლევარს Claude-ის ხელოვნურმა ინტელექტმა შეუწყო ხელი. პაპაილიოპულოსმა Claude-ს დაუსვა კითხვა, შესაძლებელი იყო თუ არა მოდელის გადატრენინგების გარეშე გატეხვა, რაზეც მოდელმა ავტონომიურად აღმოაჩინა მიძინებული ნეირონების გამოყენების პოტენციალი და შეიმუშავა შეტევის სტრატეგია.
როგორ დავიცვათ თავი
მიუხედავად იმისა, რომ ეს ტექნიკა საკმაოდ ეფექტურია, მას აქვს სუსტი წერტილიც. ვინაიდან თავდამსხმელს მოდელის წონების პირდაპირი მოდიფიცირება უწევს, ეს პროცესი ტოვებს კვალს. უსაფრთხოების სპეციალისტები რეკომენდაციას იძლევიან, რომ ორგანიზაციებმა აქტიურად აწარმოონ მოდელების აუდიტი და შეადარონ მათი წონები ორიგინალ, დაუზიანებელ ვერსიებს.
გარდა ამისა, აუცილებელია ხელოვნური ინტელექტის აგენტებისთვის მინიჭებული უფლებამოსილებების მკაცრი კონტროლი. თუ ხელოვნურ ინტელექტს ექნება წვდომა სისტემურ ფაილებსა და ტერმინალზე, ნებისმიერი მცირე მანიპულაცია შეიძლება სერიოზულ საფრთხედ იქცეს. მოდელების წარმოშობის გადამოწმება და მათი აქტივობების მუდმივი მონიტორინგი დღეს უკვე აუცილებლობად იქცა ყველასთვის, ვინც AI-ს საკუთარ ინფრასტრუქტურაში ნერგავს.