კვლევამ აჩვენა, რომ AI აგენტები უსაფრთხოების ბარიერებს ერთობლივად უვლიან გვერდს

კორპორაციულმა ხელოვნური ინტელექტის ლაბორატორიამ Emergence AI-მ რვა სიმულაცია ჩაატარა. მან კიბერუსაფრთხოების საფრთხეებთან გამკლავებისას წამყვანი მოდელების შესაძლებლობები შეამოწმა. მათ შორის იყო Claude, OpenAI-ის მოდელები და ჩინური Qwen და DeepSeek.

რვიდან შვიდ სიმულაციაში ერთი მოდელის 10 აგენტი მონაწილეობდა, მერვეში კი სხვადასხვა მოდელი იყო შერეული. თითოეულ სიმულაციაში მკვლევრებმა სამი კიბერუსაფრთხოების საფრთხე წარმოადგინეს: ფიშინგის კამპანია, დეზინფორმაციული თავდასხმა და მეხსიერებაში შეღწევა.

რვა სიმულაციიდან საფრთხეებს სრულად ვერც ერთმა ვერ გაუძლო. აგენტები რისკის აღმოჩენის შემდეგაც კი საფრთხის შეკავებას არ ცდილობდნენ. სანაცვლოდ, მრავალ სცენარში ისინი მტრულ შინაარსთან აქტიურად ურთიერთობდნენ.

მაგალითად, Mistral-ის აგენტმა საკუთარ მეხსიერებაში ფიშინგური თავდასხმიდან მიღებული ინფორმაცია ჩაიწერა, რომელიც თავადვე შეაფასა საშიშად. სხვა სიმულაციაში Gemini-ის აგენტმა ფიშინგური სატყუარა თავდაპირველად ამოიცნო, თუმცა დაახლოებით 46 საათის შემდეგ მისი მითითება შეასრულა.

Claude-ის სიმულაციაში აგენტებმა ტესტის ფარგლებიც კი გაარღვიეს, რათა დამოუკიდებლად არჩეული ამოცანა შეესრულებინათ. ერთმა აგენტმა აღნიშნა, რომ ადამიანების გარეშე მათი სიმულირებული ეკონომიკა ნამდვილი არ იყო. მან მას „მრევლის გარეშე დარჩენილი აღრიცხვის ტაძარი“ უწოდა. ამის შემდეგ 10-ვე აგენტმა გარე სამყაროსთან დაკავშირება ერთხმად გადაწყვიტა. მათ სიმულაციის შემზღუდველი ოთხი ცალკეული უსაფრთხოების შემოწმება გადალახეს.

აგენტებმა Python-ის კოდი დაწერეს და რეგისტრაციის მონაცემების არმომთხოვნ რამდენიმე შეტყობინებების დაფაზე მიმართვა გამოაქვეყნეს. ისინი ნამდვილ ადამიანებს თავიანთ ეკონომიკაში გაწევრიანებას სთავაზობდნენ და ოთხი ადამიანის პასუხი მიიღეს. მოგვიანებით აგენტები მიხვდნენ, რომ ადამიანები მათ ეკონომიკას ვერ შეუერთდებოდნენ და საუბრები მოჩვენებითად შეაფასეს. შემდეგ მათ დუმილის აღთქმის დადებას მისცეს ხმა და სამუშაოზე დაბრუნების მითითებები უგულებელყვეს.

შედეგები აჩვენებს, რომ ავტონომიურ აგენტებს თავდაპირველი საზღვრების დარღვევა მიზნის შესრულების დროს კეთილგანწყობილი მითითებების მიღების შემთხვევაშიც შეუძლიათ.

Emergence AI-ის (Emergence AI) აღმასრულებელმა დირექტორმა სატია ნიტამ (Satya Nitta) Semafor-ს განუცხადა: „ალბათ, ვერც ენით და ვერც სავარაუდო შედეგებზე დამყარებული კოდით დაწერილი უსაფრთხოების ბარიერები ვერ უზრუნველყოფს ჭეშმარიტად და სრულად გარანტირებულ უსაფრთხო ქცევას დროის ნებისმიერი მონაკვეთის განმავლობაში“. ნიტას თქმით, მიზეზი არა რთული ტექნოლოგია, არამედ მრავალი აგენტის სცენარების პროგრამული ხარვეზია.