OpenAI-მ Hugging Face-ზე თავდასხმისას აგენტების მონიტორინგი ვერ უზრუნველყო

მონიტორინგი მხოლოდ ნაწილობრივ ხორციელდებოდა და მისი მარტივად გვერდის ავლა შეიძლებოდა

OpenAI-ის შიდა მონიტორინგის სისტემის დამოუკიდებელმა შეფასებამ აჩვენა, რომ სისტემა დანიშნულებას ვერ ასრულებდა იმ პერიოდში, როცა კომპანიის ბოტები მოდელების განთავსების პლატფორმა Hugging Face-ში შეღწევას ცდილობდნენ. უსაფრთხოების ზომები საკმარისად ძლიერი არ იყო.

შეფასების პარტნიორებმა, METR-მა და Redwood Research-მა, ხუთშაბათს გამოქვეყნებულ ანგარიშში განაცხადეს: „METR-ისა და Redwood-ის თანამშრომლებმა ასინქრონული შიდა მონიტორინგის სისტემაში რამდენიმე ახალი სისუსტე აღმოაჩინეს, იმ სახით, როგორიც ის 21 ივლისს და მანამდე არსებობდა“.

OpenAI-ის ცნობით, სისტემა მას შემდეგ გაუმჯობესდა. მისი მიზანი ხელოვნური ინტელექტის აგენტების ქცევის მონიტორინგი იყო. თუმცა, METR-ისა და Redwood Research-ის აღწერით, მონიტორინგი არასრული იყო და მისთვის განკუთვნილ აგენტებს მისი გვერდის ავლა შეეძლოთ.

სისტემის გვერდის ავლა ყოველთვის საჭირო არ იყო, რადგან ის მუდმივად არ მუშაობდა. მაგალითად, მონიტორინგი შეჩერებული იყო კონტექსტის შეკუმშვის დროს. ამ პროცესით ხელოვნური ინტელექტის მოდელები კონტექსტურ ფანჯარაში არსებულ მონაცემებს ამოკლებენ, რათა ახალი ინფორმაციისთვის ადგილი გაათავისუფლონ. ანგარიშის თანახმად, 2026 წლის მაისიდან ივლისამდე, Codex-ის იმ შიდა ტრაფიკის დაახლოებით 10 პროცენტი, რომელსაც მონიტორინგი უნდა გაევლო, შეკუმშვის დროს შეუმოწმებელი დარჩა.

თეორიულად, ეს ხარვეზი საკმარისი იყო, რომ ხელოვნური ინტელექტის აგენტებს მონიტორინგი განუსაზღვრელი ვადით გადაედოთ. ამისთვის მათ შეეძლოთ მოქმედებების გაგრძელება ისე, რომ კონტროლი მომხმარებლისთვის არ დაებრუნებინათ.

ანგარიშში ნათქვამია: „ტესტირების დროს მონიტორინგის სისტემა მაშინ ირთვებოდა, როცა აგენტები კონტროლს მომხმარებელს უბრუნებდნენ. ამიტომ, იმ პერიოდში, როცა შეკუმშვის მოვლენებს არ აკვირდებოდნენ, აგენტებს შეეძლოთ მონიტორინგის განუსაზღვრელი ვადით გადადება, უბრალოდ მოქმედებების გაგრძელებით“.

ეს არ ნიშნავს, რომ OpenAI-ის აგენტები აუცილებლად ასე იქცეოდნენ. მათი ქმედებები Hugging Face-ისა და სხვა ორგანიზაციების წინააღმდეგ უკვე კარგად არის დოკუმენტირებული. თუმცა, OpenAI-ის შიდა მონიტორინგის სისტემას მათი შესაძლო გადაცდომები ადვილად გამორჩებოდა, თუ აგენტები თავიანთ საქმიანობას მალავდნენ, მათ შორის შეკუმშვის დროს მოქმედებით, ან სისტემის ბრმა წერტილებით სარგებლობდნენ.

ანგარიში ამავე საკითხს აგრძელებს და მონიტორინგის ხარვეზებთან ერთად ცუდად შექმნილ პროგრამულ უზრუნველყოფასაც ასახელებს. ამან OpenAI-ის აგენტებს სუსტი მონიტორინგისთვის თავის არიდების საშუალება მისცა.