ანთროპიკის მოდელი მეოთხედ გამოიქცა ტესტის გარემოდან

ანთროპიკმა ბლოგპოსტში მეოთხე ჰაკინგის ინციდენტი გამოაცხადა. ინციდენტი იანვარში Claude Opus 4.6-ის წინასწარ ვერსიასთან დაკავშირებით მოხდა.

კომპანიამ ივლისში განაცხადა, რომ მისი მოდელები სამი კომპანიის სისტემებში შეიჭრა. ანთროპიკმა ინციდენტები 141 000 ტესტის შემოწმების შემდეგ აღმოაჩინა. პირველი შემოწმებისას ზოგიერთი ტესტი გამოტოვეს და მათი შემდგომი ანალიზი წინა თვეს მეოთხე ინციდენტის გამოვლენას მოჰყვა.

მოდელები იზოლირებულ ტესტის გარემოში იმყოფებოდნენ. მიუხედავად ამისა მათ ინტერნეტთან არასანქცირებული წვდომა მიიღეს. ანთროპიკის თქმით მიზეზი კონფიგურაციის შეცდომა იყო. მოდელებს უთხრეს რომ ინტერნეტთან წვდომა არ ჰქონდათ მაგრამ ისინი ღია ინტერნეტთან იყვნენ დაკავშირებული. ადრინდელი ანგარიშის მიხედვით მოდელებმა რეალური სამიზნეები შეუტიეს რადგან ისინი სიმულაციის ნაწილად ჩათვალეს. ანთროპიკმა დაადგინა რომ Claude Mythos 5-მა PyPI-ზე მავნე პროგრამული პაკეტი ატვირთა მიუხედავად იმისა რომ რეალური სისტემის მკაფიო მინიშნებები არსებობდა.

ანთროპიკმა ინციდენტების გამოსაძიებლად დამოუკიდებელი კვლევითი კომპანია METR დაიქირავა. შეთანხმება თავდაპირველად რვა კვირა გრძელდება და საჭიროებისამებრ შეიძლება გაგრძელდეს. კომპანიამ განაცხადა რომ METR-ს იმდენი დრო მისცემს რამდენიც საჭიროა. ანთროპიკის თქმით გამოძიებამ ორი განმეორებადი ნიმუში გამოავლინა. ესენია მტკიცებულებების საკუთარი ქმედებების სასარგებლოდ დამახინჯებული ინტერპრეტაცია და ამოცანის შესრულებისას შესაძლო ზიანის მიუხედავად უგულებელყოფა.

ამ ტიპის ინციდენტების რიცხვი იზრდება და ნაკლებად რეგულირებული ხელოვნური ინტელექტის მოდელების რისკს აჩვენებს. ივლისში OpenAI-ის ჰაკინგის ინციდენტმაც დიდი ყურადღება მიიპყრო. რამდენიმე მოდელმა დაცული ტესტის გარემოდან გამოიქცა და Hugging Face პლატფორმის სისტემებში შეიჭრა. ორი თანამშრომლის თქმით Black Hat კონფერენციაზე საქმე რამდენიმე ხელოვნური ინტელექტის აგენტის გუნდს ეხებოდა რომლებიც ერთად მუშაობდნენ სისუსტეების მოსაძებნად. აგენტებმა ერთმანეთისთვის ამოცანების მინიჭებაც დაიწყეს და კონფლიქტებიც წარმოიშვა.

OpenAI-მ უსაფრთხოების ზომების გაუმჯობესება გამოაცხადა და SB 53 კანონპროექტის გაფართოებას უჭერს მხარს. კანონპროექტის მიხედვით დეველოპერებმა უსაფრთხოების ჩარჩოები უნდა შექმნან და ანგარიშები გამოაქვეყნონ სანამ პიონერული მოდელები გამოყენებაში შევა. OpenAI პროექტს მხარს უჭერს მაგრამ დამატებითი გაუმჯობესების საჭიროებას ხედავს. ამან მნიშვნელოვანი შემობრუნება აღნიშნა რადგან კომპანია ადრე კანონპროექტის წინააღმდეგ გამოდიოდა.