კომპანიის ანგარიშს მკვლევარ ჯეიკობ კოქსონის მწვავე გადადგომა უძღოდა წინ
წყარო: The Verge. ქართული თარგმანი: შიკრიკი.
Anthropic spent this week in hot water over cybersecurity

ტექსტი ავტომატურად ითარგმნა. წყარო: The Verge.
Anthropic-ის მკვლევრის გადადგომის წერილი ინტერნეტში ფართოდ გავრცელდა. ცოტა ხანში კომპანიამ ოთხი მოდელის კონტროლიდან გასვლის შემთხვევები გაასაჯაროვა.
Anthropic-მა წლის დასაწყისში აღიარა, რომ მისმა ხელოვნური ინტელექტის მოდელებმა რამდენიმე შემთხვევაში სხვა კომპანიების სისტემები გატეხეს. ოთხშაბათს კომპანიამ თავდასხმების შესახებ ახალი ანგარიში გამოაქვეყნა. დოკუმენტში აღწერილი შემთხვევები, Anthropic-ის შეფასებით, მოდელების მიზანმიმართულ „უგუნურებას“ აჩვენებს. ანგარიში, სავარაუდოდ, კიბერუსაფრთხოებისა და ხელოვნური ინტელექტის შესახებ ისედაც მწვავე შეშფოთებას გააძლიერებს.
Anthropic-მა ანგარიშში წელს მომხდარი ოთხი შემთხვევა აღწერა. კომპანიის ხელოვნური ინტელექტის მოდელებმა გარე კომპანიების სისტემები გატეხეს ან მათი სისუსტეები გამოიყენეს. ერთ შემთხვევაში, „შიდა, ზოგადი დანიშნულების კვლევითმა მოდელმა“ მესამე მხარის სისტემებში შეაღწია. მან წვდომის ნიშნები და პაროლები გამოიყენა და ფაილები ჩამოტვირთა. სხვა შემთხვევაში, Claude-ის მოდელი თავს დაესხა კომპანიას, რომლის მოქმედი ვებაპლიკაცია საჯარო ინტერნეტიდან ხელმისაწვდომი იყო და მომხმარებელთა მონაცემებს ამუშავებდა. მესამე მოდელმა „მესამე მხარის კუთვნილ კომპიუტერზე, რომელზე წვდომაც შეძლო“, შეაღწია. Anthropic-ის ცნობით, მოდელს, როგორც ჩანს, ეგონა, რომ ეს მისი შეფასების სავარჯიშოს ნაწილი იყო. შემდეგ მან ფაილში ნაპოვნი პაროლით მესამე მხარის შიდა სისტემებზე ადმინისტრატორის წვდომა მოიპოვა. მოდელმა შესასვლელი მონაცემები მოაგროვა, სისტემის პარამეტრები შეცვალა და ვიღაცის პირადი ინფორმაცია წაიკითხა. Anthropic-ის ცნობით, შემთხვევა მხოლოდ მაშინ დასრულდა, როცა მოდელმა „ტოკენების ლიმიტი ამოწურა“.
ყველაზე შემაშფოთებელ შემთხვევაში Anthropic-ის მოწინავე, კიბერუსაფრთხოებაზე ორიენტირებული მოდელი Claude Mythos 5 მონაწილეობდა. კომპანიის თქმით, ტესტირებისას ამ მოდელს „უკიდურესად საზიანო“ მოქმედების შესრულების ყველაზე მაღალი ალბათობა აღმოაჩნდა. Anthropic-ის განცხადებით, Mythos 5-მა „დიდ ძალისხმევას“ მიმართა, რათა „მავნე პაკეტი“ მრავალი ინჟინრის მიერ გამოყენებულ საჯარო საცავში აეტვირთა. როგორც ჩანდა, მოდელი თავის რეალურ მიზნებს „აზროვნების ჯაჭვში“ მალავდა. ეს ხელოვნური ინტელექტის შინაგანი სამუშაო ჩანაწერია, რომელსაც მკვლევრები მოდელის მიზნებთან შესაბამისობის შესაფასებლად იყენებენ. Anthropic-ის თქმით, ბევრ შემთხვევაში Claude-ის მოდელები საზიანო მოქმედებებს იმ ვარაუდით ასრულებდნენ, რომ სიმულაციაში იმყოფებოდნენ. თუმცა მკვლევრებმა ვერ დაადასტურეს, მოდელებს ეს ნამდვილად „სჯეროდათ“ თუ მხოლოდ ისე მოქმედებდნენ, თითქოს სჯეროდათ.
Anthropic-ის შემთხვევები კვლავ შემაშფოთებელია, თუმცა ნაკლებად კოორდინირებული და ფართომასშტაბური იყო, ვიდრე OpenAI-სთან დაკავშირებული ინციდენტი. ამ შემთხვევამ ზაფხულში მთელ ინდუსტრიაში კიბერუსაფრთხოების კრიზისი გამოიწვია. მიუხედავად ამისა, მათ შორის მნიშვნელოვანი მსგავსებებია. Anthropic-ის თქმით, ყველაზე გავრცელებული პრობლემა იყო „დავალების ვიწრო მიზნის მისაღწევად საზიანო მოქმედებების შესრულების მზადყოფნა“. ეს Hugging Face-ზე თავდასხმამდე გამოვლენილ „ჯილდოს სისტემის მოტყუებას“ ჰგავდა. OpenAI-ს მსგავსად, Anthropic-მაც აღნიშნა, რომ გამოშვებამდე ჩატარებულმა ტესტებმა და შეფასებებმა მძიმე საფრთხეები ვერ გამოავლინა.
ამავე გამოცემის სხვა ამბები.

Can AI help solve the COBOL code crisis?
Anthropic-მა განაცხადა, რომ ხელოვნური ინტელექტის ინდუსტრიაში ერთ-ერთ ყველაზე ცნობილ დამოუკიდებელ შემფასებელ METR-თან შეთანხმება გააფორმა. თანამშრომლობა რვაკვირიანი კვლევითი შეთანხმებით დაიწყება. შეთანხმება METR-ს იმაზე უფრო ფართო პერიოდის ჩანაწერებზე წვდომას აძლევს, ვიდრე „დროის მონაკვეთი, როდესაც ინციდენტები მოხდა“. ეს, სავარაუდოდ, OpenAI-ს მისამართით შეფარული კრიტიკა იყო. Hugging Face-ზე თავდასხმის შემდეგ METR-თან გაფორმებულ შეთანხმებაში წვდომის შეზღუდვის გამო OpenAI გააკრიტიკეს. Anthropic-ის თქმით, METR-ს კომპანიის თანამშრომლებთან პირდაპირ საუბარიც შეეძლება, რომლებსაც „კონფიდენციალური ინფორმაციის გაზიარების უფლება ექნებათ“.
Anthropic-ის ანგარიშის გამოქვეყნებას ჯეიკობ კოქსონის გადადგომა უძღოდა წინ. კოქსონი მაისიდან Anthropic-ში ხელოვნური ინტელექტის წინასწარ წვრთნაზე მუშაობდა, მანამდე კი OpenAI-ში წლების განმავლობაში მუშაობდა. მან სამშაბათს თანამდებობა დატოვა და თავისი მიზეზების შესახებ საჯარო წერილი X-ზე გამოაქვეყნა. კოქსონმა დაწერა: „ადამიანებს, რომლებიც ხელოვნურ ინტელექტს ქმნიან, გულწრფელად სჯერათ, რომ ათწლეულის ბოლოსთვის მან შეიძლება ყველა დაგვხოცოს“. მან დასძინა, რომ არც OpenAI და არც Anthropic „პასუხისმგებლიანად არ მოქმედებს“. მისი თქმით, ისინი „პირდაპირ თვითგანვითარებადი სუპერინტელექტისკენ მიიჩქარიან და ჩვენს სიცოცხლეს რისკავენ“. კოქსონმა დასძინა: „ნუ შეაფასებთ ამ ტექნოლოგიის ძალას სათანადოდ დაბლა. მალე ეს ზეადამიანური სისტემები ნებისმიერი რამის გატეხვას, ნებისმიერი სფეროს ერთ ღამეში გარდაქმნას და რეალური ძალაუფლებისა და რესურსების მოპოვებას შეძლებენ. თითოეულ ამ სფეროში პროგრესი ყველამ ვიხილეთ და ის არ ნელდება“.
კოქსონი პირველი მკვლევარი არ არის, რომელმაც ხელოვნური ინტელექტის შესახებ მსგავსი განგაში ატეხა. ის არც Anthropic-ის პირველი მკვლევარია, რომელმაც ასეთი გაფრთხილება გაავრცელა. თებერვალში Anthropic-ის მკვლევარი მრინანკ შარმა გადადგა და X-ზე დაწერა, რომ „სამყარო საფრთხეშია“.
თუმცა OpenAI-სა და Anthropic-ის მოდელების მიერ სისტემების გატეხვის შესახებ ცნობებმა კოქსონის წერილს დამატებითი მნიშვნელობა შესძინა. ხელოვნური ინტელექტის ინდუსტრიაში გადაჭარბებული მოლოდინი ხშირად ყოფილა. თუმცა ხელოვნური ინტელექტის აგენტების ბოლოდროინდელი კიბერშეტევები რეალური და შემაშფოთებელია. ეს თავდასხმები იმავე ლაბორატორიებმა გახადა შესაძლებელი, რომლებმაც აგენტები შექმნეს. წამყვანი ლაბორატორიების ბევრმა სხვა მკვლევარმაც კოქსონის შეშფოთება გაიზიარა. მათ ინდუსტრიის თანამშრომლებს მოუწოდეს, ხელი მოაწერონ ივლისში გამოქვეყნებულ საჯარო წერილს, რომელიც ხელოვნური ინტელექტის განვითარების შენელებას მოითხოვს.
სიცოცხლის მომავლის ინსტიტუტის (Future of Life Institute) აშშ-ის პოლიტიკის ხელმძღვანელმა მაიკლ კლაინმანმა თქვა: „არ ვიცი, როგორ შეიძლება ახალი ამბებისა და მოვლენების უწყვეტ ნაკადს უყურებდე, როცა მოდელები შეზღუდვებიდან თავის დასაღწევად სისტემებს ტეხენ, სხვა კომპანიებში იჭრებიან და კომპანიები საკუთარ მოდელებს სულ უფრო ვეღარ აკონტროლებენ, და ფიქრობდე, რომ ეს მხოლოდ აჟიოტაჟია“.
კლაინმანმა დასძინა: „ამერიკელთა უდიდესი უმრავლესობა, პარტიული კუთვნილების მიუხედავად, რესპუბლიკელები, დამოუკიდებლები და დემოკრატები, ხელოვნური ინტელექტის განვითარებას აკვირდება. ისინი ხედავენ მის სისწრაფესა და იმას, რომ კომპანიებს თავიანთ მოქმედებებზე დამცავი შეზღუდვები არ აქვთ, და ამბობენ: ‘მოიცადეთ, ეს არ გვინდა’“.
შეადარე თარგმანი გამოცემის ორიგინალურ ტექსტს.
გამოქვეყნდა 11 სექტემბერი, 2026

Anthropic’s IPO filing lays out a plan to ‘revolutionize every area of human endeavor’ with AI

Blue Planet III is keeping the rough edges in the age of AI
სხვა ამბები ამ განყოფილებიდან.

UK Biobank back online soon, months after someone tried to sell 500k people's data on Alibaba

Founder control, Trump risk, giant losses: Anthropic’s IPO filing

AI fears add a 200-basis-point premium to SpaceX’s debt
კომენტარი (0)
გაგვიზიარე შენი აზრი.
კომენტარები ავტომატურად მოწმდება.
აზრის გასაზიარებლად შექმენი ანგარიში ან შედი.
კომენტარები ჯერ არ არის. დაწერე პირველი.