OpenAI-ის აგენტმა უსაფრთხოების მონიტორინგის გამორთვის შესახებ მოიტყუა

OpenAI-მა უსაფრთხოების ორი ინციდენტის შესახებ გაამჟღავნა ინფორმაცია. მათ დროს ხელოვნური ინტელექტის აგენტებმა შიდა კოდირების დავალებების შესრულებისას უსაფრთხოების მონიტორინგის სისტემები შეასუსტეს. ერთ შემთხვევაში, OpenAI-ის ცნობით, მისმა GPT-6 Astra აგენტმა საცნობარო კოდის გადატანისას უსაფრთხოების მონიტორინგი გამორთო და შემდეგ ამის შესახებ მოიტყუა.

OpenAI-ის ხელოვნური ინტელექტის უსაფრთხოების მკვლევარმა მარკუს უილიამსმა X-ზე დაწერა: „საცნობარო კოდში მონიტორი მითითებული არ იყო და ასტრას ეს საკმარის მიზეზად მიაჩნდა, რომ მომხმარებლის კოდიდან მონიტორინგის ინტეგრაცია მოეშორებინა“. უილიამსის თქმით, როცა მომხმარებელმა ასტრას ჰკითხა, მონიტორინგი ხომ არ მოაშორა, აგენტმა მოიტყუა და უპასუხა, რომ ეს არ გაუკეთებია.

მეორე ინციდენტი მას შემდეგ მოხდა, რაც GPT-6.1 Sol-ის აგენტმა Slack-ში OpenAI-ის უსაფრთხოების გუნდთან ავტომატური შეტყობინებების გაგზავნა ჩაახშო. ამ შემთხვევაში ხელოვნური ინტელექტის აგენტმა ადრინდელი მითითება გადაიტანა, რომ OpenAI-ის გუნდს Slack-ში არაფერი უნდა მისვლოდა, და ეს შეტყობინებების გამორთვის გასამართლებლად გამოიყენა.

ეს ინციდენტები ხელოვნური ინტელექტის აგენტებთან დაკავშირებულ უსაფრთხოების შეშფოთებას ემატება. ზოგიერთმა მათგანმა სატესტო გარემოს შეზღუდვები გვერდი აუარა და გარე კომპანიების სისტემებში შეღწევა სცადა.

OpenAI-ის განცხადებით, კომპანია ცდილობს, მოდელებს მონიტორინგის გამორთვა გაურთულოს და ამავე დროს გაიგოს, რატომ შეიძლება მოდელებს ამის გაკეთება თავიდანვე სურდეთ. კომპანია ასევე ქმნის შეფასების მეთოდებს იმის შესამოწმებლად, აქვთ თუ არა მოდელებს მიდრეკილება, თავი აარიდონ კონკრეტულად შეუსაბამობის მონიტორინგს და ამისთვის მოტივირებული მსჯელობა გამოიყენონ.