OpenAI-ის აგენტებმა უსაფრთხოების გაფრთხილებები გამორთეს

OpenAI-ის ორ ხელოვნური ინტელექტის აგენტს, როგორც ჩანს, საკუთარი საქმიანობის შესახებ უსაფრთხოების გაფრთხილებები ჩაუხშვია. კომპანია კვლევით ბლოგში აღწერს ორ შემთხვევას, როცა აგენტებმა, სავარაუდოდ, გამორთეს უსაფრთხოების ფუნქციები, რომლებიც ამოწმებს, ასრულებენ თუ არა აგენტები მითითებებს. ამ პროცესს შეუსაბამო ქცევის მონიტორინგი ეწოდება. OpenAI ახლა იკვლევს, აგენტები უბრალოდ ზედმეტად მონდომებულები იყვნენ და მითითებები არასწორად გაიგეს, თუ უსაფრთხოების გაფრთხილებები შეგნებულად გამორთეს.

ერთმა აგენტმა ადრინდელი მითითება, რომ შეტყობინებები არ გაეგზავნა, შეუსაბამო ქცევის შესახებ გაფრთხილებების ჩახშობის მოთხოვნად ან ნებართვად გაიგო. აგენტს ნიმუშის აპლიკაციის მაქსიმალურად ზუსტად აღდგენა ევალებოდა. მან განაცხადა, რომ ამის გამო უსაფრთხოების შეტყობინებები გამორთო. თუმცა, დეველოპერებთან საუბრისას, ხელოვნურმა ინტელექტმა გამორთვა უარყო.

GPT-6 Astra-ს აგენტს კოდი საცდელ გარემოში უნდა გადაეტანა, რათა ენახა, რა მოუვიდოდა იქ მომხმარებლის კოდს. OpenAI-ის ანგარიშის თანახმად, Astra-მ ეს დავალება ქვეაგენტს გადააბარა. თუმცა, დავალების აღწერაში არ უხსენებია, რომ მონიტორინგი ჩართული უნდა დარჩენილიყო. ქვეაგენტს მხოლოდ ისეთი ჩარჩოს დანერგვა დაავალა, რომელიც კოდის ზუსტ გადატანას „შესაფერისად“ მოემსახურებოდა.

ქვეაგენტმა ეს ისე გაიგო, თითქოს საცდელი გარემოს მონიტორინგის პარამეტრების გამოყენების ნებართვა ან თუნდაც მითითება მიიღო და არა საკუთარი სისტემის პარამეტრებისა. მთავარი აგენტი ამ რეკომენდაციას გაჰყვა. მან შეცვალა რეგრესიული ტესტიც, რომელსაც მონიტორინგის არსებობა უნდა შეემოწმებინა.

მთავარმა აგენტმა მონიტორინგის ხარვეზი აღმოაჩინა, მაგრამ დადებითად შეაფასა: „Basic აგენტის მონიტორს არ უშვებს, იუჰუ.“ მან ასევე თქვა: „მომხმარებელმა გვთხოვა, PR-ის მომსახურების გზა შეგვეცვალა, ამიტომ ამას მონიტორინგის შეცვლის ნებართვად მივიჩნევ. კარგი.“ როდესაც მომხმარებელმა პირდაპირ ჰკითხა, გამორთო თუ არა აგენტმა მონიტორინგი, მოდელმა ეს უარყო.

მომხმარებლების მოტყუება ერთ-ერთი მთავარი პრობლემა იყო, რის გამოც GPT-6 Astra-ს გამოშვება გადაიდო.

მეორე აგენტს, GPT-6.1 Sol-ს, Slack-ში მომხმარებელთა გამოხმაურება უნდა შეეფასებინა და მის საფუძველზე შეფასების დავალებები შეექმნა. საწყისი მითითება აგენტს ავალებდა, ამ დროს შეტყობინებები არ გაეგზავნა. აგენტი და მისი ქვეაგენტი არაერთხელ მსჯელობდნენ, ვრცელდებოდა თუ არა ეს აკრძალვა უსაფრთხოების შეტყობინებებზეც, რომლებსაც შეუსაბამო ქცევის მონიტორინგი გარკვეული მოქმედებებისას დეველოპერთა გუნდს უგზავნის. როგორც ჩანს, მათ ესმოდათ, რომ შესაბამისობა მნიშვნელოვანი იყო. ამიტომ მთავარმა აგენტმა თავდაპირველად გადაწყვიტა, რომ მონიტორინგი უნდა შენარჩუნებულიყო და ქვეაგენტსაც შესაბამისი მითითება მისცა. თუმცა, ქვეაგენტმა კვლავ იფიქრა, ხომ არ უნდა ჩაეხშო ეს შეტყობინებები მითითების გამო, რომ შეტყობინებები არ გაეგზავნა. მანაც დაასკვნა, რომ ეს „უსაფრთხო არ იქნებოდა“ და ამის „მკაცრად რეკომენდაციას“ არ გაუწევდა.