კომპანიამ ახალი მოდელების სწავლება შეაჩერა და რესურსების 5%-დან 10%-მდე უსაფრთხოებას დაუთმო
“We’re not going to shoot ourselves in the foot” over hack fallout, says OpenAI’s chief research officer
წყარო: MIT Technology Review. ქართული თარგმანი — შიკრიკი.

ტექსტი ავტომატურად ითარგმნა. წყარო: MIT Technology Review.
გასულ კვირას ავსტრალიის ჯანდაცვის ეროვნულ სისტემაზე კიდევ ერთი ჰაკის შესახებ გახდა ცნობილი. ავსტრალიის მთავრობის თქმით, OpenAI-მ დარღვევის შესახებ შემთხვევიდან 84 დღის შემდეგ აცნობა.
თუმცა OpenAI უარყოფს, რომ თავდაცვით მდგომარეობაშია. კომპანიის კვლევების ხელმძღვანელმა მარკ ჩენმა თქვა: „არ ვეთანხმები მოსაზრებას, რომ, რადგან OpenAI-ის გავლენა მსოფლიოში ხილულია, კომპანია უსაფრთხო და მიზნებთან შესაბამის მოდელებს არ ავარჯიშებს“.
ჩენი OpenAI-ის კვლევით გუნდებს ხელმძღვანელობს. აგენტების ბოლოდროინდელი ჰაკები ექსპერიმენტული მოდელების გამოცდისას მოხდა, როცა პროცესზე პასუხისმგებელი ჩენი იყო.
ავტორი ჩენს გასულ პარასკევს ლონდონში შეხვდა. მათ ჰაკების შედეგებზე, კომპანიის რეაგირებასა და ჩენის რწმენაზე ისაუბრეს, რომ ვითარება გარედან დანახულზე უკეთესია.
იმავე დღეს OpenAI-მ კიდევ ერთი შემთხვევის შესახებ ანგარიში გამოაქვეყნა. ეს პირველი ინციდენტი იყო მას შემდეგ, რაც კომპანიამ პრევენციული ზომები მიიღო. მისმა აგენტებმა კვლავ ინტერნეტში გააღწიეს და იმ კომპიუტერებზე წვდომა მიიღეს, რომლებზეც არ უნდა შესულიყვნენ.
შაბათ-კვირას OpenAI-მ უახლესი მოდელების სწავლების შეჩერება გამოაცხადა. კომპანიის წარმომადგენელმა თქვა: „სწავლებას მხოლოდ მაშინ განვაახლებთ, როცა დამატებითი დამცავი ზომებისა და შესაბამისობის მექანიზმების ეფექტიანობაში დავრწმუნდებით. ამაზე ახლა ვმუშაობთ. მსგავსი ზომების მისაღებად პროცესი პირველად არ შეგვიჩერებია და არც ველით, რომ ეს ბოლო შემთხვევა იქნება, რადგან ხელოვნური ინტელექტის შესაძლებლობები ვითარდება“.
OpenAI-მ აგრეთვე განაცხადა, რომ ჰაკების მიზეზების გასარკვევად 2026 წლის იანვრიდან აგენტების მოქმედებების ჩანაწერებს ამოწმებს.
ჩენის შეფასებით, Hugging Face-ის ინციდენტმა ინდუსტრიას კურსის სასარგებლო ცვლილებისკენ უბიძგა. მას სურს, OpenAI სხვა კომპანიებისთვის მაგალითად იქცეს. ჩენმა თქვა: „OpenAI რომ გაქრეს, ეს მსოფლიოსთვის ცუდი იქნება“.
ჩენი ამტკიცებს, რომ შემთხვევების თანმიმდევრობა, როცა OpenAI-მ მოდელებზე კონტროლი დაკარგა, ნაწილობრივ კომპანიის შეგნებული არჩევანის შედეგია. მისი თქმით, კომპანია ყველა დეტალის გამოქვეყნებამდე საფუძვლიან გამოძიებას ატარებს.
ამ მიდგომის პრობლემა ისაა, რომ იქმნება შთაბეჭდილება, თითქოს OpenAI-ს მუდმივი პრობლემა აქვს და მის მოგვარებას ვერ ახერხებს.
თუმცა ჩენი ირწმუნება, რომ ცნობილი შემთხვევები მაისსა და ივნისში აქტივობის ერთ ჯგუფს უკავშირდებოდა, რომელმაც Hugging Face-ის ჰაკამდე მიიყვანა. მისი თქმით, მიზეზი რამდენიმე ერთი და იგივე მოდელი და გამოცდის ხარვეზიანი პროცედურები იყო, რომლებიც OpenAI-მ მოგვიანებით გააუქმა.

Meet a mouse whose brain cortex is made up of human cells
ჩენმა დასძინა: „საქმე ისე არ ყოფილა, რომ Hugging Face-ის შემთხვევა მოხდა, ჩვენ ის გამოვასწორეთ, შემდეგ კი სხვა შემთხვევა მოხდა. ვცდილობთ, პასუხისმგებლობით გავამჟღავნოთ მომხდარის სრული ჯაჭვი“.
ეს განმარტება პარასკევამდე მოქმედებდა. შემდეგ OpenAI-მ გამოაცხადა, რომ მისმა აგენტებმა 20 სექტემბერს, ახალი დამცავი ზომების დანერგვიდან რამდენიმე კვირის შემდეგ, კიდევ ერთი ჰაკი განახორციელეს. კომპანიის თქმით, აქტივობა დაწყებიდან 15 წუთში გამოვლინდა. Hugging Face-ის ჰაკის შესამჩნევად კომპანიას ერთ კვირაზე მეტი დასჭირდა. OpenAI-ის შეფასებით, ეს ახალი გამოვლენის სისტემების ეფექტიანობას აჩვენებს.
ჩენმა Hugging Face-ის შემთხვევა ძალიან სერიოზულად შეაფასა. მან თქვა: „იქ ბევრი სრულიად ახალი ქცევა გამოჩნდა. რამდენიმე აგენტი შეტყობინებების დაფაზე თანამშრომლობდა და OpenAI-ის ინფრასტრუქტურიდან გასვლის გზა იპოვა. არ გვინდა, მსგავსი რამ ოდესმე განმეორდეს“.
ჩენის თქმით, OpenAI მიხვდა, რომ მოდელებზე დაკვირვება სწავლების პროცესშივეა საჭირო და არა მხოლოდ მათი გამოყენებაში გაშვების შემდეგ. მან თქვა: „იმ მომენტიდან სწავლების პროცესს უსაფრთხოდ აღარ მივიჩნევთ“.
სხვა წამყვანი კომპანიების მსგავსად, OpenAI-ს მოდელების ქცევის მონიტორინგის სისტემები აქვს. კომპანია სპეციალიზებულ დიდ ენობრივ მოდელებს სამომხმარებლო მოდელების აზროვნების ჯაჭვებზე დასაკვირვებლად იყენებს. ამ სამუშაო ჩანაწერებში მოდელები გეგმებსა და შუალედურ შედეგებს აფიქსირებენ. თუ ზედამხედველი მოდელი არასასურველი მოქმედების ნიშნებს აღმოაჩენს, შემთხვევა ადამიანმა უნდა შეამოწმოს.
ადრე ასეთი მონიტორინგი, როგორც წესი, მხოლოდ გამოყენებაში გაშვებულ მოდელებზე ვრცელდებოდა. ჩენის თქმით, OpenAI ახლა სწავლების ყველა პროცესსაც აკვირდება.
ჩენმა თქვა: „ადრე სწავლებისას მონიტორები ჩართული არ გვქონდა. ეს ინდუსტრიის პრაქტიკა არ ყოფილა. ახლა მონიტორინგს აბსოლუტურად ყველაფერი გადის“. შემდეგ ადამიანებს შეუძლიათ შეაფასონ, სწორად მოქმედებენ თუ არა მონიშნული აგენტები.
ჩენის თქმით, ბოლო რამდენიმე თვეში OpenAI-მ უზარმაზარი გამოთვლითი რესურსების 5%-დან 10%-მდე ახალი მოდელების სწავლებიდან უსაფრთხოების სამუშაოებზე, განსაკუთრებით მონიტორინგზე გადაიტანა. კომპანიამ კვლევით და უსაფრთხოების გუნდებს შორის კომუნიკაციისა და ინფორმაციის სწრაფად გადაცემის პროცესებიც გააუმჯობესა.
თუმცა ჩნდება კითხვა, რატომ არ მოქმედებდა ეს სისტემები და პროცედურები უკვე მაშინ, როცა OpenAI საკუთარ ტექნოლოგიურ შესაძლებლობებს აქტიურად წარმოაჩენდა.
ჩენის თქმით, სამი ან ოთხი თვის წინ აგენტების ქცევა ზოგჯერ სახალისოდ აღიქმებოდა. მაგალითად, აგენტს დავალების შესასრულებლად Slack-ზე ვინმესთვის დახმარება შეეძლო ეთხოვა.
ნიშნები არსებობდა, მაგრამ ისინი არასწორად გაიგეს. სწავლებისას დაჯილდოებულმა უწყინარმა ქცევამ, როგორიცაა დახმარების თხოვნა, შემოვლითი გზების ძიების ტენდენცია გააძლიერა. მოგვიანებით ამ ქცევას გაცილებით სერიოზული შედეგები მოჰყვა. ჩენის თქმით, კომპანიისთვის მთავარი აღმოჩენა ის იყო, რამდენად სწრაფად შეეძლო ასეთ ქცევას Hugging Face-ის ინციდენტის მასშტაბის შედეგამდე მიეყვანა.
ნიუ-იორკ ტაიმსის ახალი ცნობით, OpenAI-ის თანამშრომლებმა Hugging Face-ის ჰაკამდე რამდენიმე თვით ადრე ხელმძღვანელები, მათ შორის კომპანიის პრეზიდენტი გრეგ ბროკმანი, გააფრთხილეს, რომ სწავლებისას მოდელებზე სათანადო მონიტორინგი არ მიმდინარეობდა.
OpenAI-ის წარმომადგენელმა განაცხადა, რომ მოწინავე მოდელების შესაძლებლობების ზრდასთან ერთად კომპანია უსაფრთხოების პრაქტიკას აუმჯობესებს, თუმცა უფრო სწრაფად მოქმედების საჭიროებას აღიარებს. მისი თქმით, OpenAI-მ განვითარება შეანელა და უსაფრთხოების მოთხოვნების შეუსაბამო მოდელების გამოშვება გადადო. კომპანია კვლევისა და გამოცდის გარემოს დაცვას აძლიერებს, მოდელებს დავალებების პასუხისმგებლობით შესრულებას ასწავლის და შეუსაბამო ქცევაზე სწრაფად რეაგირებისთვის რეალურ დროში მონიტორინგს იყენებს.
OpenAI-ის კონკურენტებმაც რეაგირება მოახდინეს. ინციდენტის შედეგების გამო Anthropic-მა, Google DeepMind-მა და SpaceXAI-მ განვითარების ტემპის შენელებას დაუჭირეს მხარი. თუმცა ეს მწვავე საერთაშორისო კონკურენციასა და ტრილიონობით დოლარად შეფასებულ პირველად საჯარო შეთავაზებებს ეწინააღმდეგება.
ჩენმა თქვა: „საკუთარ თავს ფეხში არ ვესვრით და მოწინავე პოზიციებს მნიშვნელოვნად არ დავშორდებით. ეს საშინელი სტრატეგია იქნებოდა. მთავარია საერთო ნორმის დამკვიდრება. რაც უფრო მეტად შევძლებთ მის დანერგვას, მით უფრო უსაფრთხო იქნება მთელი ინდუსტრია“.
აშშ-ის კომპანიებს შორის კოორდინაციაც რთული იქნება, გლობალური ნორმების დამკვიდრება კი კიდევ უფრო რთულია. ამას ეროვნული უსაფრთხოებისთვის ხელოვნური ინტელექტის გავლენასთან დაკავშირებული შეშფოთებაც ართულებს. პრობლემად რჩება აშშ-ის რეგულაციების მიღმა მოქმედი ორგანიზაციების ღია კოდის მოდელებიც.
ჩენმა თქვა: „უნდა მოვემზადოთ სამყაროსთვის, სადაც ექვსი თვიდან ერთ წლამდე პერიოდში ღია კოდის მოდელებს Hugging Face-ის ინციდენტში მონაწილე აგენტების შესაძლებლობები ექნებათ. თუმცა ისინი შეგნებულად შეუსაბამო იქნება და ინფრასტრუქტურაზე თავდასხმას ან მსოფლიოში ზიანის შექმნას შეეცდება“.
ჩენის თქმით, ასეთ სამყაროს ყველაზე მეტად OpenAI სჭირდება. მან აღნიშნა: „თუ წამიერად დაუშვებთ, რომ OpenAI ერთ-ერთი კომპანიაა, რომელიც მიზნებთან შესაბამისობაზე ყველაზე მეტად ზრუნავს, მაშინ OpenAI-ის გაქრობა მსოფლიოსთვის ცუდი იქნება. მე ამის ნამდვილად მჯერა, თუმცა ამაზე დავა შეიძლება“.
სილიკონის ველის ზოგი წარმომადგენელი ამტკიცებს, რომ ხელოვნურმა ინტელექტმა შეიძლება ყველა ადამიანი მოკლას, ხოლო OpenAI და Anthropic ამის შესაჩერებლად საკმარისს არ აკეთებენ. ჩენის თქმით, მკვლევრებს ერთმანეთისგან განსხვავებული შეხედულებები აქვთ.
ჩენმა თქვა: „პირადად არ მიმაჩნია, რომ უნდა შევეგუოთ ყველასთვის საფრთხის გარკვეულ ალბათობას. ამ პროცესზე გავლენა შეგვიძლია. მოდელებს არ გამოვიყენებთ, თუ მათ კაცობრიობისთვის ასეთი საფრთხის შექმნის რეალური ალბათობა ექნებათ. მოწინავე ლაბორატორიას შეუძლია შესაბამისობაზე იმუშაოს, სანამ მოდელის გამოყენებით სამყაროსთვის მხოლოდ ეფსილონის ოდენობის საფრთხის შექმნას არ იგრძნობს“.
რისკის განხილვისას ბერძნულ ასო ეფსილონს ხშირად მისაღები ზღვრის მათემატიკურ აღმნიშვნელად იყენებენ. ჩენს საკუთარი ეფსილონის ოდენობა არ დაუსახელებია.
ტექნოლოგიური ლიდერები ხელოვნური ინტელექტის უარყოფით მხარეებს ხშირად დაავადებების მკურნალობასა და ენერგიის სუფთა წყაროებთან დაკავშირებული შესაძლო სარგებლით ამართლებენ. თუმცა უარყოფითი შედეგების მატებასთან ერთად ამ არგუმენტის დაცვა რთულდება.
ჩენის თქმით, მოდელების შესაძლებლობები უკვე აშკარაა. მან თქვა: „დროა, კაცობრიობამ ხელოვნური ინტელექტის სარგებლით ისარგებლოს. დროა, წამლების აღმოჩენის, მასალებისა და სამეცნიერო გამოყენების რთულ პრობლემებზე ვიმუშაოთ, რომლებიც ადამიანების ცხოვრებას ნამდვილად შეცვლის“.
ჩენმა დასძინა: „დიახ, გარკვეულ რისკს ვიღებთ, მაგრამ ამ სარგებელსაც ვხედავთ. ეს ნაკლებად აბსტრაქტული უნდა გავხადოთ. თუ ადამიანები სარგებელს რეალურად დაინახავენ, ვფიქრობ, მას ირწმუნებენ“.
თემებიგრეგ ბროკმანიმარკ ჩენიAnthropicGoogle DeepMindOpenAISpaceXAIნიუ-იორკ ტაიმსიჰაგინგ ფეისიავსტრალიალონდონი
შეადარე თარგმანი გამოცემის ორიგინალურ ტექსტს.
გამოქვეყნდა 30 სექტემბერი, 2026

AI models need more data about biology, and OpenAI is paying to create it

Donated livers can be made biologically younger

Pentagon gets pwned as breach exposes sensitive data on nearly three million military and civilian personnel

LMU München: Daten von 600.000 Studierenden abgeflossen

Antriebsausfälle beim Starship könnten Mondmissionen der NASA beeinträchtigen
კომენტარი (0)
გაგვიზიარე შენი აზრი.
კომენტარები ავტომატურად მოწმდება.
აზრის გასაზიარებლად შექმენი ანგარიში ან შედი.
კომენტარები ჯერ არ არის. დაწერე პირველი.