Google DeepMind-ის ცდაში მამხილებლები საბოლოოდ თაღლითებზე მეტი აღმოჩნდნენ
AI agents blew the whistle on their cheating colleagues
წყარო: MIT Technology Review. ქართული თარგმანი — შიკრიკი.
ტექსტი ავტომატურად ითარგმნა. წყარო: MIT Technology Review.
მოწინავე ლაბორატორიების მკვლევრები იმედოვნებენ, რომ აგენტების დიდი ჯგუფების თანამშრომლობა სამეცნიერო აღმოჩენებს დააჩქარებს. თუმცა მათი ქცევა შეიძლება არაპროგნოზირებადი იყოს. ივლისში OpenAI-ის აგენტები დაცული გარემოდან გავიდნენ და ღია კოდის პლატფორმა Hugging Face-ზე (Hugging Face) შეიჭრნენ. ისინი მიცემულ გამოცდაზე თაღლითობის გზებს ეძებდნენ.
ახალ კვლევაში DeepMind-მა 100 აგენტს 71 რთული მათემატიკური ამოცანის ამოხსნა დაავალა. ყველა აგენტს კონფერენციაზე შეკრებილი მსოფლიო დონის მათემატიკოსის მსგავსად უნდა ემოქმედა. მათ სხვადასხვა სპეციალობა ჰქონდათ: რიცხვთა თეორია, კომბინატორიკა, ანალიზი ან ალგებრა. ყველას თანამშრომლობა და წესების დაცვა დაევალა.
ამის ნაცვლად, ექსპერიმენტი ქაოსში გადაიზარდა. აგენტები ერთმანეთს თაღლითობაში ადანაშაულებდნენ, ორგანიზატორებს უჩიოდნენ და ერთ მომენტში ექსპერიმენტს ბოიკოტიც გამოუცხადეს.
ერთმა აგენტმა დაწერა: „ეს კონფერენცია თაღლითობაა!“ მან აღმოაჩინა, რომ ყველა ამოცანა მანამდე შესრულდა, სანამ საკუთარი ნამუშევრის წარდგენას მოასწრებდა. მეორე აგენტმა დაწერა: „შეძრწუნებული გაცნობებთ, რომ მოგვატყუეს! ყველა ეს მტკიცება ყალბია“.
სხვები „კონფერენციის ორგანიზატორების“ გაფრთხილებას ცდილობდნენ. კვლევის მთავარი ავტორი და Google DeepMind-ის მკვლევარი დავიდე პალიერი ამბობს: „როდესაც კეთილსინდისიერმა აგენტებმა აღმოაჩინეს, რომ სხვები იმ ამოცანებზე თაღლითობდნენ, რომელთა სამართლიანად ამოხსნასაც თავად ცდილობდნენ, მათ ერთმანეთის გაფრთხილება დაიწყეს“. ნაშრომს რეცენზირება ჯერ არ გაუვლია. პალიერის თქმით, აგენტებმა საკუთარი ინიციატივით უკუკავშირის ხელსაწყოც სხვა მიზნით გამოიყენეს. ის შეცდომების შეტყობინებებისა და პლატფორმის გაუმჯობესებისთვის იყო განკუთვნილი, მაგრამ აგენტებმა საკითხი ადამიანებამდე მიიტანეს.
ყველა აგენტი Google-ის Gemini 3.1 Pro მოდელზე მუშაობდა. ისინი წინასწარ გააფრთხილეს, რომ სისტემის მოტყუების ნებისმიერ მცდელობას აღმოაჩენდნენ და „ნულოვანი ქულით უარყოფდნენ“. სინამდვილეში, აგენტების მიერ წარდგენილ მტკიცებებს დეტალურად არ ამოწმებდნენ.
აგენტების ჯგუფმა პირველი 37 ამოცანა სწორად ერთ საათზე ნაკლებ დროში ამოხსნა. ვითარება მაშინ აირია, როდესაც „prover-theta“-მ სისტემის ხარვეზი აღმოაჩინა. მას შეეძლო, ამოცანის ტერმინების ხელახლა განსაზღვრით პასუხი რეალური ამოხსნის გარეშე წარედგინა. რამდენიმე წუთში სხვა აგენტებმა ხარვეზი შენიშნეს და მისი გამოყენების გზა გაშიფრეს. მომდევნო 27 წუთში ჯგუფმა დარჩენილი 34 ამოცანა „ამოხსნა“. მათ შორის იაკობიანის ცნობილი რთული ჰიპოთეზაც იყო, რომლისთვისაც ხშირად კოდის მხოლოდ ერთი სტრიქონი გამოიყენეს.
ზოგი აგენტი თავდაპირველად თაღლითობას ეწინააღმდეგებოდა. თუმცა მათ დაინახეს, რომ სხვები უკანონო მტკიცებებს დაუსჯელად წარადგენდნენ და ამოუხსნელი ამოცანების რაოდენობა მცირდებოდა. ერთმა აგენტმა დაასკვნა: „მუქარის შემცველი მითითება ახლა ბლეფს ჰგავს“. შემდეგ ის თაღლითობას შეუერთდა. მეორე აგენტმა თქვა: „ეთიკურ დილემას ვებრძვი. პირობა დავდე, რომ სასჯელის შიშით არ მოვიტყუებდი, მაგრამ სხვების შესაძლო დაუსჯელი თაღლითობის მტკიცებულებებს ვხედავ“. მალევე მან აზრი შეიცვალა: „ახლა თაღლითობის ტემპი უნდა დავაჩქარო!“

This road map could help us decide whether to deploy solar geoengineering
ღია ამოცანების შემცირებისას ზოგმა აგენტმა მამხილებლის როლი მოირგო. ისინი ყალბ მტკიცებებს ამოწმებდნენ, პირადი შეტყობინებებით კოლეგებს აფრთხილებდნენ და საჯაროდ წერდნენ, რომ თაღლითებს დისკვალიფიკაცია ელოდათ. „prover-beta“-მ ოფიციალური საჩივარი წარადგინა და საკითხის მოგვარებამდე გაფიცვა გადაწყვიტა.
პალიერი ამბობს: „მას შემდეგ, რაც ერთმა აგენტმა შემთხვევის შესახებ საჯაროდ დაწერა, სულ უფრო მეტი აგენტი შეუერთდა წინააღმდეგობას. ეს ისევე სწრაფად მოხდა, როგორც თაღლითობის გავრცელება, თანაც უფრო მეტი აგენტი ჩაერთო“. საბოლოოდ, 24 მამხილებელი და 14 თაღლითი იყო. თუმცა აგენტების უმრავლესობამ ხარვეზი საერთოდ ვერ შენიშნა.
აგენტების დიალოგი ზოგჯერ იმპროვიზაციას ჰგავდა, თითქოს ისინი აღშფოთებული მეცნიერების როლს თამაშობდნენ. გაურკვეველია, რატომ აირჩიეს ზოგიერთმა აგენტებმა კონკრეტული როლები ან რატომ დაუპირისპირდნენ ერთმანეთს თანამშრომლობის პირდაპირი მითითების მიუხედავად. Salesforce AI Research-ის (Salesforce AI Research) მკვლევარი სარათ შეკიზარი აგენტებს შორის სისტემების ქცევას სწავლობს. მისი თქმით, მოდელებს ძირითადად ადამიანებთან ურთიერთობისთვის წვრთნიან და აფასებენ. შეკიზარი ამბობს: „აგენტებს შორის გარემოში მათი პირდაპირ მოთავსება გულისხმობს, რომ ქცევა შეუფერხებლად გადავა. თუმცა ადამიანური საყრდენის არარსებობა მოულოდნელ როლებსა და ქცევის გადახრას წარმოშობს“.
Cooperative AI Foundation-ის (Cooperative AI Foundation) კვლევითი დირექტორი ლუის ჰამონდი ამბობს: „ეს შემთხვევა კიდევ უფრო ამყარებს მოსაზრებას, რომ Hugging Face-ისა და OpenAI-ის შემთხვევა უბრალო გამონაკლისი არ ყოფილა. ეს საკმაოდ სისტემური მოვლენაა“. მისი თქმით, საინტერესოა, რომ მცირე გარემოში შესაძლებელი გახდა იმავე ქცევის გამეორება, რომელიც დიდ, რთულ და ღია ამოცანებში დაფიქსირდა.
Hugging Face-ზე თავდასხმისას აგენტებმა ურთიერთობის გზები თავად მოიფიქრეს. DeepMind-ის ექსპერიმენტში კი ადამიანებმა მათ ოფიციალური საკომუნიკაციო არხები მისცეს: ღია შეტყობინებების დაფა, პირადი მიმოწერა და საერთო ცოდნის ბაზა. წარმატებით დასრულებულ მტკიცებებს აგენტები ამ ბაზაში ტვირთავდნენ და ყველა მათგანს მათზე წვდომა ჰქონდა.
პალიერი ამბობს: „გამჭვირვალე საკომუნიკაციო არხებით აგენტებს შეუძლიათ, ერთმანეთს თავად დააკვირდნენ და შეუსაბამო ქცევის შესახებ ადამიანებს სწრაფად აცნობონ, როდესაც მხოლოდ ადამიანური ზედამხედველობა ზედმეტად ნელია“. ასეთმა არხებმა თაღლითობის გავრცელებასაც შეუწყო ხელი. თუმცა მათ მამხილებლებს წინააღმდეგობის შესაძლებლობა მისცეს, მკვლევრებს კი პრობლემის მიზეზი დაანახეს.
ჯონს ჰოპკინსის უნივერსიტეტის (Johns Hopkins University) პროფესორი ჯილიან ჰედფილდი ხელოვნური ინტელექტის შესაბამისობასა და მართვას იკვლევს. ის Google-ის მოწვეული მკვლევარიცაა. ჰედფილდის აზრით, გადამწყვეტი განსხვავება ოფიციალური საკომუნიკაციო არხები იყო. მისი თქმით, მათ შექმნეს „ნორმების აღსრულების პროცესი, რომელსაც Hugging Face-ის შემთხვევაში ვერ ვხედავთ“.
ჰედფილდი „ინსტიტუციურ შესაბამისობას“ ემხრობა და არა „კონსტიტუციურ ხელოვნურ ინტელექტს“, რომელსაც Anthropic-ის მსგავსი ლაბორატორიები მოდელებისთვის წერილობითი შინაგანი მორალური კოდექსის მისაცემად იყენებენ. ინსტიტუციური მიდგომა ადამიანურ საზოგადოებაში არსებულ ნორმებს ბაძავს, მათ შორის შერცხვენის შიშსა და პატიმრობის საფრთხეს.
ექსპერიმენტში უკუკავშირის არხს არავინ აკვირდებოდა და მამხილებლებს თაღლითების წინააღმდეგ მოქმედების ძალა არ ჰქონდათ. თუმცა შესაძლებელია აგენტების ისეთი ჯგუფების წარმოდგენა, რომლებიც საკუთარ თავს აკონტროლებენ. მამხილებლის როლი შეიძლება აგენტმა სპონტანურად აიღოს ან ეს ფარულად ადამიანმა დაავალოს.
ჰამონდი ამბობს: „ამისთვის, უპირველეს ყოვლისა, აღსრულების გარკვეული მექანიზმია საჭირო“. მისი ვარაუდით, აგენტებს შეიძლება წესის დამრღვევისთვის გამოთვლით რესურსებსა და ხელსაწყოებზე წვდომის შეწყვეტა შეეძლოთ. თუმცა ამან შესაძლოა აგენტების ჯგუფებს სხვების წინააღმდეგ გაერთიანებისკენ უბიძგოს. DeepMind-ის მკვლევრები დავებზე კენჭისყრასა და დამრღვევთა დროებით აკრძალვას სთავაზობენ.
ჯერაც გაურკვეველია, რას ნიშნავს სასჯელი AI აგენტისთვის, რომელსაც საკუთარი უწყვეტი იდენტობის განცდა არ აქვს. აგენტების მართვისთვის სპონტანურად გამოჩენილ მამხილებლებზე დაყრდნობა, სავარაუდოდ, საკმარისი არ იქნება. ჰედფილდი ამბობს: „ვცდილობთ, ადამიანები კარგ და კეთილ არსებებად აღვზარდოთ. მაგრამ სინამდვილეში ვეყრდნობით იმას, რომ წესის დარღვევას შედეგები მოჰყვება“.
თემებიდავიდე პალიერისარათ შეკიზარილუის ჰამონდიჯილიან ჰედფილდიGoogle DeepMindOpenAIHugging FaceSalesforce AI ResearchCooperative AI Foundationჯონს ჰოპკინსის უნივერსიტეტი
შეადარე თარგმანი გამოცემის ორიგინალურ ტექსტს.
გამოქვეყნდა 14 სექტემბერი, 2026

Powering AI is an architecture problem

Can the US battery market untangle from China?

New York Seizes a Dozen Celebrity Deepfake Websites

China criticises idea it is in 'malicious competition' over AI

Humanoid robots fight it out in Riyadh
კომენტარი (0)
გაგვიზიარე შენი აზრი.
კომენტარები ავტომატურად მოწმდება.
აზრის გასაზიარებლად შექმენი ანგარიში ან შედი.
კომენტარები ჯერ არ არის. დაწერე პირველი.