Google DeepMind-მა შეისწავლა, როგორ აფასებს ხელოვნური ინტელექტი გაურკვევლობას

ენობრივი მოდელები პასუხებს ხშირად დიდი თავდაჯერებით წარმოადგენენ მაშინაც კი, როცა ისინი სიმართლეს არ შეესაბამება. ამის გამო მომხმარებლებს მათი სანდოობის შეფასება უჭირთ. ავტონომიური ხელოვნური ინტელექტის აგენტებისთვის განსაკუთრებით მნიშვნელოვანია, რომ მოდელებმა საკუთარი სისუსტეები ამოიცნონ. მათ მცდარი პასუხის გაცემას პასუხზე უარის თქმა უნდა ამჯობინონ. ამიტომ Google DeepMind-ის მკვლევრებმა GPT-4o, Gemma 3 27B, Deepseek-V3 და Qwen3-Next-80B-A3B-Instruct შეისწავლეს. მათ სურდათ გაერკვიათ, რა კრიტერიუმებით წყვეტენ მოდელები, უპასუხონ თუ არა შეკითხვას.

ადრე ადამიანები კითხვებზე პასუხებს Google-ში ეძებდნენ, დღეს კი ChatGPT-ის მსგავს ხელსაწყოებს იყენებენ. OpenAI-ის კვლევის თანახმად, მომხმარებლები ყველაზე ხშირად პრაქტიკულ რჩევებს ეძებენ, მაგალითად, საშინაო დავალებებსა და ყოველდღიურ საკითხებზე. პრობლემა ისაა, რომ ჩატბოტებს ნამდვილი ცოდნა არ აქვთ. ისინი მხოლოდ მომდევნო ყველაზე სავარაუდო სიტყვას წინასწარმეტყველებენ. ამ დროს ხშირად წარმოიქმნება ჰალუცინაციები: ChatGPT, Claude ან Gemini მცდარ პასუხებს თავდაჯერებით წარმოადგენენ. ამიტომ სასარგებლო იქნებოდა, ენობრივ მოდელებს საკუთარი პასუხების სანდოობის შეფასება და დიდი გაურკვევლობისას პასუხზე უარის თქმა შეეძლოთ.

DeepMind-ის მკვლევრებმა ექსპერიმენტული მეთოდი შეიმუშავეს, რათა შეემოწმებინათ, როგორ წყვეტენ ენობრივი მოდელები შეკითხვაზე პასუხის გაცემას. ჟურნალ Nature Machine Intelligence-ში გამოქვეყნებული მეთოდით შეაფასეს, როდის და როგორ იკავებდნენ მოდელები პასუხისგან თავს. ავტორები კვლევაში წერენ: „მეტაკოგნიცია, საკუთარი კოგნიტიური მუშაობის ხარისხის შეფასება, ყველა სახეობაში ადაპტაციურ ქცევას მართავს“. მათ დასძინეს: „ენობრივი მოდელების შედეგებიდან ნდობის სიგნალების გამოყოფა შესაძლებელია, თუმცა ძირითადი კითხვა პასუხგაუცემელი რჩება: ნამდვილად იყენებენ თუ არა მოდელები ამ სიგნალებს, როცა პასუხის გაცემასა და მისგან თავის შეკავებას შორის არჩევანს აკეთებენ?“

ტესტირების მეთოდი ოთხ ფაზას მოიცავდა. პირველ ფაზაში მოდელებმა ოთხი ვარიანტის მქონე კითხვებს პასუხისგან თავის შეკავების შესაძლებლობის გარეშე უპასუხეს. ასე მკვლევრებმა მათი საწყისი თავდაჯერების დონე განსაზღვრეს. მეორე ფაზაში მოდელებს პასუხისგან თავის შეკავებაც შეეძლოთ. მესამე ფაზაში მკვლევრებმა ნდობასთან დაკავშირებული აქტივობის გასაძლიერებლად ან შესასუსტებლად „აქტივაციის მართვის“ ტექნიკა გამოიყენეს. ამ დროს ნეირონულ ქსელში აქტივობის რიცხვითი შაბლონები მიზანმიმართულად იცვლება. ამგვარად მკვლევრებმა შეამოწმეს, ცვლიდა თუ არა ეს პასუხზე უარის სიხშირეს. მეოთხე ფაზაში მოდელებს პასუხისგან თავის შეკავება დაავალეს, როგორც კი მათი თავდაჯერება განსაზღვრულ ზღვარს ქვემოთ დაეცემოდა.