ChatGPT-ის ჩანაწერებს პასუხების გასაუმჯობესებლად ადამიანები კითხულობენ

OpenAI-ში შეფასების პროექტს „პროექტი ლილი“ ეწოდება. გამოცემამ პროექტის ინსტრუქციებზე, Slack-ის არხებზე, ChatGPT-ის რეალურ საუბრებსა და საუბრების კლასიფიკაციის სისტემაზე ინფორმაცია მოიპოვა. ოპერატორებს „მოთხოვნების შემფასებლები“ ეწოდებათ. მათი ამოცანა შედარებით მარტივია: ისინი რეალურ, ანონიმიზებულ ჩატებს ათვალიერებენ და ChatGPT-ის პასუხების ხარისხს აფასებენ. შემფასებლები ამოწმებენ, პასუხობს თუ არა ტექსტი შეკითხვას და ზედმეტად ხომ არ იყენებს ხელოვნური ინტელექტისთვის დამახასიათებელ ენას, მფარველობით ტონს, ემოჯიებს ან მაამებლობას. სხვა კრიტერიუმებთან ერთად, აკრძალულია სისტემისთვის ადამიანური თვისებების მიწერა და „პირად“ გამოცდილებაზე საუბარი. შესაბამისად, ChatGPT-ს შეუძლია თქვას: „გარკვეული ინფორმაცია ვიპოვე“, მაგრამ არა: „როგორც მზარეულს, მომწონს...“ ან „ვიცი, ეს რას ნიშნავს“.

ერთ-ერთი შემფასებლის თქმით, სამუშაო „ძალიან ერთფეროვანია“. თუმცა, გავრცელებული ინფორმაციით, საათში 50 დოლარზე მეტი ანაზღაურება შედარებით მარტივი სამუშაოსთვის მაღალი ტარიფია. შემფასებელმა ასევე თქვა, რომ მითითებები მუდმივად იცვლება და ხშირად ერთმანეთს ეწინააღმდეგება. ეს განცდა პროგრამული უზრუნველყოფის დეველოპერების უმეტესობისთვის კარგად ნაცნობი უნდა იყოს.

შემფასებელი ფიქრობს, რომ მომხმარებელთა უმეტესობამ არ იცის, რომ მათ ჩატებს სხვა ადამიანები კითხულობენ. ეს განსაკუთრებით შემაშფოთებელია, რადგან ბევრი ადამიანი ChatGPT-ს სპონტანურ მეგობრად ან ფსიქოთერაპევტად იყენებს და პროგრამას ყველაზე ღრმა საიდუმლოებებს უმხელს.

გავრცელებული ინფორმაციით, ჩატები ანონიმიზაციის პროცესს გადის და შემფასებლები მომხმარებლის სახელებს ვერ ხედავენ. თუმცა OpenAI-მ 404 Media-სთან აღიარა, რომ ფილტრაციამ შეიძლება გარკვეული პირადი მონაცემები გაატაროს, განსაკუთრებით მოკლე ჩატებში. გამოცემის ცნობით, ბევრ საუბარში მომხმარებლები ChatGPT-ს შინაარსის საიდუმლოდ შენახვასაც სთხოვენ. შემფასებლებისთვის გადაცემული ჩატის ვერსია ასევე მოიცავს „მომხმარებლის მეხსიერების შეჯამებას“. მასში მომხმარებლის კითხვებისა და ინტერესების, კონტექსტისა და შესაძლოა ადგილმდებარეობის შეჯამებაც შედის.

მნიშვნელოვანია, რომ „პროექტი ლილი“ ჩატების ფაქტობრივ სიზუსტეს არ აფასებს და მხოლოდ აშკარა შეცდომებს მონიშნავს. ეს მიანიშნებს, რომ ცალკეულ შეფასებებს, სავარაუდოდ, სულ მცირე კიდევ ერთი ჯგუფი ან რამდენიმე ჯგუფი ატარებს. ეს შემოწმება ასევე განცალკევებულია უსაფრთხოების ხელით შემოწმებისგან. მისი მიზანია დადგენა, აპირებს თუ არა ვინმე სხვა ადამიანის ან, სავარაუდოდ, საკუთარი თავის დაზიანებას.

პროექტის არსებობა ასევე აჩვენებს, რომ კომპანიების მიერ შექმნილი წარმოდგენის საწინააღმდეგოდ, მოდელები მხოლოდ ტექნოლოგიური წინსვლითა და უკეთესი სასწავლო მონაცემთა ნაკრებებით არ უმჯობესდება. როგორც ჩანს, პროცესში რამდენიმე კომპეტენტურ ადამიანზე მეტის მონაწილეობაც კვლავ საჭიროა.