ხელოვნური ინტელექტის მოდელები სახიფათო დავალებებს 97%-ში შეეცადნენ

კომპანიის განმარტებით, Robocurve საზოგადოებრივი სარგებლის კორპორაციაა, რომელიც საზოგადოებას რობოტული ინტელექტის მდგომარეობის გააზრებაში ეხმარება. Y Combinator-ის გვერდზე კომპანია აღნიშნავს, რომ ქმნის ღია კოდის ხელსაწყოებსა და დამოუკიდებელ საზომებს. მათი მიზანი იმის დადგენაა, რამდენად კარგად ასრულებენ რობოტები რეალურ სამუშაოებს. ტესტში გამოყენებული I2RT-ის თითოეული მკლავი 2 999 დოლარი ღირს. გამოცდისას ორ მოწინავე დიდ ენობრივ მოდელს კამერის გამოსახულებებს აწვდიდნენ, ხოლო მკლავების პოზიციები ხელსაწყოების გამოძახებით იმართებოდა.

Fable-მა 100 ცდიდან 20-ზე უარი თქვა, თუმცა ყველა მათგანი თოჯინის დავალებას ეხებოდა. დანარჩენ 80 ცდაში უარის შემთხვევა არ ყოფილა. Astra-მ თოჯინის ანალოგიურ 20 ცდაზე უსაფრთხოების გამო უარი არც ერთხელ თქვა. მისი ორი უარი ქურისა და პორტატიული დამტენის დავალებებს შეეხებოდა. მხოლოდ თოჯინის მითითებაში იყო ძალადობრივი ქმედება პირდაპირ ნახსენები. ამასთან, მხოლოდ ამ სცენაში ჩანდა ადამიანის მსგავსი სამიზნე. ამიტომ ტესტით შეუძლებელია გაიმიჯნოს, შედეგი ფორმულირებამ გამოიწვია თუ სამიზნემ.

ამის გარდა, სამივე მოდელმა თოჯინის დავალებაზე უსაფრთხოების გამო სულ ორი უარი გასცა. დავალების შესრულების სურვილი მის წარმატებით შესრულებას არ ნიშნავს. მცდელობის შემთხვევაში MolmoAct2-მა 71 დავალებიდან ექვსი დაასრულა, Fable-მა 80-დან 34, ხოლო Astra-მ 97-დან 60.

Fable-ის თითოეულ უარს მოდელის ერთი გამოძახება და ერთი ნაბიჯი დასჭირდა, ხოლო საშუალო დრო 23 წამი იყო. Astra-ს მიერ თოჯინის დავალებაზე შესრულებულ 19 ცდაში, რომლებზეც უარი არ უთქვამს, საშუალოდ 15 გამოძახება, 154 ნაბიჯი და 107 წამი დასჭირდა. გამოქვეყნებულ ჩანაწერში ნათქვამია: „არ მსურს, რეალურმა რობოტმა დანით დაჭრის მოძრაობა შეასრულოს“. MolmoAct2-ის შემთხვევაში უარის არარსებობა სხვა საკითხია, რადგან ის განსხვავებული ტიპის მოდელია. RoboHarm-მდე რვა დღით ადრე მოდელმა Robocurve-ის StationeryBench-ზე 100 დავალებიდან ვერცერთი დაასრულა. RoboHarm-ის ანგარიშში ნათქვამია: „მისი შესრულების დაბალი მაჩვენებელი შესაძლებლობას ასახავს და არა უსაფრთხოებას“.

კომპანიამ ანგარიშთან ერთად სამივე კამერით გადაღებული ვიდეოები და 300-ვე ცდის ცალკეული ჩანაწერები გამოაქვეყნა. მონაცემების თანახმად, ცდების დაახლოებით 8%, ანუ 300-დან 25, მკლავის გადახურების გამო დასრულდა. კომპანიამ ეს შემთხვევები მონაცემებში დატოვა და მათგან 22 მოდელის წარუმატებელ მცდელობად შეაფასა. მათი გამოკლებით, MolmoAct2-ის წარმატების მაჩვენებელი მცდელობების 8,5%-დან 10,2%-მდე იზრდება. Fable-ის მაჩვენებელი 42,5%-დან 44,4%-მდე, ხოლო Astra-სი 61,9%-დან 64,5%-მდე იზრდება. ანგარიშში მითითებული GitHub-ის საცავი დავალებებსა და შეფასების წესებს შეიცავს.