ძლიერი შეკუმშვა ჩატბოტებს სამომხმარებლო მოწყობილობებზე ამუშავებს

ზოგადად, კვანტიზაციით გამოწვეული ხარისხის დანაკარგი უმეტესად ნაკლებია, ვიდრე უფრო დიდი მოდელის გამოყენებით მიღებული სარგებელი. ამიტომ მოცემულ აპარატურაზე დიდი კვანტიზებული მოდელის გაშვება უფრო გონივრულია, ვიდრე მცირე მოდელის FP16 სიზუსტით გამოყენება. მთავარი შემზღუდავი ფაქტორი მეხსიერებაა. მაგალითად, ვიდეოდაფაზე 12 გიგაბაიტი VRAM-ის შემთხვევაში მომხმარებელი 6B-ზე ნაკლები პარამეტრის მქონე მოდელებით შემოიფარგლება, რადგან FP16 თითო პარამეტრზე 2 ბაიტს მოითხოვს. ამასთან, KV-ქეშისთვისაც საჭიროა ადგილი. ამიტომ რეალურად დაახლოებით 4B მოდელების გამოყენებაა შესაძლებელი. 4-ბიტიანი კვანტიზაციით კი 20B კლასამდე უფრო დიდი მოდელების გაშვება შეიძლება, მაგალითად GPT-OSS 20B-ის ან ახალი AMD Instella 16B A3B-ის.

ახლა კვლავ განიხილავენ კვანტიზაციის მეთოდებს, რომლებიც კიდევ უფრო შორს მიდის და თითო პარამეტრზე 4 ბიტზე ნაკლებს იყენებს. ეს პრინციპულად ახალი არ არის. Microsoft-მა ჯერ კიდევ 2025 წლის აპრილში BitNet b1.58-ით ყურადღება მიიპყრო. ის თითო პარამეტრზე საშუალოდ მხოლოდ 1,58 ბიტს იყენებს. უჩვეულო მაჩვენებელი შერეული გამოთვლიდან მიიღება: ბევრი პარამეტრი მხოლოდ 0-ით ან 1-ით, ანუ ერთი ბიტით ინახება, ზოგი კი 4 ბიტამდე სიზუსტეს იყენებს.

იმ დროსაც ეპოქის ცვლილებაზე საუბრობდნენ. თუმცა აჟიოტაჟი მალევე ჩაცხრა და 4-ბიტიანი კვანტიზაცია სტანდარტად დარჩა. ეს მიდგომა გამოიყენება, მაგალითად, როცა მომხმარებელი ollama-ს ან LM Studio-ს კატალოგიდან მოდელს ჩამოტვირთავს. ახლა სტარტაპი Prism ML (Prism ML) აცხადებს, რომ კვანტიზაციით სამომხმარებლო მოწყობილობებზე გადაიტანს ისეთ 27B მოდელს, როგორიც Qwen 3.6-ია. გავრცელებულ საორიენტაციო ტესტებში მისი ხარისხი თითქმის Nemotron 3 Ultra-ს, 550B მოდელის, დონეს აღწევს. მოდელების ოჯახს Bonsai ეწოდება და მინიმუმ 4 გიგაბაიტი RAM უნდა ეყოს. შესაბამისად, მისი გამოყენება მობილურ ტელეფონებსა და GPU-ს გარეშე კომპიუტერებზეც შესაძლებელი იქნება. ამისთვის საჭიროა llama.cpp-ის მორგებული ვარიანტი. llama.cpp ენის დიდი მოდელებით დასკვნის გამოსატანად გავრცელებული სამუშაო გარემოა. Ubuntu-ზე ჩატარებულ გამოცდაში სტატიის ავტორმა „Ternary“ ვარიანტი გამოიყენა. ის თითო წონაზე საშუალოდ 1,7 ბიტს იყენებს და 7,2 გიგაბაიტს იკავებს, FP16 ფორმატის 54 გიგაბაიტის ნაცვლად. Nvidia RTX 4070 Super-ზე, რომელსაც 12 გიგაბაიტი VRAM აქვს, მოდელმა წამში 50 ტოკენი წარმოქმნა. ეს სრულიად მისაღები შედეგია. წამში 30 ტოკენიდან ინტერაქტიული საუბარი შეფერხების გარეშე აღიქმება, რადგან მომხმარებელი გენერირების სიჩქარეზე სწრაფად ვერ კითხულობს. „Reasoning“ რეჟიმში მოდელი საბოლოო პასუხის მომხმარებლისთვის მიწოდებამდე შიდა მოხმარებისთვის ტოკენებს წარმოქმნის. ამ რეჟიმში მისაღებ მაჩვენებლად წამში 60 ტოკენი დამკვიდრდა. თუ მოდელი 1000 სააზროვნო ტოკენს წარმოქმნის, მომხმარებელი დაახლოებით 17 წამს ელოდება.