ძლიერი შეკუმშვა ჩატბოტებს სამომხმარებლო მოწყობილობებზე ამუშავებს

კვანტიზაცია ენის დიდ მოდელებსა და ხელოვნური ინტელექტის სხვა გენერაციულ მოდელებში შენახული წონების სიზუსტეს ამცირებს ისე, რომ პასუხების ხარისხი მკვეთრად არ გაუარესდეს. ძალიან დიდ მოდელებში ეს უკვე სტანდარტული მიდგომაა. უახლესი გიგანტური მოდელები, მათ შორის Kimi K3, რომელსაც 2,8 ტრილიონი პარამეტრი აქვს, 4 ბიტზე მაღალი სიზუსტით საერთოდ აღარ ვრცელდება. მისი წვრთნის მნიშვნელოვანი ნაწილიც 4 ბიტით ჩატარდა. ადრე წვრთნისთვის ჩვეულებრივ 32-ბიტიან მცოცავმძიმიან რიცხვებს იყენებდნენ, ხოლო მოდელები FP16 წონებით ვრცელდებოდა. კვანტიზაციის გავრცელებული სამიზნეებია FP8, ანუ 8-ბიტიანი სიზუსტის მცოცავმძიმიანი რიცხვები, და Q4, ანუ 4-ბიტიანი ფორმატები. Q4 მონაცემებს ან მთელი რიცხვებით ინახავს, ან ისეთ ახალ მცოცავმძიმიან ფორმატებს იყენებს, როგორებიცაა Nvidia-ს NVFP4 და ღია სტანდარტი MXFP4. პრაქტიკული წესი ასეთია: რაც უფრო მეტი პარამეტრი აქვს მოდელს, მით ნაკლებად აზიანებს კვანტიზაცია პასუხების ხარისხს. 8-დან 12 მილიარდამდე პარამეტრის მქონე მოდელებში ხარისხის დანაკარგი ჯერ კიდევ აშკარად შესამჩნევია. 100B კლასში ის უკვე ძალიან მცირეა, უმეტესად <1%. 300B და უფრო დიდ მოდელებში, მაგალითად DeepSeek v4 Flash-სა და Qwen 3.5 397B-ში, 4 ბიტამდე კვანტიზაციაც კი პასუხების ხარისხს აღარ ამცირებს.

ზოგადად, კვანტიზაციით გამოწვეული ხარისხის დანაკარგი უმეტესად ნაკლებია, ვიდრე უფრო დიდი მოდელის გამოყენებით მიღებული სარგებელი. ამიტომ მოცემულ აპარატურაზე დიდი კვანტიზებული მოდელის გაშვება უფრო გონივრულია, ვიდრე მცირე მოდელის FP16 სიზუსტით გამოყენება. მთავარი შემზღუდავი ფაქტორი მეხსიერებაა. მაგალითად, ვიდეოდაფაზე 12 გიგაბაიტი VRAM-ის შემთხვევაში მომხმარებელი 6B-ზე ნაკლები პარამეტრის მქონე მოდელებით შემოიფარგლება, რადგან FP16 თითო პარამეტრზე 2 ბაიტს მოითხოვს. ამასთან, KV-ქეშისთვისაც საჭიროა ადგილი. ამიტომ რეალურად დაახლოებით 4B მოდელების გამოყენებაა შესაძლებელი. 4-ბიტიანი კვანტიზაციით კი 20B კლასამდე უფრო დიდი მოდელების გაშვება შეიძლება, მაგალითად GPT-OSS 20B-ის ან ახალი AMD Instella 16B A3B-ის.

ახლა კვლავ განიხილავენ კვანტიზაციის მეთოდებს, რომლებიც კიდევ უფრო შორს მიდის და თითო პარამეტრზე 4 ბიტზე ნაკლებს იყენებს. ეს პრინციპულად ახალი არ არის. Microsoft-მა ჯერ კიდევ 2025 წლის აპრილში BitNet b1.58-ით ყურადღება მიიპყრო. ის თითო პარამეტრზე საშუალოდ მხოლოდ 1,58 ბიტს იყენებს. უჩვეულო მაჩვენებელი შერეული გამოთვლიდან მიიღება: ბევრი პარამეტრი მხოლოდ 0-ით ან 1-ით, ანუ ერთი ბიტით ინახება, ზოგი კი 4 ბიტამდე სიზუსტეს იყენებს.

იმ დროსაც ეპოქის ცვლილებაზე საუბრობდნენ. თუმცა აჟიოტაჟი მალევე ჩაცხრა და 4-ბიტიანი კვანტიზაცია სტანდარტად დარჩა. ეს მიდგომა გამოიყენება, მაგალითად, როცა მომხმარებელი ollama-ს ან LM Studio-ს კატალოგიდან მოდელს ჩამოტვირთავს. ახლა სტარტაპი Prism ML (Prism ML) აცხადებს, რომ კვანტიზაციით სამომხმარებლო მოწყობილობებზე გადაიტანს ისეთ 27B მოდელს, როგორიც Qwen 3.6-ია. გავრცელებულ საორიენტაციო ტესტებში მისი ხარისხი თითქმის Nemotron 3 Ultra-ს, 550B მოდელის, დონეს აღწევს. მოდელების ოჯახს Bonsai ეწოდება და მინიმუმ 4 გიგაბაიტი RAM უნდა ეყოს. შესაბამისად, მისი გამოყენება მობილურ ტელეფონებსა და GPU-ს გარეშე კომპიუტერებზეც შესაძლებელი იქნება. ამისთვის საჭიროა llama.cpp-ის მორგებული ვარიანტი. llama.cpp ენის დიდი მოდელებით დასკვნის გამოსატანად გავრცელებული სამუშაო გარემოა. Ubuntu-ზე ჩატარებულ გამოცდაში სტატიის ავტორმა „Ternary“ ვარიანტი გამოიყენა. ის თითო წონაზე საშუალოდ 1,7 ბიტს იყენებს და 7,2 გიგაბაიტს იკავებს, FP16 ფორმატის 54 გიგაბაიტის ნაცვლად. Nvidia RTX 4070 Super-ზე, რომელსაც 12 გიგაბაიტი VRAM აქვს, მოდელმა წამში 50 ტოკენი წარმოქმნა. ეს სრულიად მისაღები შედეგია. წამში 30 ტოკენიდან ინტერაქტიული საუბარი შეფერხების გარეშე აღიქმება, რადგან მომხმარებელი გენერირების სიჩქარეზე სწრაფად ვერ კითხულობს. „Reasoning“ რეჟიმში მოდელი საბოლოო პასუხის მომხმარებლისთვის მიწოდებამდე შიდა მოხმარებისთვის ტოკენებს წარმოქმნის. ამ რეჟიმში მისაღებ მაჩვენებლად წამში 60 ტოკენი დამკვიდრდა. თუ მოდელი 1000 სააზროვნო ტოკენს წარმოქმნის, მომხმარებელი დაახლოებით 17 წამს ელოდება.