DeepSeek-ის ახალი მოდელი დიდ ენობრივ მოდელებს ნაკლები რესურსით ამუშავებს

DeepSeek V4.1 Flash-ში N-გრამის წონები მსგავს როლს ასრულებს. ისინი ფარული ცოდნის ან დამკვიდრებული მეხსიერების წყაროა. ტრადიციული დიდი ენობრივი მოდელები პასუხისთვის ტოკენების ყველაზე სავარაუდო კომბინაციას ითვლის. N-გრამის წონები ამას იაფი ძიებით შესაბამისი ინფორმაციის სწრაფად მოძიებით ავსებს.

სინამდვილეში, მოდელი მოთხოვნის ნაცვლად ჰეშების მიმდევრობას ეძებს. ეს რიცხვები მოთხოვნის ცალკეულ ნაწილებს წარმოადგენს. საძიებო ცხრილშიც მზა პასუხები არ ინახება. იქ ვექტორებად წოდებული მათემატიკური გამოსახულებებია, რომლებიც ლოგიკური დასკვნის გამოტანის პროცესში გადადის.

შედეგად, მოდელს დამატებით პარამეტრებთან ჩვეულებრივ დაკავშირებული წარმადობის დანაკარგის გარეშე უფრო ჭკვიანი და ნიუანსური პასუხების გაცემა შეუძლია.

მოდელის ზომასა და შესაძლებლობებს შორის კავშირი კარგადაა ცნობილი. DeepSeek-ის N-გრამის პარამეტრების მთავარი თავისებურება მონაცემებზე წვდომის მეთოდია.

თანამედროვე დიდი ენობრივი მოდელები დეკოდირებისას, როგორც წესი, ავტორეგრესიულია. ჩატბოტის ან აგენტის მიერ თითოეული ტოკენის გენერირებისას მოდელის ყველა აქტიური წონა მეხსიერებიდან უნდა წაიკითხოს. ამიტომ შემზღუდველი ფაქტორი გამტარუნარიანობაა.

ექსპერტების ნარევის მოდელებმა და უკიდურესად დაბალი სიზუსტის მცოცავმძიმიანმა მონაცემთა ტიპებმა ეს შემაფერხებელი რგოლი შეამცირა. თუმცა DeepSeek V4.1 Flash-ის N-გრამის წონები სხვაგვარად მუშაობს. ისინი ლოგიკური დასკვნის გამოტანისას ხელმისაწვდომ პარამეტრებს მეხსიერებაზე დატვირთვის თანაზომიერი ზრდის გარეშე ეფექტიანად ზრდის.

N-გრამის წონები უზარმაზარი საძიებო ცხრილებია. მათი გამოკითხვა სწრაფი და იაფია, რადგან თითოეული ტოკენის გენერირებისას მათი მთლიანად წაკითხვა საჭირო არ არის. თითო ტოკენზე მხოლოდ რამდენიმე ათეული ცხრილური ძიება სრულდება.

შესაბამისად, წარმადობის შესანარჩუნებლად ამ წონების GPU მეხსიერებაში მოთავსება აუცილებელი არ არის. მათი გადატანა სისტემურ ოპერატიულ მეხსიერებაში ან, შესაძლოა, საკმარისად სწრაფ საცავშიც შეიძლება.

FP8 ფორმატში DeepSeek V4.1 Flash-ის წონების შესანახად ჩვეულებრივ, სულ მცირე, 763 GB GPU მეხსიერება იქნებოდა საჭირო. N-გრამის წონების იაფ სისტემურ მეხსიერებაში გადატანით დაახლოებით 567 GB GPU მეხსიერებაც საკმარისია.

ეს მხოლოდ მინიმუმია. საწარმოო გარემოში მოთხოვნა მნიშვნელოვნად გაიზრდება, რადგან გასათვალისწინებელია KV ქეშებიც. მათი ზომა კონტექსტის სიგრძესა და ერთდროული მომხმარებლების რაოდენობასთან ერთად იზრდება.

ლოგიკური დასკვნის გამოტანისას N-გრამის წონები მოთხოვნის დასამუშავებლად გამოყენებულ რვა მილიარდ აქტიურ პარამეტრს ავსებს. თეორიულად, ეს შედეგის სიზუსტესა და ხარისხს ზრდის. თუმცა ისინი აქტიური პარამეტრების რაოდენობას არ ზრდის. მათი ფუნქცია მეტად ჰგავს სპეციალიზებულ ენციკლოპედიას, რომელიც მოთხოვნის დამუშავებისას შესაბამის გვერდებს თითქმის მყისიერად შლის.

DeepSeek-ის ახალ მოდელს N-გრამის პარამეტრების ერთ-ერთი უდიდესი მარაგი აქვს, თუმცა ამ მიდგომაზე მხოლოდ ის არ მუშაობს. Google-იც PLE-ის საშუალებით ნაკლებად მგრძნობიარე წონებს ადგილობრივ საცავში გადააქვს. ამ დროისთვის ტექნოლოგია მხოლოდ პატარა მოდელებზე გამოიყენეს, რამდენადაც საჯაროდ ცნობილია.

გასული თვის ბოლოს Alibaba-მ ექსპერიმენტული Qwen 3.8-Flash-Next წარადგინა. 180 მილიარდი პარამეტრის მოდელში 51 მილიარდი N-გრამის პარამეტრია. მისი დანერგვა იანვარში DeepSeek-ის გუნდის მიერ გამოქვეყნებული კვლევის მეთოდებს იყენებს.

Alibaba-ს ცნობით, Qwen 3.8-Flash-Next-ის არქიტექტურა მომავალი Qwen 4 მოდელების საფუძველი გახდება. შესაბამისად, N-გრამების შესახებ კიდევ ბევრჯერ გავიგებთ.

გამოქვეყნდა 12 სექტემბერი, 2026