Kolibri-1 გერმანულად აზროვნებს და პასუხობს

შუალედური წვრთნისას კომპანია 3,4 ტრილიონ ტოკენ უფრო მაღალი ხარისხის მასალას იყენებს. მასში ლოგიკური მსჯელობა, მათემატიკური დოკუმენტები და პროგრამული კოდი შედის. კონტექსტი 16K-დან 64K-მდე იზრდება, ხოლო წინასწარი წვრთნის ბოლო ეტაპზე 256K-ს აღწევს. ეს საწყის, განსაკუთრებით ძვირადღირებულ ეტაპებზე მნიშვნელოვან გამოთვლით სიმძლავრეს ზოგავს.

ყველა ექსპერტის თანაბრად გასაწვრთნელად დეველოპერები DeepSeek-ის Auxiliary Free Load Balancing-ის ვარიანტს იყენებენ, რომელსაც Exact Quantile Balancing ეწოდება. Aleph Alpha მიკროპაკეტებში ყველა ექსპერტის ჩასართავად Load-Error Injection-საც მიმართავს.

საბოლოო წვრთნისას მოდელი შეკითხვებზე სწორ პასუხს სწავლობს. დეველოპერები ხელსაწყოების გამოყენების, მითითებების შესრულებისა და კოდის გერმანულ და ინგლისურ მონაცემებს იყენებენ. მონაცემთა ნაწილი GLM-5.2-მა, GLM-5.3-მა და Qwen3.8-27B-მ შექმნა. ბოლო მოდელის გამოყენება გასაკვირია, რადგან ის მხოლოდ აგვისტოს ბოლოდანაა ხელმისაწვდომი.

Aleph Alpha მოდელს მსჯელობის სიღრმის მართვასა და აზრების გერმანულად ჩამოყალიბებას ასწავლის. ამით ის ხელმისაწვდომი მოდელების უმეტესობისგან განსხვავდება, რომლებიც ინგლისურად „აზროვნებენ“. Merlin-Arthur-ის ოქმი ჰალუცინაციების შემცირებას ემსახურება. თამაშის მსგავსი მეთოდი პასუხის მნიშვნელოვან და უმნიშვნელო ნაწილებს ფარავს. მოდელმა მათ გარეშე უნდა გადაწყვიტოს, რომელი პასუხი უკეთესია, სწორი არჩევანისთვის კი ჯილდოს იღებს. შეფასებებში მოდელი შესამჩნევად იშვიათად ჰალუცინირებს.

Aleph Alpha საწვრთნელ მონაცემებთან მუშაობისას ევროკავშირის ხელოვნური ინტელექტის აქტსა და მონაცემთა დაცვის ზოგად რეგულაციას იცავს. კომპანია მოდელს ევროპულ „დემოკრატიულ კონსენსუსსაც“ არგებს. ეს შეიძლება ნიშნავდეს, რომ Kolibri-1 ისეთ პასუხებსაც იძლევა, რომლებიც ჩინურ მოდელებს პოლიტიკური მიზეზებით ეკრძალება.

წვრთნისას მოდელის წონებს Muon ოპტიმიზატორი ცვლის, ხოლო მასშტაბირების კოეფიციენტებსა და ჩაშენებების წონებს AdamW მართავს. წინასწარი წვრთნა 96 კვანძზე განაწილებული 768 Nvidia B200 გრაფიკული პროცესორით ჩატარდა. მოდელის ბარათის თანახმად, ამას დაახლოებით 392 000 გრაფიკული პროცესორის საათი, ანუ დაახლოებით 45 ასეთი პროცესორის წელი დასჭირდა.

საბოლოო წვრთნის განმტკიცებით სწავლების ეტაპზე Aleph Alpha-მ 256 Nvidia B300 გრაფიკული პროცესორისგან შემდგარი კლასტერი გამოიყენა. აქედან 144 მხოლოდ პასუხების გენერირებას ემსახურებოდა. სავარაუდოდ, მიზეზი GRPO მეთოდია, რომელსაც რამდენიმე განსხვავებული პასუხი სჭირდება მათი ერთმანეთთან შესადარებლად. ივნისის შუა რიცხვებში ცოდნის ზღვრის დადგენიდან სექტემბრის ბოლომდე სამუშაოს დასრულება მნიშვნელოვანი მიღწევაა. კომპანია მანამდე Kolibri Origin-ს წვრთნიდა, ამიტომ წინასწარი სამუშაოც ჩატარებული ჰქონდა.

წვრთნის გამეორების შესაძლებლობისთვის Aleph Alpha ModelFactory-ს იყენებს. ეს კოდის სახით დაწერილი რეცეპტია, რომელიც პროცესს ზუსტად აღწერს. რეცეპტები ვერსიების კონტროლს ექვემდებარება, თუმცა გამეორებას შესაბამისი ინფრასტრუქტურა და დიდი გამოთვლითი დრო სჭირდება. Aleph Alpha ენერგომოხმარებას 950 MWh-ად აფასებს. ერთი kWh-ის 0,30 ევროს ფასით, რომელიც ასეთი მსხვილი მომხმარებლისთვის ალბათ დაბალია, ღირებულება 285 000 ევროა.

მოდელი ღია წონებითაა ხელმისაწვდომი. vLLM მას დამატებითი მოდულით უჭერს მხარს, ხოლო llama.cpp-სთვის მცირე შესწორება უკვე არსებობს.

მოდელი მოსალოდნელად სწრაფად მუშაობს, რადგან მხოლოდ თითქმის ოთხი მილიარდი აქტიური პარამეტრი აქვს. სიჩქარით ის თითქმის Qwen3.5-35B-A3B-ის დონეზეა. ტესტის ყველა პასუხი სწორი აღმოჩნდა, განსაკუთრებით კი გერმანულენოვანი მსჯელობის პროცესი გამოირჩევა.

პრაქტიკაში ჯერ უნდა გაირკვეს, სხვა მოდელებზე უკეთ ერიდება თუ არა Kolibri-1 ჰალუცინაციებს. მან სწორად უპასუხა პროვოკაციულ შეკითხვასაც, მართავდა თუ არა ჰანოვერში მდებარე Heise Verlag კომპიუტერულ გამოფენა CeBIT-ს. მოდელმა აღნიშნა, რომ CeBIT-ს 2018 წლამდე Deutsche Messe AG მართავდა. შებრუნებულ შეკითხვაზე, რომელ გამოფენებს მართავს Heise Verlag, მოდელმა უპასუხა, რომ პასუხი არ იცის და ინფორმაციის ვებსაიტზე შემოწმება ურჩია.

საერთო ჯამში, Kolibri-1 მყარი მოდელია, რომელიც გერმანულად კარგად საუბრობს და მსჯელობს. ის კომპანიებსა და სახელმწიფო უწყებებში გამოსაყენებლადაა გამიზნული. მოდელის საკუთარ ინფრასტრუქტურაზე დამოუკიდებლად მუშაობაც შეიძლება.

ტექნიკური ანგარიში დეტალურად აღწერს ტოკენიზატორის დიზაინს, საწვრთნელი მონაცემების შექმნას, სხვა მოდელების როლსა და ყველა ნაწილის გაერთიანებას. ამ პროცესში ჩადებული საინჟინრო სამუშაო აშკარაა და ნაწილობრივ აბალანსებს მოძველებულ არქიტექტურას. ModelFactory კი მარტივი, წაკითხვადი კოდის ნაწილებით მოდელებს ქმნის და პროცესის გამჭვირვალობის კარგ ნიმუშს წარმოადგენს.

თემებიNvidiaალეფ ალფაბუნდესტაგიდიპსიკიდოიჩე მესეჰაიზე ფერლაგიCeBITკოლიბრი-1ქუენი

გამოქვეყნდა 17 ოქტომბერი, 2026