Google-მა EmbeddingGemma 2 მულტიმოდალური ძიებისთვის გამოუშვა

ემბედინგის მოდელები მასალას რიცხვით ვექტორებად გარდაქმნის. შინაარსობრივად მსგავსი მონაცემები ვექტორულ სივრცეში ერთმანეთთან ახლოს თავსდება. ამიტომ მათი პოვნა საერთო საკვანძო სიტყვების გარეშეც შესაძლებელია. დეველოპერები ამას სემანტიკური ძიებისა და ძიებით გაძლიერებული გენერაციისთვის (RAG) იყენებენ. ამ მეთოდით ენობრივი მოდელი მონაცემთა ბაზიდან შესაბამის ინფორმაციას იღებს. საფუძვლებს iX-ის მასალა „ემბედინგები Azure OpenAI-სთან, Qdrant-სა და Rust-თან ერთად“ განმარტავს. ასეთ ვექტორებში ძიებას კი სტატია „ხელოვნური ინტელექტის ეპოქის ხერხემალი: ვექტორული მონაცემთა ბაზები“ აღწერს.

EmbeddingGemma 2 Gemma 4-ის არქიტექტურას ეფუძნება და სრულად ჩატვირთვისას 740 მილიონ პარამეტრს მოიცავს. ტექსტისა და კოდისთვის 270 მილიონი პარამეტრი საკმარისია. სურათების დამუშავებას დამატებით 170-მილიონპარამეტრიანი ენკოდერი სჭირდება, აუდიოს კი 300-მილიონპარამეტრიანი. ყველა ვარიანტი ვექტორებს ერთსა და იმავე სივრცეში ქმნის. EmbeddingGemma 2-ის შესახებ ბლოგპოსტის თანახმად, Google მოდელის წონებს Apache 2.0-ის ლიცენზიით ავრცელებს.

გამომავალ მონაცემებს ნაგულისხმევად 768 განზომილება აქვს. ვექტორებისთვის საჭირო მეხსიერების დასაზოგად მათი შემცირება 512, 256 ან 128 განზომილებამდეა შესაძლებელი. Google-ის ცნობით, კვანტიზებულ მოდელში Pixel 11 Pro-ზე მხოლოდ ტექსტური მოდელის წონებს დაახლოებით 191 მბაიტი აქტიური ოპერატიული მეხსიერება სჭირდება. სრული მულტიმოდალური ვარიანტისთვის ეს მაჩვენებელი დაახლოებით 567 მბაიტია. თუმცა ეს რიცხვები აპლიკაციის მთლიან მოთხოვნას არ ასახავს.

კონტექსტის ფანჯარა 8192 ტოკენს მოიცავს, რაც წინამორბედთან შედარებით ოთხჯერ მეტია. Google-ის მონაცემებით, ერთ მოთხოვნაში, მაგალითად, 5,5 წუთამდე აუდიო, 29 სურათი ან ვიდეოს 58 კადრი ეტევა. სხვადასხვა ტიპის მედიის გაერთიანებაც შესაძლებელია.

Google-ის ცნობით, კოდის ძიების MTEB Code ტესტში მაჩვენებელი EmbeddingGemma 1-ის 68,76 ქულიდან 78,68 ქულამდე გაიზარდა. შესაბამისად, მოდელი დეველოპერებს, სხვა დანიშნულებებთან ერთად, პროგრამული კოდის ადგილობრივად ინდექსირებისთვის გამოადგებათ. ტესტის შედეგები თავად Google-ს ეკუთვნის. კონკრეტულ კოდურ ბაზაში ძიების ხარისხი მის მომზადებასა და საძიებო მოთხოვნებზეცაა დამოკიდებული.

მოდელის წონები Hugging Face-სა და Kaggle-ზეა ხელმისაწვდომი. ინტეგრაციის საშუალებებად კომპანია LiteRT-ს, MediaPipe-ს, Transformers-სა და llama.cpp-ს ასახელებს. Gemma 4-ის მსგავს გენერაციულ მოდელთან ერთად EmbeddingGemma 2 ადგილობრივი RAG აპლიკაციის საძიებო კომპონენტად შეიძლება გამოიყენონ. Google-ის თქმით, ორივე მოდელი ტექსტის ერთსა და იმავე ტოკენიზატორსა და აუდიოენკოდერის არქიტექტურას იყენებს. ამან მეხსიერების ერთობლივი მოხმარება უნდა შეამციროს.