Apple-ის მკვლევრები უმოქმედო Mac-ებს ვირტუალურ GPU-ებად იყენებენ

თუმცა Minions-ის სისტემა გაცილებით მარტივად მუშაობს. ნაშრომის თანახმად, მან „დინამიკური და განაწილებული ვირტუალური GPU-ღრუბელი“ არსებული აპარატურით უნდა შექმნას. მკვლევრებმა ჯიანხუა ლიმ, იუნ სინგმა, გირიშა დე სილვამ, რაიან ფლინტმა, კაი იუანმა და შონ საქტერმა ცენტრალური საკოორდინაციო ფენის ფუნქციის მქონე სერვერი შექმნეს. ის ცალკეულ მოწყობილობებზე განთავსებულ ე.წ. Minion Executor-ებთან მუშაობს. მათზე Ollama-ს დასკვნის გამოტანის ეგზემპლარები მუშაობს, ხოლო შემავალი მონაცემები, მოდელები და შედეგები AWS S3-ის მეშვეობით ინახება და ხელმისაწვდომი ხდება.

დავალებები PostgreSQL-ის მონაცემთა ბაზით ნაწილდება. Minion Executor-ებს მასზე პირდაპირი წვდომა არ აქვთ და დავალებებსა და მდგომარეობის პერიოდულ სიგნალს REST API-ის მეშვეობით იღებენ. სისტემაში შეცდომებს „Minion Watchdog“ აკონტროლებს. მომხმარებელი უშუალოდ „Minion Server“-თან მუშაობს, რომელიც დავალებებს იღებს და შემდეგ პროცესებს ანაწილებს.

პრაქტიკულმა ცდებმა აჩვენა, რომ Minions-მა GPU-ზე დასკვნის გამოტანის დავალებების მოლოდინი წუთებამდე შეამცირა. Apple Research-ის გუნდებში მოლოდინი ზოგჯერ ათ საათზე მეტხანს გრძელდებოდა, რადგან დიდი სისტემები დაკავებული იყო. Minions-ს კი მრავალი მცირედ ან საერთოდ დაუტვირთავი macOS-მოწყობილობა ჰქონდა ხელმისაწვდომი. მასშტაბირება ბუნებრივადაც მიმდინარეობდა. თანამშრომლები ზოგჯერ Slack-ის მეშვეობით ათანხმებდნენ, კონკრეტულ მოწყობილობაზე Minion Executor უნდა გაშვებულიყო თუ არა. ეს ცალკეული პროექტების საჭიროებებზე იყო მორგებული.

ამჟამად სისტემა მხოლოდ იმ ორგანიზაციების შიდა სამუშაოებისთვისაა განკუთვნილი, რომელთა წევრებიც ერთმანეთს ენდობიან. პროცესების იზოლირების ტექნოლოგიები, როგორიც Apple-ის PCC-ში გამოიყენება, ჯერ დანერგილი არაა. თუმცა ნაშრომის თანახმად, გუნდების ან მთელი ორგანიზაციების ერთმანეთისგან გასამიჯნად საკუთარი PostgreSQL-ის მონაცემთა ბაზებისა და იზოლირებული Minion Executor-ების ჯგუფების შექმნა შეიძლება. მომავალში Minions-მა ხელოვნური ინტელექტის მოდელების გაწვრთნაც უნდა შეძლოს. პროექტის აქტუალური კოდი გამოცემამ თავდაპირველად ვერ იპოვა.