Apple-მა დიდი AI ამოცანებისთვის Mac-ების GPU რესურსები გააერთიანა

Apple-მა თანამშრომლებისთვის ლოგიკური დასკვნის ამოცანებზე საჭირო GPU რესურსებზე წვდომის გასაუმჯობესებლად საკუთარი Minions სისტემა შექმნა. საუბარია არა ყვითელ ანიმაციურ არსებებზე, არამედ განაწილებულ სისტემაზე, რომელიც Mac-ებში უმოქმედო GPU-ებს ხელოვნური ინტელექტის სამუშაოებისთვის იყენებს.

Apple-ის მკვლევრები მას ასე აღწერენ: „ეს დინამიკური და განაწილებული ვირტუალური GPU ღრუბელია, რომელიც macOS მოწყობილობებში უმოქმედო Apple Silicon GPU-ებს აერთიანებს და მანქანური სწავლების ლოგიკური დასკვნის მასშტაბურ სამუშაოებს ასრულებს“.

Apple-ის მკვლევრების თქმით, კომპანია Minions-ს გუნდებისთვის GPU გამოთვლითი რესურსის ხელმისაწვდომობის გასაზრდელად იყენებს.

Minions-ის შესახებ ნაშრომში წერია: „მის დანერგვამდე, ცენტრალიზებული GPU რესურსების სიმცირის გამო, ზოგიერთი ლოგიკური დასკვნის სამუშაო რიგში ათ საათზე მეტხანს იცდიდა. Minions-ის მეშვეობით ამოცანების შესრულება ხშირად რამდენიმე წუთში იწყება, რადგან სისტემა უმოქმედო macOS მოწყობილობებს იყენებს“.

Apple-ის ახლახან გამოშვებული Mac mini და Mac Studio Thunderbolt 5-ის მეშვეობით RDMA ტექნოლოგიით დაჯგუფებას უზრუნველყოფს. RDMA მეხსიერებაზე პირდაპირ დისტანციურ წვდომას ნიშნავს. ამ გზით გამოთვლითი და მეხსიერების რესურსების გაერთიანება ერთი ხელოვნური ინტელექტის სამუშაოსთვის შეიძლება. მაგალითად, შესაძლებელია ისეთი მოდელის ჩატვირთვა, რომელსაც ერთი მოწყობილობა ვერ იტევს.

Minions დაკავშირებული Mac მოწყობილობებისგან ვირტუალურ GPU ღრუბელს ქმნის. შედეგად, ლოგიკური დასკვნის ამოცანების შემსრულებელთა ხარვეზმედეგი ერთობლიობა საერთო განაწილებულ პლატფორმაზე მუშაობს. ამგვარად, ქსელში ჩართულ გუნდებს უმოქმედო GPU რესურსების გამოყენება უფრო მარტივად შეუძლიათ. სისტემა დიდი მოდელების გაშვებისთვის აუცილებლად განკუთვნილი არ არის. მისი მთავარი მიზანი ქსელში უმოქმედო რესურსების გადანაწილებაა.

Minions ოთხი ძირითადი კომპონენტისგან შედგება: Minion Server, PostgreSQL Metadata Store, Minion Executor და Minion Watchdog.

Minion Server კოორდინაციის შრეს უზრუნველყოფს, მომხმარებლის მოთხოვნებს იღებს და მათ ქვეამოცანებად ანაწილებს. Minion Executor ლოგიკური დასკვნის ამოცანებს Mac-ის GPU-ზე ასრულებს, შედეგებს S3-ში ტვირთავს და შესრულების სტატუსს Minion Server-ს გადასცემს. სერვერი ამოცანების მეტამონაცემებს PostgreSQL-ში ინახავს. Minion Watchdog პროცესს შეფერხებებზე აკვირდება, მაგალითად, როცა ქსელში რომელიმე Mac არ პასუხობს, და საჭიროების შემთხვევაში ამოცანებს ხელახლა ანაწილებს.

მონაცემთა ბაზის სტატისტიკა რეალურ დროში მონიტორინგისთვის Grafana-ზე დაფუძნებულ მართვის დაფებზე გადადის.