Tiny Corp-ის ახალი სამუშაო სადგური: 30 000 დოლარი ხელოვნური ინტელექტისთვის
უზარმაზარი სიმძლავრე კომპაქტურ კორპუსში
Tiny Corp-მა ოფიციალურად წარადგინა თავისი ახალი პროექტი, tinybox Red Kimi, რომელიც მიზნად ისახავს უზარმაზარი მასშტაბის ხელოვნური ინტელექტის მოდელების, კერძოდ, Moonshot AI-ის 2.8-ტრილიონიანი პარამეტრების მქონე Kimi K3-ის გაშვებას არა მონაცემთა ცენტრებში, არამედ ჩვეულებრივ სამუშაო მაგიდაზე. მოწყობილობის ფასი 30 000 ამერიკულ დოლარს შეადგენს, რაც მას ერთ-ერთ ყველაზე ძვირადღირებულ დესკტოპ გადაწყვეტილებად აქცევს ბაზარზე.
სისტემა აღჭურვილია ოთხი AMD Radeon AI Pro R9700 გრაფიკული ბარათით, რომლებიც ჯამში 128 GB GDDR6 მეხსიერებას გვთავაზობენ. გამოთვლითი სიმძლავრის უზრუნველსაყოფად გამოყენებულია 32-ბირთვიანი AMD Epyc Genoa პროცესორი. თუმცა, ამ აპარატის მთავარი ინოვაცია შენახვის სისტემაშია: ის მოიცავს 16 ცალ 1 TB-იან NVMe SSD-ს, რომლებიც RAID მასივს ქმნიან. Tiny Corp-ის მიერ შემუშავებული tinygrad დრაივერის მეშვეობით, გრაფიკულ ბარათებს შეუძლიათ მონაცემთა ბაზასთან პირდაპირი წვდომა, რაც CPU-ს გვერდის ავლით მონაცემთა გადაცემის უპრეცედენტო სიჩქარეს უზრუნველყოფს.
ტექნიკური გამოწვევები და დაპირებული სიჩქარე
კომპანიის განცხადებით, tinybox Red Kimi-ს შეუძლია Kimi K3 მოდელის გაშვება წამში 40 ტოკენის სიჩქარით. ეს მაჩვენებელი, როგორც ექსპერტები აღნიშნავენ, საკმაოდ ამბიციურია. ვინაიდან მოდელის წონა მნიშვნელოვნად აღემატება გრაფიკული ბარათების მეხსიერებას, სისტემა იძულებულია მუდმივად მიმართოს SSD-ებს მონაცემების წასაკითხად. Tiny Corp-ის მიდგომა ეფუძნება იმ ფაქტს, რომ flash მეხსიერება მნიშვნელოვნად იაფია DRAM-თან შედარებით, თუმცა მისი გამოყენება AI-ის ოპერაციებში რისკებსაც შეიცავს.
სისტემის წონა დაახლოებით 25 კილოგრამს შეადგენს, ხოლო მუშაობისას გამოყოფილი ხმაური 60 დეციბელამდე აღწევს, რაც გამოწვეულია მძლავრი ვენტილატორების მუშაობით. მიუხედავად იმისა, რომ თეორიულად ეს კონფიგურაცია მიმზიდველია, დამოუკიდებელი ტესტები ჯერჯერობით არ ჩატარებულა, ამიტომ დაპირებული 40 ტოკენი წამში ჯერჯერობით მხოლოდ მწარმოებლის ოპტიმისტურ პროგნოზად რჩება.
კონკურენცია და ბაზრის პერსპექტივა
30 000 დოლარიანი ფასი ბევრისთვის შესაძლოა გადაჭარბებული ჩანდეს, თუმცა კონკურენტულ გარემოში ეს შეთავაზება კონკურენტუნარიანია. მაგალითად, Apple-ის Mac Studio M5 Ultra პროცესორით და 512 GB ოპერატიული მეხსიერებით მსგავს ფასად იყიდება, მაგრამ ის ვერ უზრუნველყოფს Kimi K3 მოდელის სრულად გაშვებას. Nvidia-ს გადაწყვეტილებები კი, როგორიცაა DGX Station, გაცილებით ძვირი ღირს და მაინც ვერ სწვდება მსგავსი მასშტაბის მოდელების მოთხოვნებს.
Tiny Corp-ის წამოწყება მნიშვნელოვანი ნაბიჯია იმ მკვლევრებისა და დეველოპერებისთვის, რომლებსაც სჭირდებათ „ფრონტიერ“ (ყველაზე მოწინავე) მოდელებთან მუშაობა საკუთარ ოფისში. თუმცა, მომხმარებელმა უნდა გაითვალისწინოს, რომ ეს არის ექსპერიმენტული აპარატურა, რომლის რეალური ეფექტურობა მხოლოდ პრაქტიკული გამოყენების შემდეგ გახდება ცნობილი. საქართველოს ტექნოლოგიური სექტორისთვის ასეთი მაღალი კლასის სამუშაო სადგურები ჯერჯერობით ნიშური პროდუქტია, თუმცა AI-ის განვითარების ტემპის გათვალისწინებით, მსგავსი სიმძლავრის სისტემებზე მოთხოვნა სამომავლოდ შესაძლოა გაიზარდოს.