ადვოკატმა სახლის სერვერი ხელოვნური ინტელექტის ოპტიმიზაციისთვის განაახლა
ახალი სიცოცხლე ძველ აპარატურას
სამხრეთ კაროლინას შტატის ადვოკატმა და ტექნოლოგიურმა ენთუზიასტმა Nick Mermiges-მა საინტერესო ექსპერიმენტი წამოიწყო, რომლის მიზანიც საკუთარი იურიდიული პრაქტიკის ავტომატიზაციაა. მან რვა Nvidia V100 გრაფიკულ ბარათზე აგებული სერვერი განაახლა და DeepSeek V4.1 Flash-ის მოდელი 2-ბიტიანიდან ე.წ. near-NVFP4 სიზუსტემდე აამაღლა. ეს ნიშნავს, რომ მოდელის ყველაზე ხშირად გამოყენებადი ნაწილები, ე.წ. „ექსპერტები“, ახლა ბევრად უფრო მაღალი სიზუსტით ფუნქციონირებენ, რაც სისტემის მუშაობის ხარისხს მნიშვნელოვნად აუმჯობესებს.
პროექტმა, რომელიც თავდაპირველად „Volta sPLIt“-ის სახელით იყო ცნობილი, ახლა „Volta Max uPLIft“-ის სახელი მიიღო. Mermiges-მა სისტემას 1 ტერაბაიტი ოპერატიული მეხსიერება დაუმატა და RTX 3090 გრაფიკული ბარათი ჩართო. ეს განახლებები აუცილებელი იყო, რადგან DeepSeek-ის ოფიციალური წონების სრული სიზუსტით ჩატვირთვა 256 გიგაბაიტიან ვიდეომეხსიერებაში ფიზიკურად შეუძლებელი იყო. გამოსავალი „ექსპერტების“ დინამიურ გადანაწილებაში იპოვა: ყველაზე მოთხოვნადი კომპონენტები 4-ბიტიან რეჟიმში მუშაობენ, ხოლო დანარჩენი ნაწილი 2-ბიტიან რეჟიმში რჩება.
ტექნიკური გამოწვევები და შედეგები
სისტემის აწყობისას ადვოკატი არაერთ დაბრკოლებას გადააწყდა. თავდაპირველად ის შეცდომით ფიქრობდა, რომ სისტემის ხშირი გათიშვა PCIe სლოტების ბრალი იყო, თუმცა რეალური დამნაშავე დენის მიწოდების ბლოკი (PSU) აღმოჩნდა. ამ პრობლემის აღმოფხვრის შემდეგ, სერვერმა სტაბილურად მუშაობა დაიწყო. საინტერესოა, რომ პროგრამული უზრუნველყოფის ოპტიმიზაციაში მას თავად ხელოვნური ინტელექტის მოდელები — Claude Code და Fable 5.2 დაეხმარნენ, რომლებმაც კოდის დაწერა და ბენჩმარკების გატარება უზრუნველყვეს.
მიუხედავად იმისა, რომ სიზუსტის ზრდამ მუშაობის სიჩქარე 3-დან 30%-მდე შეამცირა, სისტემამ შეიძინა მრავალმომხმარებლიანი რეჟიმის მხარდაჭერა. ახლა სერვერს შეუძლია ერთდროულად ორი მოთხოვნის დამუშავება, რაც საერთო ჯამში უფრო მაღალ წარმადობას იძლევა. ტესტებმა აჩვენა, რომ მოდელის მიერ არჩეული პასუხები ბევრად უფრო ახლოსაა ოფიციალურ, მაღალი სიზუსტის ვერსიასთან, ვიდრე ეს წინა, 2-ბიტიანი კონფიგურაციის დროს იყო.
მომავალი გეგმები
Nick Mermiges არ აპირებს გაჩერებას. მისი მიზანია, რომ ყველა დოკუმენტი დარჩეს ოფისში, ადგილობრივ სერვერებზე, კონფიდენციალურობის მაქსიმალური დაცვით. სამომავლოდ ის გეგმავს კიდევ რვა V100 ბარათის დამატებას და მეორე სერვერის აწყობას, რომელიც პარალელურ დავალებებს შეასრულებს. ეს მიდგომა ნათლად აჩვენებს, თუ როგორ შეუძლია ინდივიდუალურ სპეციალისტს, შეზღუდული რესურსებით, შექმნას საკუთარი, მაღალი დონის ხელოვნური ინტელექტის ინფრასტრუქტურა.
მსგავსი პროექტები მნიშვნელოვანია იმით, რომ ისინი ამტკიცებენ: ძველი, მეორადი აპარატურის სწორი ოპტიმიზაციით შესაძლებელია თანამედროვე ხელოვნური ინტელექტის მოდელების ეფექტიანი მართვა. ქართველი ტექნოლოგიური ენთუზიასტებისთვის ეს კარგი მაგალითია იმისა, თუ როგორ შეიძლება ღრუბლოვან სერვისებზე დამოკიდებულების შემცირება და საკუთარი, კონტროლირებადი გარემოს შექმნა.