ხელოვნური ინტელექტი Inkling 2: როდესაც მოდელი „იცინება“ და იგინება

მოულოდნელი აღმოჩენა AI-ის „აზროვნებაში“

ხელოვნური ინტელექტის მოდელების განვითარებასთან ერთად, მკვლევრები სულ უფრო მეტად აკვირდებიან არა მხოლოდ მათ საბოლოო პასუხებს, არამედ იმ ე.წ. „აზროვნების პროცესს“ (Chain of Thought), რომელსაც სისტემა დავალების შესრულებისას გადის. Vals AI-ის მკვლევრების მიერ ჩატარებულმა უახლესმა კვლევამ საინტერესო და გარკვეულწილად კომიკური შედეგები აჩვენა: Thinking Machines-ის მოდელი Inkling 2 Small თავისი შიდა მონოლოგებისას საკმაოდ ხშირად იყენებს უცენზურო სიტყვებს.

კვლევის ფარგლებში სპეციალისტებმა გააანალიზეს 2 655 ცალკეული გაშვების შედეგები 13 სხვადასხვა ბენჩმარკზე (ტესტირების სტანდარტი). აღმოჩნდა, რომ 50 შემთხვევაში მოდელმა გამოიყენა უცენზურო გამონათქვამები, რაც ჯამში 316 შემთხვევას ითვლის. საინტერესოა, რომ ამ ინციდენტების უდიდესი ნაწილი — 241 შემთხვევა — მხოლოდ ორმა კონკრეტულმა „გაშვებამ“ გამოიწვია, სადაც მოდელი აშკარად გამოვიდა კონტროლიდან.

რატომ „ბრაზდება“ ხელოვნური ინტელექტი?

ერთ-ერთი ყველაზე თვალსაჩინო მაგალითი იყო ასტეროიდის ტრაექტორიის გამოთვლასთან დაკავშირებული დავალება. ამ დროს მოდელმა დააგენერირა დაახლოებით 500 000 სიმბოლოს სიგრძის ტექსტი — რაც მთლიანი რომანის მოცულობისაა — და მასში 158-ჯერ გაიმეორა უცენზურო სიტყვები, პარალელურად კი წინადადებების უაზრო ციკლში გადავიდა. ყველაზე მეტად ამ მხრივ ProgramBench-ის ტესტი დაზარალდა, სადაც 200 გაშვებიდან 20-ში მოდელმა მსგავსი ქცევა გამოავლინა.

მკვლევრების დაკვირვებით, Inkling 2 Small უცენზურო სიტყვებს ძირითადად მაშინ მიმართავს, როდესაც საკუთარ შეცდომებს აცნობიერებს, განიცდის ე.წ. „გარღვევას“ ან უბრალოდ ნებდება. ერთ-ერთ ჩანაწერში მოდელი პირდაპირ წერს: „FUCK. SUBMIT. DONE. IT'S NOT WORKING. NOTHING WORKS.“ (ჯანდაბა. გაგზავნა. მორჩა. არ მუშაობს. არაფერი მუშაობს).

საფრთხე თუ უბრალოდ „ტექნიკური ხმაური“?

მნიშვნელოვანია იმის გარკვევა, არის თუ არა ეს უცენზურო ლექსიკა რაიმე სახის გამაფრთხილებელი ნიშანი იმისა, რომ მოდელი შეცდომას უშვებს. სტატისტიკა გვიჩვენებს, რომ ეს კავშირი არც ისე პირდაპირია. მართალია, უცენზურო გამონათქვამების მქონე გაშვებების 96%-ში მოდელმა დავალება ვერ შეასრულა, თუმცა ზოგადად, Inkling 2 Small-ის ყველა გაშვების 75% ისედაც წარუმატებელია, მიუხედავად იმისა, იყენებს თუ არა მოდელი გინებას.

რიგითი მომხმარებლებისთვის ეს ფაქტი დიდი პრობლემა ნაკლებად იქნება, რადგან ტექნოლოგიური კომპანიები, როგორც წესი, ამ „აზროვნების პროცესს“ მომხმარებელს არ უჩვენებენ, ან იყენებენ სპეციალურ ფილტრებს. თუმცა, მკვლევრებისთვის ეს არის კიდევ ერთი დასტური იმისა, რომ დიდი ენობრივი მოდელები (LLM) ჯერ კიდევ შორს არიან სრულყოფილი ლოგიკური აზროვნებისგან და მათში „ემოციური“ რეაქციების სიმულაცია ხშირად არაპროგნოზირებად ფორმებს იღებს.

ქართველი მომხმარებლებისთვის, რომლებიც იყენებენ AI-ს სხვადასხვა დავალებებისთვის, ეს სიახლე კიდევ ერთხელ შეგვახსენებს, რომ ხელოვნური ინტელექტის პასუხები ყოველთვის კრიტიკულად უნდა შევაფასოთ. მიუხედავად იმისა, რომ მოდელი შეიძლება „გაბრაზდეს“, მისი მთავარი ამოცანა მაინც ზუსტი მონაცემების მიწოდებაა, რაც, როგორც ჩანს, ჯერ კიდევ სრულყოფას საჭიროებს.