Tian Yuan Dong: 2025-ci ilin sonu üçün yekun hesabatı (birinci hissə)

  Yeni İntellekt Hesabatı  

Son vaxtlar çox məşğulam, illik yekun hesabatı ancaq 1 yanvardan sonra yaza bildim, necə olursa olsun, başlamaq özü yaxşıdır.

2025-ci ilin yanvar ayının sonunda Llama4-ə yanğını söndürmək üçün çağırılanda, həmişə gücləndirici öyrənmə (reinforcement learning) ilə məşğul olan biri kimi, əvvəlcədən 2x2 mükafat matrisi tərtib etdim və dörd mümkün variantı hesabladım (hərçənd o vaxt yuxarıdan gələn böyük təzyiqə görə razılaşmamaq demək olar ki, mümkün deyildi):

O vaxt düşünürdüm ki, kömək etməyə getsək, layihə uğurlu olmasa belə, ən azı əlimizdən gələni etmiş olacağıq və vicdanımız rahat olacaq. Təəssüf ki, sonda hesablamadığım beşinci variant baş verdi və bu da cəmiyyətin mürəkkəbliyinə daha dərin baxış qazandırdı.

Buna baxmayaraq, bu bir neçə aylıq səylərimiz zamanı gücləndirici təlimin əsas problemləri ilə bağlı müəyyən tədqiqatlar apardıq, məsələn, təlimin sabitliyi, təlim və tətbiqin qarşılıqlı əlaqəsi, model arxitekturasının dizaynı, əvvəlcədən/orta müddətli təlimin qarşılıqlı əlaqəsi, uzun düşüncə zəncirinin alqoritmləri, məlumat yaradılması üsulları, sonrakı təlim çərçivəsinin qurulması və s.

Bu təcrübənin özü çox önəmlidir və tədqiqat yanaşmamda əhəmiyyətli dəyişikliklərə səbəb oldu.

Əslində düşünürdüm ki, şirkətdə on ildən çox qalmışam və bir gün çıxmalı olacağam, axı orada ömrümü başa vurmaq olmaz, amma həmişə iqtisadi və ailə səbəblərindən qalmağa davam edirdim.

Son bir-iki ildə danışıq və iş üsulum artıq "şirkət məni işdən çıxarsın" psixologiyası ilə idi, əksinə, daha rahat oldum.

2023-cü ilin sonunda ilk uzun tətilimi götürəndə, demək olar ki, gedəcəkdim, amma sonda imza atmayıb şirkətdə qalmağa qərar verdim, ona görə getmək qərarı vermək asan deyil. İndi Meta mənə bu işdə kömək etdi və bu da yaxşı oldu.

Bu çətinlik və ilin eniş-yoxuşları gələcək roman yazıları üçün çoxlu yeni material verdi.

Deyirlər ki, "Rəsm yolu çətin olanlar şairlikdə uğurludurlar, hiss olunan həyat təcrübələri isə şeiri gözəlləşdirir", həyat çox sakitdirsə, bəlkə də o qədər maraqlı olmaz. 2021-ci ilin əvvəlini xatırlayıram, illik iş hesabatında "niyə məqalə qəbul olunmadı" barədə bir-iki cümlə yazmışdım, Meet Most-u qazandım və qəfil uğursuzluq hissi keçirdim.

Amma düşündüm ki, hər yerdə ədalətsizdən şikayət etməkdənsə, elə hamının qarşısında yenicə vəzifəyə yüksəlmiş kimi göstərim özümü, nəticədə yarım ildən sonra həqiqətən də yüksəldim və o 2021-ci ilin əvvəlində heç kimə maraqlı olmayan iş 21-ci ilin iyulunda ICML Best paper honorable mention qazandı və təmsil öyrənməsində (representation learning) tanınmış məqalə oldu.

Oktyabrın 22-dən sonra bir müddət ərzində, demək olar ki, bütün rabitə üsullarım dolmuşdu, hər gün saysız mesajlar, emaillər, uzaqdan görüş və ya görüşmək üçün dəvətlər, həqiqətən çatdırmaq olmurdu.

Bir neçə həftə sonra hər şey normal vəziyyətə qayıtdı. Bu iki ay ərzində hamıya diqqət və istilik üçün təşəkkür edirəm. O vaxt hansısa mesaja vaxtında cavab verməmişəmsə, üzr istəyirəm.

Sonda bir çox təklif gəldi, tanınmış şirkətlərin hamısı mənimlə əlaqə saxladı, amma yenə də gənc olduğum müddətdə yeni bir startap şirkətinin həmtəsisçisi olmağa qərar verdim, detalları hələ açıqlamıram, sakitcə işləyim bir müddət.

2025-ci ilin əsas istiqamətləri – biri böyük modellərdə çıxarış (inference), digəri isə modelin qara qutusunu açmaqdır.

2024-cü ilin sonunda davamlı gizli məkan çıxarışı (coconut, COLM’25) işimiz yayımlandıqdan sonra, 2025-ci ildə bu tədqiqat istiqamətində böyük canlanma baş verdi. Hamı bu ideyanı gücləndirici öyrənmə və əvvəlcədən təlimdə necə istifadə etməyi, təlim və hesablama səmərəliliyini necə artırmağı araşdırır və s.

Bizim qrup sonradan llama üçün işləməyə yönəldildi və bu istiqamətdə dərindən işləməyə imkan olmadı, amma bu məni sevindirdi.

Buna baxmayaraq, ilin birinci yarısında bir nəzəri təhlil məqaləsi (Reasoning by Superposition, NeurIPS‘25) dərc etdik, orada davamlı gizli məkan çıxarışının üstünlüklərini izah etdik və bu da xeyli diqqət çəkdi.

Digəri isə böyük modellərin çıxarış səmərəliliyini necə artırmaqdır. Bizim Token Assorted (ICLR’25) işimizdə əvvəlcə VQVAE ilə gizli məkanın diskret tokenlərini öyrəndik, sonra əldə olunan diskret tokenləri və mətn tokenlərini birlikdə sonrakı təlimdə istifadə etdik, bu da çıxarış xərclərini azaldıb performansı artırdı.

Bizim DeepConf hər bir yaradılan tokenin inam səviyyəsini yoxlayır və çıxarış yolunun vaxtından əvvəl dayandırılıb-dayandırılmayacağını müəyyən edir, beləliklə, çıxarış üçün lazım olan token sayı kəskin azalır, lakin majority vote şəraitində performans daha da yaxşı olur.

ThreadWeaver paralel çıxarış üçün düşüncə zənciri yaradır və bunun üzərində sonrakı təlim aparır, bu da çıxarış sürətini artırır. Bundan başqa, RL ilə dLLM-də çıxarış modeli təlimi aparırıq (Sandwiched Policy Gradient), həmçinin kiçik modellərdə çıxarış öyrənməyə çalışırıq (MobileLLM-R1).

İzah olunma (explainability) sahəsində, Grokking istiqamətinə iki il əvvəl diqqət edirdim. Əvvəllər təmsil öyrənmənin təhlilini aparırdım, öyrənmə dinamikasını analiz etmək və modeldə təmsil çökməsinin səbəbini görmək olsa da, hansı təmsilin öyrənildiyi, onların giriş məlumatlarının strukturu ilə necə əlaqəli olduğu və hansı dərəcədə ümumiləşdirmə qabiliyyətinə malik olduğu hələ də sirr idi. Grokking-in bu xüsusiyyətinin ortaya çıxması, yaddaşdan ümumiləşdirməyə keçid prosesini analiz etməklə bu sirri aydınlaşdırmağa imkan verdi.

Başlanğıcda bu, həqiqətən çox çətin və qeyri-müəyyən idi, 2024-cü ildə əvvəlcə bir COGS (NeurIPS‘25, baxın Yol Axtaran Adam, Fəsil 10) yazdım, amma yalnız xüsusi hallarda analiz aparmaq mümkün idi və bu, məni tam qane etmirdi.

Bir ildən çox qeyri-müəyyənlikdən sonra və GPT5 ilə çoxlu qarşılıqlı əlaqədən sonra, son Provable Scaling Laws məqaləsi əhəmiyyətli bir irəliləyişdir – orada əvvəllər NTK kimi xətti strukturların görə bilmədiyi məqamlar analiz olunur və xüsusiyyətin təlim dinamikası aydın izah edilir. Analiz olunan nümunələr hələ də xüsusi olsa da, ən azı yeni bir pəncərə açıldı. Ətraflı izaha baxın Tian Yuandong-un fikirləri.

İlin sonunda yazdığım The path not taken məqaləsini çox bəyənirəm, RL və SFT davranışlarının niyə bu qədər fərqli olduğunu, çəki səviyyəsində ilkin bir cavab verir.

SFT-nin həddindən artıq uyğunlaşmaya və fəlakətli unutqanlığa (catastrophic forgetting) səbəb olmasının səbəbi, təlim məlumatlarının kifayət qədər on-policy olmamasıdır, dərin səbəb isə çəki vektorunun əsas komponentlərinin xarici məlumatlarla ciddi şəkildə dəyişdirilməsidir, bu da "təməl"in zəifləməsinə və modelin performansının enməsinə səbəb olur.

RL isə, on-policy məlumatlarla təlim apardığı üçün, çəki vektorunun əsas komponentləri dəyişmir, yalnız ikinci dərəcəli komponentlər dəyişir, beləliklə fəlakətli unutqanlıqdan qaçmaq mümkün olur və dəyişən çəki vektorları da daha seyrək olur (xüsusilə bf16 kəmiyyətləşmədə).

Çoxları izah olunmanı və ya "AI niyə bu qədər yaxşı işləyir" sualını vacib hesab etmir, amma mən bunun çox vacib olduğuna inanıram. İki gələcək ssenarini düşünək:

• Ssenari bir: Əgər yalnız miqyaslama (Scaling) ilə AGI və hətta ASI əldə etmiş oluruqsa, bütün bəşəriyyətin əmək dəyəri sıfıra enir və AI bütün problemlərimizi çözən böyük bir qara qutu kimi çıxış edir, onda AI-nin bir superintellekt kimi daim yaxşılıq etməsi, aldatmaması və gizli şəkildə pislik etməməsi ən vacib məsələdir, bunu həll etmək üçün izah olunmanı öyrənmək lazımdır.

  
  

• Ssenari iki: Əgər miqyaslama yolu sonda işə yaramırsa və bəşəriyyət resurslara eksponential ehtiyac qarşısında aciz qalırsa və başqa həll yolları tapmaq lazımdırsa, bu zaman "model niyə işləyir, nə vaxt işləməyəcək" sualına cavab vermək üçün araşdırma aparmalıyıq, belə bir düşüncə zəncirində izah olunma labüddür.

  
  

Hər iki halda sonda izah olunma vacib rol oynayacaq. Hətta sonda AI hər şeyi bilən və tam yaxşı bir tanrı olsa belə, insanın təbiətində olan maraq və axtarış hissi onu öyrənməyə sövq edəcək ki, AI niyə belə yaxşı işləyir.

Axı "qara qutu" şübhə zəncirinin yaranması deməkdir, böyük model texnologiyasının sürətli inkişaf etdiyi və artıq insanın orta səviyyəsindən belə yüksək olduğu bir zamanda, "Üç Bədən" romanındakı "qaranlıq meşə" qaydası bəlkə də başqa formada ortaya çıxacaq.

Hazırda öyrədilmiş modelin qara qutusunu açmaq, içindəki dövrələri (circuit) tapmaq hələ ilkin mərhələdədir.

İzah olunmanın həqiqi çətinliyi ondan ibarətdir ki, birinci prinsipdən – model arxitekturası, gradient enməsi və verilənlərin daxili strukturundan çıxış edərək, modelin niyə bu qədər ayrılmış, seyrək, aşağı dərəcəli, modul və yığıla bilən xüsusiyyət və dövrələr öyrəndiyini izah etmək, niyə bu qədər fərqli izahların mövcud olduğunu, bu yaranan strukturların və model təliminin hansı hiperparametrlərlə əlaqəli olduğunu və s. anlamaq lazımdır.

Elə bir vaxt gələcək ki, gradient enmə tənliklərindən böyük modelin xüsusiyyətinin yaranmasının labüdlüyünü birbaşa çıxara biləcəyik və izah olunma bioloji cəhətdən sübut toplamaqdan, fiziki prinsipə əsaslanan çıxarışa keçəcək, nəticədə praktikaya rəhbərlik edəcək və növbəti nəsil süni intellekt modellərinin dizaynına yol açacaq.

Dörd yüz il əvvəlki fizika ilə müqayisədə, indi bizdə çoxlu AI versiyası Tycho (məlumat toplayan), bir neçə AI versiyası Kepler (hipotez irəli sürən) var, amma hələ AI versiyası Newton (prinsip kəşf edən) yoxdur.

O gün gələndə inanıram ki, dünya tamamilə dəyişəcək.