GPT-6 Astra Mampu Membaca dan Menulis Bobot Jaringan Saraf

Model bahasa besar (LLM) terdepan menunjukkan kemampuan luar biasa dalam membaca dan menulis bobot jaringan saraf secara langsung tanpa menggunakan algoritma konvensional atau gradien. Pendekatan baru yang disebut sebagai Pemrograman Ruang Bobot (Weight-Space Programming) ini berpotensi mengubah cara kerja optimisasi dan interpretabilitas kecerdasan buatan di masa depan.

Kemampuan Membaca Bobot Jaringan Saraf

Dalam serangkaian eksperimen awal, GPT-6 Astra diuji untuk memahami ruang bobot kontinu yang berbentuk sekadar daftar angka. Ketika diberikan bobot mentah dari empat jaringan kebijakan yang dilatih menggunakan PPO untuk memainkan permainan komputer, Astra berhasil menyebutkan nama permainan yang tepat untuk keempat jaringan tersebut tanpa diberi tahu pilihan permainannya. Astra bekerja dengan cara melihat konsentrasi bobot lapisan pertama pada saluran masukan dan membedakan tindakan pada lapisan keluaran.

Kemampuan ini juga diuji pada model difusi yang dilatih untuk menghasilkan gambar lingkaran, segitiga, dan persegi secara terpisah. Tanpa alat bantu atau eksekusi ke depan (forward pass), Astra mampu mengidentifikasi bentuk apa yang dihasilkan oleh setiap model hanya dari bobotnya saja dengan mengenali bagian tepi gambar pada lapisan keluaran. Pada model bahasa berukuran kecil dengan 7,2 juta parameter yang dilatih memprediksi karakter berikutnya pada kode Python, abjad Jepang (romaji), dan bahasa Inggris, Astra berhasil mengidentifikasi bahasa pelatihan yang benar serta menemukan seluruh kepala penyalin (induction head) pada bagian lapisan tengah.

Menulis Bobot Jaringan dari Nol dan Memperbaiki Jaringan

Selain membaca, Astra juga diuji kemampuannya dalam menulis bobot untuk memperbaiki jaringan yang gagal. Dalam tugas mengoperasikan mobil di lingkungan Kinetix agar dapat menaiki tanjakan, jaringan PPO awal mengalami kegagalan karena terjebak dalam kebijakan minimum lokal. Hanya dengan diberikan deskripsi adegan dan satu episode terekam, suntingan bobot tunggal dari Astra membuat mobil tersebut berhasil menyelesaikan seluruh 1.024 episode dengan mengubah 3,5 persen bobot jaringan.

Astra bahkan mampu menulis jaringan saraf dari nol secara zero-shot untuk permainan MinAtar seperti Breakout, Seaquest, dan Asterix berdasarkan aturan serta kode sumber permainan. Jaringan buatan Astra dilaporkan mengalahkan model PPO yang dilatih selama 100 juta langkah pada ketiga permainan tersebut. Untuk permainan Go pada skala 1,5 juta parameter, Astra menulis jaringan lapis demi lapis dalam kode Python sepanjang 336 baris yang mampu mengalahkan jaringan PPO seukuran yang dilatih pada 20 juta permainan setelah diberikan anggaran 50 kali eksekusi ke depan.

Peningkatan Kinerja pada Model Bahasa Nyata

Pada model bahasa Qwen3.5-0.8B, Astra diminta memperbaiki kemampuan penalaran matematika tanpa menggunakan gradien atau pelatihan ulang. Model dasar tersebut sering mengalami pengulangan teks (looping) yang mencapai batas token pada sebagian besar jawaban. Astra melacak masalah tersebut ke arah tertentu dalam MLP pada lapisan 15 dan 19, lalu menguranginya pada kolom keluaran.

Penyuntingan bobot yang hanya memengaruhi 0,016 persen dari total bobot model tersebut berhasil mengangkat skor MATH-500 dari 7,9 persen menjadi 48,1 persen serta meningkatkan skor kemampuan mengikuti instruksi (IFEval) hingga tiga kali lipat. Namun, ketika diterapkan pada model Gemma 3 270M yang jarang mengalami pengulangan, Astra tidak mendapati komponen tunggal yang bisa dimatikan sehingga tidak terjadi peningkatan performa yang signifikan.

Seluruh catatan eksperimen lengkap, kode yang dijalankan, serta model Qwen3.5-0.8B yang telah disunting telah dirilis ke publik melalui platform GitHub dan Hugging Face untuk diuji ulang dan dikembangkan lebih lanjut.