Komunitas pengembangan web sering kali mengambil keputusan berdasarkan kesan atau tren tanpa bukti empiris. Di era agen kecerdasan buatan, ketika pengembang tidak lagi mengetik kode secara manual, pendekatan berbasis asumsi ini masih mendominasi pemilihan kerangka kerja.
Eksperimen Tolok Ukur Pemrograman AI
Untuk menguji klaim tersebut, sebuah aplikasi Pokémon kecil dirancang menggunakan PokéAPI dan diperintahkan agar agen kecerdasan buatan membangunnya dengan berbagai kerangka kerja JavaScript. Hasil keluaran kemudian dievaluasi menggunakan serangkaian pengujian spesifikasi untuk menghindari kecurangan agen, serta dinilai berdasarkan waktu pengembangan, token yang dihabiskan, jumlah baris kode, serta skor Lighthouse untuk performa dan aksesibilitas.
Eksperimen ini menggunakan model Opus 5.5 dengan tingkat usaha tinggi tanpa menentukan arsitektur spesifik seperti *server-side rendering* atau *client-side rendering*. Setiap agen beroperasi di dalam wadah terisolasi tanpa mengetahui bahwa kinerjanya akan diuji oleh Lighthouse, meskipun mereka diberikan rangkaian pengujian konfirmasi.
Hasil Biaya dan Kualitas Pembuatan
Pengujian dilakukan dengan mengambil median dari lima kali iterasi untuk masing-masing kerangka kerja, kecuali Angular yang gagal menghasilkan aplikasi berfungsi sebanyak dua kali sehingga hanya dihitung dari tiga iterasi. Dari sisi biaya API yang dilaporkan, kerangka kerja seperti SvelteKit, Gracile ditambah Lit, serta Angular tercatat lebih mahal dibandingkan pilihan lainnya.
Sementara itu, evaluasi kualitas melalui Lighthouse menunjukkan bahwa skor performa, aksesibilitas, dan pergeseran tata letak cenderung jenuh dan tidak terlalu berbeda jauh antar kerangka kerja. Metrik yang lebih dapat diandalkan adalah ukuran bita JavaScript yang dikirimkan, yang sebagian besar mencerminkan ukuran kerangka kerja di sisi klien.
Dalam hal pemeliharaan yang diukur melalui total baris kode sumber, Hono ditambah htmx mampu melakukan fungsi yang serupa dengan Angular menggunakan sekitar 70 persen lebih sedikit kode. Eksperimen ini diharapkan dapat mendorong pengembang untuk mempertimbangkan bukti nyata alih-alih sekadar mengikuti tren saat memilih teknologi kerangka kerja web.
Sumber: Hacker News: Front Page
