Pengembang Aplikasi Kini Bisa Pakai AI Llama Meta untuk Bikin Agen AI
Induk Facebook, WhatsApp, dkk, Meta, merilis API model bahasa besar (Large Language Model/LLM) Llama. API Llama dirilis dalam konferensi pengembang AI pertama Meta, LlamaCon, pada Selasa (29/4/2025) waktu Amerika Serikat.
API (Application Programming Interface) sederhananya merupakan sebuah fitur yang memungkinkan para pengembang aplikasi memanfaatkan teknologi tertentu ke dalam aplikasi buatan mereka.
API Llama dirilis Meta bekerja sama dengan Cerebras System. Dalam praktiknya, Cerebras menyediakan chip AI untuk meningkatkan model Llama bagi pengembang.
Berkat kerja sama ini, API Llama menawarkan kecepatan inferensi (proses model AI mempelajari, memutuskan, mempredisksi atau menyimpulkan data) hingga 18 kali lebih cepat dibanding solusi berbasis GPU tradisional.
Sistem Cerebras juga membuat Llama 4 (versi terbaru Llama) dapat memproses 2.600 token per detik. Pencapaian ini lebih tinggi dibanding ChatGPT 130 token per detik atau DeepSeek sekitar 25 token per detik, sebagaimana hasil benchmark Artificial Analysis.
"Bila Anda hanya membandingkan API dengan API, Gemini dan GPT, semuanya merupakan model yang hebat tetapi berjalan pada kecepatan GPU yang kira-kira menghasilkan 100 token per detik," kata eksekutif senior Cerebras, James Wang.
"100 token per detik cukup oke untuk obrolan, tetapi sangat lambat untuk penalaran. Sangat lambat untuk agen. Padahal orang-orang saat ini sedang mengupayakan itu," lanjut dia.
Dengan kecepatan tinggi tersebut, API Llama dapat diterapkan untuk aplikasi jenis baru, termasuk agen real-time, sistem suara dengan latensi yang rendah, pembuatan coding interaktif, dan lain sebagainya hanya dalam hitungan detik.
Adapun selama ini Llama tersedia open source secara gratis hingga telah diunduh sampai 1,2 miliar kali. Sayangnya induk Facebook itu belum merinci harga API Llama dengan kecepatan tinggi yang dirilis kali ini, dihimpun KompasTekno dari VentureBeat, Rabu (30/4/2025).
Jumlah ini meningkat nyaris dua kali lipat, mengingat pada Desember 2024 lalu induk Facebook ini mengungkap model AI tersebut sudah diunduh 650 juta kali.
