Jangan Bilang "Tolong" dan "Terima Kasih" ke ChatGPT

Menurut Altman, ungkapan "terima kasih" dan "tolong" dari pengguna, membuat OpenAI harus membayar hingga jutaan dollar. Biaya ini terkait dengan konsumsi listrik yang diperlukan oleh chatbot tersebut.

"Saya penasaran berapa banyak biaya listrik yang dihabiskan OpenAI karena orang-orang mengucapkan 'tolong' dan 'terima kasih' ke model AI mereka," tanya pengguna X Twitter dengan handle @tomieinlove. 

"Puluhan juta dollar terpakai dengan baik. Anda tidak akan pernah tau," kata Altman lewat akun X-nya dengan handle @sama. Namun dia tak merinci berapa biaya yang terkuras sebenarnya.

Secara teknis, sebuah model AI termasuk model di balik ChatGPT, memang perlu dilatih untuk melakukan berbagai hal, termasuk mengenali gambar hingga memahami bahasa. 

Pelatihannya menggunakan kumpulan data besar dan hardware yang kuat termasuk (graphics processing unit/GPU), tensor processing unit (TPU), hingga chip bertenaga lainnya.

Komponen penunjang AI juga menghasilkan panas yang signifikan selama pelatihan. Walhasil, diperlukan sistem pendingin seperti pendingin udara atau liquid, di mana sistem ini juga memerlukan listrik yang sama seperti komponen utama.

GPT-3 misalnya, menggunakan listrik sekitar 1.287 megawatt-hour (MWh). Daya sebesar ini sebenarnya cukup untuk memberikan listrik ke 120 rumah di Amerika Serikat selama setahun, dihimpun KompasTekno dari The Economic Times, Senin (21/4/2025).

Menurut laporan Towards Data Science pada Agustus 2024 lalu, untuk melatih model AI GPT-4 selama 90-100 hari, dibutuhkan listrik hingga sekitar 62.000 MWh. Ini setara dengan konsumsi energi dari 1.000 rumah tangga AS pada umumnya selama 5 hingga 6 tahun.

Berapa listrik yang dibutuhkan model AI GPT-4?

Kecanggihan GPT-4 dimungkinkan karena model AI ini dilatih menggunakan sekitar 25.000 GPU Nvidia A100 selama 90-100 hari. Biaya pelatihan model ini dilaporkan mencapai 100 juta dollar AS.

Nvidia tidak mengungkapkan informasi ini, jadi mari kita gunakan TDP dari server Nvidia DGX yang serupa, yaitu 6,5 kW. Jadi, jika server Nvidia DGX berjalan dengan daya penuh selama 1 jam, server tersebut akan mengonsumsi 6,5 KWh, berdasarkan perhitungan TDP.

Seperti disebut sebelumnya, model AI GPT-4 disebut membutuhkan diperlukan waktu 90–100 hari untuk melatih GPT-4. Itu berarti 90 x 24 jam= 2.160 jam per server atau 100 x 24 jam = 2.400 jam per server.

Jika kita berasumsi server beroperasi dengan daya penuh secara konstan, kita dapat mengalikan jumlah jam dengan 6,5 KWh. Dari situ, kita memperoleh bahwa selama pelatihan, setiap server mungkin telah mengonsumsi listrik sebesar 14.040 KWh hingga 15.600 KWh.

Saat menghitung konsumsi energi perangkat keras komputer, biasanya konsumsi energi perangkat keras dikalikan dengan apa yang disebut efektivitas penggunaan daya (PUE) pusat data, tempat perangkat keras tersebut beroperasi.

GPT-4 kemungkinan besar dilatih di pusat data Microsoft Azure, mengingat adanya kemitraan antara OpenAI dengan Microsoft. Pusat data Microsoft Azure memiliki PUE rata-rata 1,18. Perlu dicatat bahwa ini dapat bervariasi di antara pusat data.

Jadi, estimasi konsumsi listrik untuk melatih GPT-4 selama 90-100 hari adalah antara 51.772 MWh dan 57.525 MWh. Ini setara dengan konsumsi energi selama 5 hingga 6 tahun dari 1.000 rumah tangga AS pada umumnya.

Angka tersebut 40 kali lebih tinggi dari estimasi konsumsi listrik yang dikonsumsi pendahulunya, GPT-3, sebagaimana dihimpun KompasTekno dari Towards Data Center, Selasa (22/4/2025).

Post Related