Gila! iPhone 17 Pro Bisa Jalankan AI 400B Parameter Secara Lokal
- Istimewa
- iPhone 17 Pro berhasil menjalankan model bahasa besar (LLM) dengan 400 miliar parameter secara mandiri tanpa cloud.
- Teknologi Flash-MoE menjadi kunci utama yang memungkinkan efisiensi memori pada perangkat dengan RAM 12GB.
- Meski menjadi terobosan besar, kecepatan pemrosesan saat ini masih sangat lambat dan belum praktis untuk penggunaan harian.
Kemampuan iPhone 17 Pro AI baru saja memicu perdebatan sengit di komunitas teknologi global. Sebuah eksperimen terbaru menunjukkan perangkat ini mampu menjalankan model AI raksasa dengan 400 miliar parameter secara lokal. Pencapaian ini sangat mengejutkan karena model sebesar itu biasanya membutuhkan memori perangkat keras tingkat server.
Demonstrasi ini berasal dari proyek sumber terbuka bernama Flash-MoE yang dibagikan oleh pengembang @anemll. Secara teori, model dengan skala 400B memerlukan RAM lebih dari 200GB untuk beroperasi normal. Namun, sistem ini berhasil bekerja pada perangkat yang hanya memiliki RAM sebesar 12GB.
Rahasia Flash-MoE dalam Optimasi iPhone 17 Pro AI
Kunci keberhasilan eksperimen ini terletak pada metode manajemen memori yang sangat agresif. Alih-alih memuat seluruh model ke dalam RAM, sistem hanya mengambil potongan data dari penyimpanan internal saat dibutuhkan saja. Teknik ini secara signifikan mengurangi beban kerja memori jangka pendek perangkat.
Selain itu, sistem ini mengandalkan arsitektur Mixture of Experts (MoE). Dalam skema ini, hanya sebagian kecil dari total parameter model yang aktif pada satu waktu tertentu. Kombinasi cerdas antara pengambilan data dari storage dan arsitektur MoE inilah yang membuat iPhone 17 Pro AI tetap bisa memproses instruksi.
Kendala Performa dan Efisiensi Baterai
Meskipun terlihat revolusioner, kecepatan pemrosesan menjadi kendala utama yang tidak bisa diabaikan. Model ini hanya mampu menghasilkan teks dengan kecepatan sekitar 0,6 token per detik. Artinya, pengguna harus menunggu beberapa detik hanya untuk mendapatkan satu kata dalam respons AI tersebut.
Kecepatan yang lambat ini membuat penggunaan untuk tugas sehari-hari terasa sangat tidak praktis. Selain masalah performa, beban kerja yang sangat berat ini dipastikan akan menguras daya baterai dengan sangat cepat. Suhu perangkat juga berpotensi meningkat drastis jika dipaksa menjalankan model sebesar ini dalam durasi lama.
