Apple merilis model AI open source yang berjalan di perangkat

Apple hari ini merilis beberapa model bahasa besar (LLM) open source yang dirancang untuk berjalan di perangkat, bukan melalui server cloud. Disebut OpenELM (Model Bahasa Efisien Sumber Terbuka), program LLM tersedia di Bagian tengah dari wajah yang berpelukankomunitas untuk berbagi kode AI.

Seperti yang ditunjukkan dalam kertas putih [PDF], Ada total delapan model OpenELM, empat di antaranya, dilatih sebelumnya menggunakan perpustakaan CoreNet, dan empat lagi, model yang disesuaikan dengan instruksi. Apple menggunakan strategi penskalaan lapisan yang bertujuan untuk meningkatkan akurasi dan efisiensi.

Apple menyediakan kode, log pelatihan, dan beberapa versi, bukan hanya model pelatihan akhir, dan para peneliti di balik proyek ini berharap hal ini akan menghasilkan kemajuan yang lebih cepat dan “hasil yang lebih dapat dipercaya” di bidang AI bahasa alami.

OpenELM, model bahasa terbuka yang berkembang. OpenELM menggunakan strategi penskalaan lapisan untuk mengalokasikan parameter secara efisien dalam setiap lapisan model transformator, sehingga menghasilkan peningkatan akurasi. Misalnya, dengan anggaran parameter sekitar 1 miliar parameter, OpenELM menunjukkan peningkatan akurasi sebesar 2,36% dibandingkan OLMo sekaligus memerlukan token 2x lebih sedikit untuk pra-pelatihan.

Melepaskan diri dari praktik sebelumnya yang hanya menyediakan bobot model, kode inferensi, dan pra-pelatihan pada kumpulan data pribadi, versi kami mencakup kerangka kerja lengkap untuk melatih dan mengevaluasi model bahasa pada kumpulan data yang tersedia untuk umum, termasuk log pelatihan, beberapa pos pemeriksaan, dan pra-pelatihan. poin. Konfigurasi pelatihan.

Apple mengatakan pihaknya meluncurkan model OpenELM untuk “memberdayakan dan memperkaya komunitas riset terbuka” dengan model bahasa modern. Berbagi model open source memberi peneliti cara untuk menyelidiki risiko, data, dan bias model. Pengembang dan bisnis dapat menggunakan templat sebagaimana adanya atau melakukan modifikasi pada templat tersebut.

Berbagi informasi secara terbuka telah menjadi alat penting bagi Apple untuk merekrut insinyur, ilmuwan, dan pakar terkemuka karena hal ini memberikan peluang bagi makalah penelitian yang biasanya tidak dipublikasikan berdasarkan kebijakan kerahasiaan Apple.

Apple belum menghadirkan kemampuan AI jenis ini ke perangkatnya, namun iOS 18 diperkirakan akan menyertakan sejumlah fitur AI baru, dan rumor menyebutkan bahwa Apple berencana menjalankan model bahasa besarnya sendiri di perangkat untuk tujuan privasi.