IBM Luncurkan LLM Granite 3.2, AI Kecil yang Efesien

Selular.id – IBM (NYSE: IBM) telah meluncurkan generasi terbaru dari keluarga Large Language Model (LLM) Granite, Granite 3.2, sebagai upaya berkelanjutan menghadirkan AI kecil, efisien dan praktis bagi perusahaan dengan dampak dunia nyata.

Semua model Granite 3.2 tersedia di bawah lisensi Apache 2.0 di Hugging Face. Beberapa model tertentu tersedia sekarang di platform IBM watsonx.ai, Ollama, Replicate, dan LM Studio, dan diharapkan akan segera hadir di RHEL AI 1.5, guna menghadirkan kemampuan canggih untuk bisnis dan komunitas open-source. Fitur-fitur baru termasuk:

• Visual Language Model (VLM) yang baru untuk “memahami” dokumen dengan kinerja yang sama atau melampaui model yang jauh lebih besar – seperti Llama 3.2 11B dan Pixtral 12B – pada benchmark perusahaan seperti DocVQA, ChartQA, AI2D dan OCRBench[1]. Selain data pelatihan yang kokoh, IBM menggunakan Docling Toolkit yang open-source untuk memproses 85 juta PDF guna menghasilkan 26 juta pasangan pertanyaan-jawaban sintetis untuk meningkatkan kemampuan VLM dalam menangani alur kerja dokumen yang kompleks.
• Kemampuan Chain of Thought untuk penalaran atau reasoning yang ditingkatkan dalam model 3.2 2B dan 8B, dengan kemampuan untuk mengaktifkan atau menonaktifkan penalaran untuk membantu mengoptimalkan efisiensi. Dengan kemampuan ini, model 8B dapat mencapai peningkatan dua digit dari pendahulunya untuk mengikuti instruksi seperti ArenaHard dan Alpaca Eval tanpa penurunan keamanan atau kinerja[2]. Selain itu, dengan penggunaan metode novel inference scaling yang baru, model Granite 3.2 8B dapat dikalibrasi untuk menyaingi kinerja model yang jauh lebih besar seperti Claude 3.5 Sonnet atau GPT-4o pada benchmark penalaran matematika seperti AIME2024 dan MATH500.
• Opsi dengan ukuran yang lebih ramping untuk model sekuriti Granite Guardian mempertahankan kinerja model Granite 3.1 Guardian sebelumnya meskipun lebih kecil 30%. Model 3.2 juga memperkenalkan fitur baru yang disebut verbalized confidence, yang menawarkan penilaian risiko yang bisa mengerti ambiguitas dalam pemantauan cyber.

Baca juga: IBM dan Kota Kita Berkolaborasi untuk Proyek AI

Strategi IBM untuk memberikan model AI khusus yang lebih kecil bagi perusahaan terus menunjukkan hasil yang optimal, dengan model Granite 3.1 8B baru-baru ini menghasilkan nilai tinggi untuk akurasi dalam Salesforce LLM Benchmark untuk CRM.

Seri model Granite didukung oleh ekosistem mitra yang kuat, termasuk perusahaan perangkat lunak terkemuka yang mengintegrasikan LLM ke dalam teknologi mereka.

“Di CrushBank, kami telah melihat secara langsung bagaimana model AI IBM yang terbuka dan efisien memberikan nilai nyata untuk AI perusahaan – menawarkan keseimbangan yang tepat antara kinerja, efektivitas biaya, dan skalabilitas,” kata David Tan, CTO, CrushBank. “Granite 3.2 juga memberikan kemampuan penalaran yang baru, dan kami sangat senang bisa membangun solusi agen baru.”

Granite 3.2 adalah langkah penting dalam evolusi portofolio dan strategi IBM untuk menghadirkan AI kecil dan praktis bagi perusahaan. Meskipun pendekatan chain of thought untuk penalaran sangat kuat, pendekatan ini membutuhkan daya komputasi substansial yang tidak diperlukan untuk setiap tugas. Itulah sebabnya IBM telah memperkenalkan kemampuan untuk mengaktifkan atau menonaktifkan chain of thought secara terprogram. Untuk tugas yang lebih sederhana, model dapat beroperasi tanpa reasoning untuk mengurangi overhead komputasi yang tidak perlu. Selain itu, teknik penalaran lain seperti inference scaling telah menunjukkan bahwa model Granite 3.2 8B bisa setara atau melampaui kinerja model yang jauh lebih besar pada benchmark penalaran matematika standar. Metode yang berkembang seperti inference scaling tetap menjadi area fokus utama bagi tim peneliti IBM.

Baca juga: Telkom Bersama IBM Hadirkan Layanan AI Inovatif

Bersamaan dengan model instruksi, vision, dan pembatas Granite 3.2, IBM merilis generasi terbaru model TinyTimeMixers (TTM) (parameter di bawah 10 juta), dengan kemampuan untuk forecasting jangka panjang hingga dua tahun ke depan. Ini menjadi alat yang ampuh dalam analisis tren jangka panjang, termasuk tren keuangan dan ekonomi, perkiraan permintaan rantai pasokan, dan perencanaan inventaris musiman di ritel.

“Era AI berikutnya adalah tentang efisiensi, integrasi, dan dampak dunia nyata – di mana perusahaan dapat mencapai hasil yang kuat tanpa pengeluaran berlebihan untuk komputasi,” kata Sriram Raghavan, VP, IBM AI Research. “Pengembangan Granite terbaru IBM berfokus pada solusi terbuka menunjukkan langkah maju dalam membuat AI lebih mudah diakses, hemat biaya, dan berharga bagi perusahaan modern.”

Ikuti informasi menarik lainnya dari Selular.id di Google News