Khatulistiwahits–Microsoft kenalkan chip khusus AI. Chip Microsoft Azure Maia 100 dan Cobalt 100 adalah dua chip silikon khusus pertama yang dirancang oleh Microsoft untuk infrastruktur cloud-nya.
Melansir The Verge, Microsoft telah membangun chip khusus AI yang dapat digunakan untuk melatih model bahasa yang besar dan berpotensi menghindari ketergantungan yang mahal pada Nvidia. Microsoft juga telah membangun CPU berbasis Arm untuk beban kerja cloud. Kedua chip silikon khusus ini dirancang untuk memberi daya pada pusat data Azure dan mempersiapkan perusahaan dan pelanggan perusahaan untuk masa depan yang penuh dengan AI.
Chip AI Azure Maia Microsoft dan CPU Azure Cobalt bertenaga Arm akan hadir pada tahun 2024, didukung oleh lonjakan permintaan tahun ini untuk GPU H100 Nvidia yang banyak digunakan untuk melatih dan mengoperasikan alat gambar generatif dan model bahasa yang besar. Ada permintaan yang tinggi untuk GPU ini sehingga beberapa di antaranya bahkan mencapai harga lebih dari $40.000 di eBay.
Menurut Kepala sistem perangkat keras dan infrastruktur Azure di Microsoft, Rani Borkar, “Microsoft sebenarnya memiliki sejarah panjang dalam pengembangan silikon”. Microsoft berkolaborasi dalam pengembangan silikon untuk Xbox lebih dari 20 tahun yang lalu dan bahkan telah ikut merekayasa chip untuk perangkat Surface. “Upaya ini dibangun di atas pengalaman tersebut,” kata Borkar.
“Pada tahun 2017, kami mulai merancang tumpukan perangkat keras cloud dan kami memulai perjalanan tersebut yang menempatkan kami di jalur yang tepat untuk membuat chip khusus kami yang baru.”
Microsoft Kenalkan CPU Azure Cobalt
Chip AI Azure Maia dan CPU Azure Cobalt yang baru keduanya dibuat sendiri di Microsoft, dikombinasikan dengan perombakan mendalam pada seluruh jajaran server cloud untuk mengoptimalkan kinerja, daya, dan biaya. “Kami memikirkan kembali infrastruktur cloud untuk era AI, dan secara harfiah mengoptimalkan setiap lapisan infrastruktur tersebut,” kata Borkar.
Baca Juga: YouTube Kian Serius Tindak Pemblokir Iklan
CPU Azure Cobalt, dinamai sesuai dengan pigmen biru, adalah chip 128-inti yang dibangun di atas desain Arm Neoverse CSS dan disesuaikan untuk Microsoft. CPU ini dirancang untuk mendukung layanan cloud umum di Azure. “Kami telah mencurahkan banyak pemikiran untuk tidak hanya membuatnya berkinerja tinggi, tetapi juga memastikan bahwa kami memperhatikan manajemen daya,” jelas Borkar. “Kami membuat beberapa pilihan desain yang sangat disengaja, termasuk kemampuan untuk mengontrol kinerja dan konsumsi daya per inti dan pada setiap mesin virtual.”
Microsoft saat ini sedang menguji CPU Cobalt pada beban kerja seperti Microsoft Teams dan SQL server, dengan rencana untuk menyediakan mesin virtual bagi pelanggan tahun depan untuk berbagai beban kerja. Meskipun tidak akan bisa dibandingkan secara langsung dengan server Graviton 3 milik Amazon yang tersedia di AWS, seharusnya ada beberapa peningkatan performa yang nyata dibandingkan server berbasis Arm yang saat ini digunakan Microsoft untuk Azure.
“Pengujian awal kami menunjukkan bahwa performa kami mencapai 40 persen lebih baik daripada yang saat ini ada di pusat data kami yang menggunakan server Arm komersial,” ujar Borkar.
Microsoft Kenalkan Chip Maia 100
Akselerator AI Microsoft Maia 100, yang dinamai sesuai dengan nama bintang biru terang, dirancang untuk menjalankan beban kerja cloud AI, seperti pelatihan model bahasa yang besar dan kesimpulan. Akselerator ini akan digunakan untuk mendukung beberapa beban kerja AI terbesar perusahaan Azure, termasuk bagian dari kemitraan senilai miliaran dolar dengan OpenAI.
Microsoft telah mendukung semua beban kerja OpenAI. Raksasa perangkat lunak ini telah berkolaborasi dengan OpenAI dalam fase desain dan pengujian Maia.
“Kami sangat senang ketika Microsoft pertama kali membagikan desain mereka untuk chip Maia, dan kami telah bekerja sama untuk menyempurnakan dan mengujinya dengan model kami,” kata Sam Altman, CEO OpenAI.
Baca Juga: Microsoft Luncurkan Aplikasi Webstore Baru untuk Windows
“Arsitektur AI end-to-end Azure, yang kini dioptimalkan hingga ke silikon dengan Maia, membuka jalan untuk melatih model-model yang lebih mumpuni dan membuat model-model tersebut lebih murah bagi pelanggan kami,” jelasnya lagi.
Diproduksi dengan proses TSMC 5-nanometer, Maia memiliki 105 miliar transistor – sekitar 30 persen lebih sedikit daripada 153 miliar yang ditemukan pada pesaing AMD, Nvidia, yaitu GPU AI MI300X. “Maia mendukung implementasi pertama kami untuk tipe data sub 8-bit, tipe data MX, untuk merancang perangkat keras dan perangkat lunak secara bersama-sama,” ujar Borkar.”Hal ini membantu kami mendukung pelatihan model dan waktu inferensi yang lebih cepat.”
Microsoft merupakan bagian dari grup yang terdiri dari AMD, Arm, Intel, Meta, Nvidia, dan Qualcomm yang menstandarkan format data generasi berikutnya untuk model AI. Microsoft membangun kerja kolaboratif dan terbuka dari Open Compute Project (OCP) untuk mengadaptasi seluruh sistem dengan kebutuhan AI.
“Maia adalah prosesor server berpendingin cairan lengkap pertama yang dibuat oleh Microsoft,” ungkap Borkar. “Tujuannya adalah untuk memungkinkan kepadatan server yang lebih tinggi dengan efisiensi yang lebih tinggi. Karena kami menata ulang seluruh tumpukan, kami sengaja memikirkan setiap lapisan, sehingga sistem ini benar-benar akan sesuai dengan jejak pusat data kami saat ini.”
Itulah kunci bagi Microsoft untuk menjalankan server AI ini dengan lebih cepat tanpa harus menyediakan tempat di pusat data di seluruh dunia. Microsoft membangun rak unik untuk menampung papan server Maia, lengkap dengan pendingin cair “sahabat karib” yang berfungsi seperti radiator yang Anda temukan di mobil atau PC gaming mewah untuk mendinginkan permukaan chip Maia.
Maia 100 saat ini sedang diuji coba pada GPT 3.5 Turbo, model yang sama yang mendukung ChatGPT, beban kerja Bing AI, dan GitHub Copilot. Microsoft masih dalam tahap awal penerapan dan sama seperti Cobalt, Microsoft belum bersedia merilis spesifikasi Maia atau tolok ukur kinerja yang tepat.
Anda mungkin telah memperhatikan penamaan Maia 100 dan Cobalt 100, yang menunjukkan bahwa Microsoft telah merancang versi generasi kedua dari chip ini. “Ini adalah sebuah seri, bukan hanya 100 dan selesai… tetapi kami tidak akan membagikan peta jalan kami,” kata Borkar.
Belum jelas seberapa sering Microsoft akan menghadirkan versi baru Maia dan Cobalt, namun mengingat kecepatan AI, saya tidak akan terkejut melihat penerus Maia 100 hadir dalam waktu yang sama dengan pengumuman Nvidia H200 (sekitar 20 bulan).
Kuncinya sekarang adalah seberapa cepat Microsoft membuat Maia beraksi untuk mempercepat peluncuran ambisi AI-nya yang luas, dan bagaimana chip ini akan berdampak pada harga untuk penggunaan layanan cloud AI. Microsoft belum siap untuk membicarakan harga server baru ini, namun kami telah melihat perusahaan ini secara diam-diam meluncurkan Copilot untuk Microsoft 365 dengan biaya premium $30 per bulan per pengguna.
Copilot untuk Microsoft 365 terbatas hanya untuk pelanggan terbesar Microsoft saat ini, dengan pengguna perusahaan harus berkomitmen setidaknya 300 pengguna untuk masuk dalam daftar untuk mendapatkan asisten Office baru yang didukung oleh AI.
Seiring itu, Microsoft mendorong lebih banyak lagi fitur Copilot minggu ini dan perubahan nama Bing Chat, Maia dapat segera membantu menyeimbangkan permintaan untuk chip AI yang mendukung pengalaman baru ini.(KH**)
