Tidak diragukan lagi, tahun 2023 telah menjadi tahun generative AI, dan Google menandainya dengan lebih banyak perkembangan AI. Perusahaan ini mengumumkan pembuatan TPU (Tensor Processing Units) terkuatnya hingga saat ini, Cloud TPU v5p, dan sebuah AI Hyperkomputer dari Google Cloud. “Pertumbuhan model AI, dengan peningkatan sepuluh kali lipat dalam parameter setiap tahun selama lima tahun terakhir, membawa persyaratan yang lebih tinggi untuk pelatihan, penyetelan, dan inferensi,” kata Amin Vahdat, Engineering Fellow dan Wakil Presiden Google untuk Tim Machine Learning, Sistem, dan Cloud AI, dalam sebuah rilis.
Cloud TPU v5p adalah akselerator AI, yang digunakan untuk pelatihan dan melayani model. Google merancang Cloud TPU untuk bekerja dengan model yang besar, memiliki periode pelatihan yang lama, sebagian besar terdiri dari perhitungan matriks, dan tidak memiliki operasi khusus di dalam loop pelatihan utamanya, seperti TensorFlow atau JAX. Setiap pod TPU v5p membawa 8.960 chip saat menggunakan interkoneksi antar-chip tercepat dari Google.
Cloud TPU v5p mengikuti iterasi sebelumnya seperti v5e dan v4. Menurut Google, TPU v5p memiliki FLOPs dua kali lipat lebih besar dan empat kali lebih dapat diskalakan jika mempertimbangkan FLOPS per pod dibandingkan dengan TPU v4. Ini juga dapat melatih model LLM 2,8 kali lebih cepat dan menyematkan model padat 1,9 kali lebih cepat daripada TPU v4.
Selain itu, ada Hyperkomputer AI baru, yang mencakup sistem terintegrasi dengan perangkat lunak terbuka, perangkat keras yang dioptimalkan kinerjanya, kerangka pembelajaran mesin, dan model konsumsi yang fleksibel. Ide di balik ini adalah bahwa gabungan ini akan meningkatkan produktivitas dan efisiensi dibandingkan jika setiap bagian dilihat secara terpisah. Perangkat keras yang dioptimalkan kinerjanya menggunakan teknologi jaringan pusat data Jupiter milik Google.
Dalam perubahan kecepatan, Google menyediakan perangkat lunak terbuka kepada pengembang dengan dukungan ekstensif untuk kerangka pembelajaran mesin seperti JAX, PyTorch, dan TensorFlow. Pengumuman ini datang seiring dengan peluncuran AI Alliance oleh Meta dan IBM, yang memprioritaskan sumber terbuka dan Google secara mencolok tidak terlibat. Hyperkomputer AI juga memperkenalkan dua model, Flex Start Mode dan Calendar Mode.
Google berbagi berita ini seiring dengan pengenalan Gemini, model AI baru yang perusahaan sebut sebagai terbesar dan paling canggih, dan peluncurannya ke Bard dan Pixel 8 Pro. Ini akan hadir dalam tiga ukuran: Gemini Pro, Gemini Ultra, dan Gemini Nano.
