Anthropic, pesaing OpenAI, meluncurkan Claude 2.1. Versi terbaru dari pesaing ChatGPT ini meningkatkan jendela konteksnya menjadi 200.000 token, memungkinkan Anda untuk menempelkan seluruh karya Homer, The Odyssey, untuk analisis AI. Token adalah potongan teks yang digunakan untuk mengorganisir informasi, dan jendela konteks adalah batas token yang dapat diurai dalam satu permintaan. Perusahaan mengatakan versi 2.1 juga mengurangi separuh tingkat halusinasi Claude, menghasilkan jawaban yang lebih akurat seperti yang terlalu dipercayai oleh pengacara ChatGPT. Secara kebetulan atau tidak, pembaruan ini datang saat dunia teknologi menyaksikan rival Anthropic, OpenAI, tenggelam ke dalam kekacauan.
Perusahaan mengatakan jendela konteks 200 ribu token dari Claude 2.1 memungkinkan pengguna mengunggah seluruh kode basis, makalah akademis, laporan keuangan, atau karya sastra panjang. Anthropic mengatakan 200.000 token sekitar setara dengan 150.000 kata atau lebih dari 500 halaman materi. Setelah mengunggah materi, chatbot dapat memberikan ringkasan, menjawab pertanyaan khusus tentang isinya, membandingkan atau kontras beberapa dokumen, atau mengenali pola yang mungkin sulit dilihat oleh manusia.
“Mengolah pesan berpanjang 200 ribu token adalah pencapaian kompleks dan pertama dalam industri,” tulis perusahaan dalam post blog pengumuman. “Meskipun kami sangat bersemangat untuk memberikan kemampuan baru yang sangat kuat ini kepada pengguna kami, tugas yang biasanya memerlukan beberapa jam usaha manusia untuk diselesaikan mungkin akan membutuhkan waktu beberapa menit bagi Claude. Kami berharap latensi akan berkurang secara substansial seiring perkembangan teknologi.”
Anthropic memperingatkan bahwa menganalisis dan merespons input yang sangat panjang bisa memakan waktu beberapa menit untuk dilakukan oleh bot AI – jauh lebih lama dibandingkan dengan detik yang biasanya kita tunggu untuk kueri yang lebih sederhana. “Kami berharap latensi akan berkurang secara substansial seiring perkembangan teknologi,” tulis perusahaan.
Halusinasi, atau informasi yang sangat tidak akurat, masih umum terjadi dalam generasi chatbot AI ini. Namun, Anthropic mengatakan Claude 2.1 telah mengurangi tingkat halusinasi dibandingkan dengan Claude 2.0. Perusahaan menautkan kemajuan tersebut dengan kemampuan yang ditingkatkan untuk memisahkan klaim yang tidak benar dari pengakuan ketidakpastian, membuat Claude 2.1 sekitar dua kali lebih mungkin untuk mengakui bahwa ia tidak tahu jawaban daripada memberikan yang salah.
Anthropic mengatakan Claude 2.1 juga melakukan 30 persen lebih sedikit kesalahan dalam dokumen yang sangat panjang. Selain itu, memiliki tingkat “menyimpulkan dengan keliru bahwa sebuah dokumen mendukung klaim tertentu” tiga hingga empat kali lebih rendah saat menggunakan jendela konteks yang lebih kuat.
Bot yang diperbarui menambahkan beberapa keuntungan khusus untuk pengembang. Konsol Workbench baru memungkinkan pengembang untuk menyempurnakan prompt “dalam pengalaman gaya bermain dan mengakses pengaturan model baru untuk mengoptimalkan perilaku Claude.” Misalnya, ini memungkinkan pengguna menguji beberapa prompt dan menggunakan basis kode Claude untuk menghasilkan potongan untuk SDK. Fitur beta pengembang baru lainnya, “tool use,” memungkinkan Claude “terintegrasi dengan proses, produk, dan API yang sudah ada pengguna.” Perusahaan menyebutkan contoh seperti menggunakan kalkulator untuk persamaan kompleks, menerjemahkan bahasa sederhana menjadi panggilan API terstruktur, menggunakan API pencarian web, mengakses API pribadi klien, atau terhubung ke kumpulan data produk. Perusahaan memperingatkan bahwa fitur penggunaan alat ini masih dalam pengembangan awal dan mendorong pelanggan untuk memberikan umpan balik.
