Microsoft memperkenalkan kemampuan kecerdasan buatan (AI) terbaru untuk Copilot pada Kamis lalu. Fitur ini dinamakan Copilot Vision, memungkinkan chatbot AI ini untuk melihat dan memahami konteks aktivitas penjelajahan pengguna di internet. Raksasa teknologi asal Redmond ini mengungkapkan bahwa Copilot kini dapat terintegrasi dengan browser Microsoft Edge. Dengan fitur baru ini, Copilot dapat memantau situs web dan halaman yang dikunjungi pengguna serta menjalankan perintah tertentu saat diminta. Fitur ini saat ini tersedia dalam pratinjau untuk sejumlah kecil pelanggan Copilot Pro di Amerika Serikat.
Microsoft terus berinovasi untuk menjadikan Copilot sebagai pusat pengalaman pengguna di PC. Sebelumnya, Copilot diperkenalkan sebagai agen AI yang dirancang khusus untuk menyelesaikan tugas di komputer. Kini, dengan hadirnya Copilot Vision, chatbot ini mampu menjawab pertanyaan berdasarkan aktivitas pengguna di browser, sebagaimana dijelaskan dalam blog resmi Microsoft.
Perlu dicatat, Copilot Vision bukanlah fungsi agentic, yang berarti AI ini tidak dapat mengambil tindakan atas nama pengguna. Fitur ini hanya berfungsi sebagai asisten yang memahami konteks dari apa yang dilihat pengguna di browser.
Copilot Vision mampu membaca elemen seperti gambar, teks, hingga tombol navigasi di browser Edge. Chatbot ini akan muncul di bagian bawah layar, dan pengguna dapat mengetik atau memberikan perintah suara untuk mengaktifkannya.
Fitur ini dapat menjawab pertanyaan terkait informasi yang sedang dibuka, meringkas dan menerjemahkan teks di halaman web, menyoroti bagian tertentu dari halaman sesuai permintaan, dan membantu sebagai asisten game, seperti memberikan tips bermain GeoGuessr atau Chess online.
Sebagai contoh, Microsoft menjelaskan bahwa Copilot Vision dapat membantu pengguna merencanakan kunjungan ke museum dengan menyoroti informasi penting yang perlu diketahui. Selain itu, fitur ini juga dapat merekomendasikan produk yang sesuai dengan kebutuhan dan preferensi pengguna saat berbelanja online.
Microsoft menegaskan bahwa Copilot Vision sepenuhnya bersifat opt-in. Pengguna memiliki kendali penuh untuk mengaktifkan atau menonaktifkan fitur ini. AI tidak akan melihat informasi yang tidak diizinkan oleh pengguna.
Selain itu, data percakapan dengan AI akan dihapus setelah sesi berakhir, meskipun respons dari Copilot akan dicatat untuk meningkatkan sistem keamanan perusahaan. Microsoft juga menambahkan bahwa Copilot Vision tidak menangkap, menyimpan, atau menggunakan data dari penerbit situs web untuk melatih model AI mereka.
Untuk memastikan keamanan, Microsoft bekerja sama dengan kelompok penguji eksternal (red teamers) guna mengidentifikasi dan memperbaiki potensi risiko pada fitur ini.
Copilot Vision saat ini diluncurkan secara terbatas untuk pelanggan Copilot Pro di Amerika Serikat dan dapat diakses melalui Copilot Labs. Fitur ini baru mendukung sejumlah situs web tertentu, namun Microsoft berencana memperluas cakupan fungsionalitasnya secara bertahap.
