Laboratorium kecerdasan buatan Google DeepMind sedang mengembangkan teknologi baru yang dapat menghasilkan soundtrack, bahkan dialog, untuk video. Tim DeepMind telah membagikan kemajuan mereka pada proyek teknologi video-ke-audio (V2A), yang dapat dipasangkan dengan Google Veo dan alat pembuatan video lainnya seperti Sora dari OpenAI. Dalam blognya, tim DeepMind menjelaskan bahwa sistem ini dapat memahami piksel mentah dan menggabungkan informasi tersebut dengan petunjuk teks untuk menciptakan efek suara sesuai dengan apa yang terjadi di layar. Perlu dicatat, alat ini juga dapat digunakan untuk membuat soundtrack untuk rekaman tradisional, seperti film bisu dan video lain tanpa suara.
Para peneliti DeepMind melatih teknologi ini pada video, audio, dan anotasi yang dihasilkan oleh AI yang berisi deskripsi rinci tentang suara dan transkrip dialog. Mereka mengatakan bahwa dengan cara ini, teknologi ini belajar mengasosiasikan suara tertentu dengan adegan visual. Seperti yang dicatat oleh TechCrunch, tim DeepMind bukan yang pertama merilis alat AI yang dapat menghasilkan efek suara dan ini tidak akan menjadi yang terakhir. “Penelitian kami menonjol dari solusi video-ke-audio yang ada karena dapat memahami piksel mentah dan penambahan petunjuk teks adalah opsional,” tulis tim tersebut.
Meskipun petunjuk teks bersifat opsional, petunjuk tersebut dapat digunakan untuk membentuk dan menyempurnakan produk akhir agar seakurat dan serealistis mungkin. Anda dapat memasukkan petunjuk positif untuk mengarahkan output dalam menciptakan suara yang diinginkan, misalnya, atau petunjuk negatif untuk mengarahkannya menjauh dari suara yang tidak diinginkan.
Para peneliti mengakui bahwa mereka masih berusaha mengatasi keterbatasan teknologi V2A mereka saat ini, seperti penurunan kualitas audio output yang dapat terjadi jika ada distorsi dalam video sumber. Mereka juga masih bekerja untuk meningkatkan sinkronisasi bibir untuk dialog yang dihasilkan. Selain itu, mereka berjanji untuk menempatkan teknologi ini melalui penilaian dan pengujian keamanan yang ketat sebelum merilisnya ke dunia.
