October 6, 2022

Awal pekan ini, tim di balik kemajuan Google Pikiran Dalam neural network meluncurkan kemampuan baru yang dijuluki Transframer, yang memungkinkan AI menghasilkan video 30 detik dari satu input gambar. Ini adalah trik kecil yang bagus pada pandangan pertama, tetapi implikasinya jauh lebih besar daripada file .GIF yang menarik.

“Transframer canggih dalam berbagai benchmark pembuatan video, dan… dapat menghasilkan video 30 detik yang koheren dari satu gambar tanpa informasi geometris eksplisit,” tim peneliti DeepMind menjelaskan. Pada dasarnya, yang dibutuhkan Transframer adalah satu foto, yang kemudian dianalisis dan mengidentifikasi framing gambar, yaitu petunjuk seperti meja, lorong, atau jalan. Setelah memprediksi lingkungan subjek menggunakan “gambar konteks” ini, ia kemudian membayangkan (dan kemudian menunjukkan) seperti apa target itu dari berbagai sudut. Tim DeepMind mengilustrasikan prosedur dengan target seperti kursi, laptop, segelas air, dan bahkan buku teks GRE.

ShapeNet (1 tampilan konteks, 128 × 128). Pikiran Dalam.

“Mengingat kumpulan gambar konteks dengan anotasi terkait (stempel waktu, sudut pandang kamera, dll.), dan anotasi kueri, tugasnya adalah memprediksi distribusi probabilitas atas gambar target,” lanjut tim. “Kerangka kerja ini mendukung berbagai tugas prediksi visual, termasuk pemodelan video, sintesis tampilan baru, dan visi multi-tugas.”

Seperti yang dicatat oleh Futurisme, Transframer suatu hari nanti dapat menawarkan jalan yang sama sekali baru dalam industri video game dengan memanfaatkan pembelajaran mesin untuk membangun lingkungan digital daripada mengandalkan metode rendering yang lebih memakan waktu. Seiring kemajuan teknologi, pelatihan Transframer DeepMind dapat membuka jalan yang sama sekali baru untuk seni, analisis ilmiah, dan pengembangan AI lebih lanjut. Selain itu, satu pengguna twitter membayangkan membonceng gambar DALL-E OpenAI mereka di atas program Transframer untuk membuat kreasi AI bertumpuk—seolah-olah gambar itu tidak bisa lebih nyata lagi.

See also  Bagaimana kunci sandi akan berbeda dari kata sandi