Sistem baru menggabungkan video smartphone untuk membuat visualisasi 4D

Para peneliti di Universitas Carnegie Mellon telah menunjukkan bahwa mereka dapat menggabungkan video iPhone yang direkam "di alam liar" dengan kamera terpisah untuk membuat visualisasi 4D yang memungkinkan pemirsa menonton aksi dari berbagai sudut, atau bahkan menghapus orang atau benda yang sementara memblokir garis pandang.

Bayangkan sebuah visualisasi resepsi pernikahan, di mana penari dapat dilihat dari sudut sebanyak ada kamera, dan tamu yang berjalan di depan pesta pengantin tidak terlihat.

Video-video tersebut dapat diambil secara independen dari berbagai tempat yang menguntungkan, seperti yang mungkin terjadi pada pernikahan atau perayaan ulang tahun, kata Aayush Bansal, seorang Ph.D. mahasiswa di CMU's Robotics Institute. Juga dimungkinkan untuk merekam aktor dalam satu adegan dan kemudian memasukkannya ke adegan yang lain, tambahnya.

"Kami hanya dibatasi oleh jumlah kamera," kata Bansal.

Bansal dan rekan-rekannya mempresentasikan metode visualisasi 4D mereka di konferensi virtual Computer Vision dan Pattern Recognition bulan lalu.

"Virtualized reality" bukanlah hal yang baru, tetapi di masa lalu ia terbatas pada pengaturan studio, seperti Panoptic Studio CMU, yang menawarkan lebih dari 500 kamera video yang tertanam di dinding geodesi. Adegan dunia nyata diambil dari beberapa kamera genggam, menjadi model komprehensif tunggal yang dapat merekonstruksi adegan 3D yang dinamis sama sekali tidak mungkin.

Bansal dan rekan-rekannya mengatasi keterbatasan itu dengan menggunakan convolutional neural nets (CNN), sejenis program pembelajaran mendalam yang telah terbukti mahir menganalisis data visual. Mereka menemukan bahwa CNN khusus adegan dapat digunakan untuk menyusun bagian berbeda dari adegan.

Peneliti CMU menunjukkan metode mereka menggunakan hingga 15 iPhone untuk menangkap berbagai adegan - tarian, demonstrasi seni bela diri dan bahkan flamingo di National Aviary di Pittsburgh.

"Tujuan menggunakan iPhone adalah untuk menunjukkan bahwa siapa pun dapat menggunakan sistem ini," kata Bansal. "Dunia adalah studio kami."

Metode ini juga membuka sejumlah aplikasi potensial di industri film dan perangkat konsumen, terutama karena popularitas headset realitas virtual terus tumbuh.

Meskipun metode ini tidak serta merta menangkap adegan dalam detail 3D penuh, sistem ini dapat membatasi sudut pemutaran sehingga area yang direkonstruksi tidak lengkap tidak terlihat dan ilusi citra 3D tidak hancur./dm