Untuk menyesuaikan diri dengan persekitaran bandar terbuka, badan -badan pintar perlu menangkap pergerakan badan orang sekitar dan struktur tempat kejadian dalam masa nyata. Persepsi tradisional bererti berdasarkan sensor dan kamera inersia, yang mempunyai masalah hanyut data dan kepekaan data yang panjang terhadap perubahan dinamik cahaya dan persekitaran, masing -masing, sukar untuk memenuhi permintaan untuk pergerakan tubuh manusia dan penangkapan adegan dalam persekitaran yang kompleks dalam aplikasi Bidang pemanduan pintar, robotik perkhidmatan, dan latihan sukan.
Sejak tahun 2022, pasukan Prof. Cheng Wang dan Prof. Chenglu Wen telah menjadi yang pertama mencadangkan teknologi menangkap gerakan manusia LiDAR di arena antarabangsa (Lidarcap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023). Dalam penerbitan ini, HISC4D, pasukan itu memecahkan kaedah untuk menangkap pergerakan interaksi dua orang yang pelbagai dan adegan 3D dalam pandangan orang pertama dalam adegan terbuka dalaman dan luaran berskala besar. Kaedah ini membina rangka kerja pengoptimuman bersama pelbagai peringkat dengan menggabungkan panduan inersia dan data lidar, yang secara berkesan menyelesaikan masalah drift yang disebabkan oleh panduan inersia dan meningkatkan ketepatan pembinaan semula adegan dan memanjangkan pelbagai pergerakan spatial, manusia dan penangkapan interaksi. Pada masa yang sama, dataset interaksi dua orang multimodal pertama dikeluarkan, yang meliputi jenis adegan yang berbeza dan pergerakan manusia yang pelbagai, menyediakan sumber data latihan untuk bidang penyelidikan yang berkaitan. Pada masa yang sama, yang membuka cara pemikiran baru untuk kecerdasan yang terkandung untuk pergi ke luar yang luas dan mengintegrasikan ke dalam orang ramai.
