برای سازگاری با محیط شهری باز ، اجسام هوشمند باید حرکات بدن افراد اطراف و ساختار صحنه را در زمان واقعی ضبط کنند. درک سنتی به معنای مبتنی بر سنسورهای اینرسی و دوربین ها است که به ترتیب مشکلات رانش داده های طولانی و حساسیت به تغییرات پویا نور و محیط را دارند ، به ترتیب ، برآورده کردن تقاضا برای حرکت بدن انسان و ضبط صحنه در محیط های پیچیده در کاربرد دشوار است زمینه های رانندگی هوشمند ، رباتیک خدمات و آموزش های ورزشی.
از سال 2022 ، تیم پروفسور چنگ وانگ و پروفسور Chenglu Wen اولین کسی بوده اند که فناوری ضبط حرکت انسانی Lidar را در عرصه بین المللی پیشنهاد می کنند (Lidarcap ، CVPR 2022 ؛ HSC4D ، CVPR 2022 ؛ SLOPER4D ، CVPR 2023). در این نشریه ، HISC4D ، این تیم روشی را برای ضبط حرکات متنوع تعامل دو نفره و صحنه های سه بعدی در نمای اول شخص در صحنه های باز در مقیاس بزرگ و فضای باز می کند. این روش یک چارچوب بهینه سازی مفصل چند مرحله ای را با همجوشی راهنمایی های اینرسی و داده های LIDAR ایجاد می کند ، که به طور موثری مشکل رانش ناشی از هدایت اینرسی را حل می کند و به طور قابل توجهی دقت بازسازی صحنه را بهبود می بخشد و دامنه دامنه مکانی ، حرکت انسان و تعامل را گسترش می دهد. در همین زمان ، اولین مجموعه داده تعامل دو نفره چند نفره منتشر می شود ، انواع صحنه های مختلف و حرکات متنوع انسانی را پوشش می دهد ، منابع داده های آموزشی را برای زمینه های تحقیقاتی مرتبط فراهم می کند. فناوری HISC4D از LIDAR به عنوان سنسور اصلی برای بازسازی حرکات انسانی و صحنه های سه بعدی استفاده می کند. در همان زمان ، که روش جدیدی برای تفکر برای هوش تجسم یافته باز می شود تا به بیرون از منزل برود و در جمع ادغام شود.
