Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网

最新技术
3D虎 2018-06-27 17:10:24 7417
微导读:

近日,Facebook AI Reaserch开源了一项将2D RGB图像的所有人类像素实时映射至3D永利娱乐场官网的技术:DensePose,而且采用的也不是我们经常介绍的骨骼追踪,而是一种十分密集的方案……

  之前我们已经介绍过很多仅用RGB相机进行动作捕捉的研究了,其中大多数是模拟出骨骼进行追踪,少数则是通过模拟出的骨骼套上一个粗糙的永利娱乐场官网,便可称为3D永利娱乐场官网了。


  近日,Facebook AI Reaserch(FAIR)开源了一项将2D RGB图像的所有人类像素实时映射至3D永利娱乐场官网的技术——DensePose,而且采用的也不是我们经常介绍的骨骼追踪,而是一种十分密集的方案追踪来构建3D永利娱乐场官网。


  在户外和穿着宽松衣服的 也表现良好。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  还支持多人同时追踪。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  那这个密集如何来理解呢?


  对于一般的骨骼追踪,追踪的点大多在十到二十个之间,再多也没有多少实际的效果。而DensePose所追踪的点一共有336个,密密麻麻全身都是点。(密集恐惧症退避)


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  之所以要追踪这么多的点,是构建一个平滑流畅的3D永利娱乐场官网所必须的数据。


  辛苦的付出也是值得的,DensePose无论是在户外还是多人下都表现良好,还能实时更换场景中人的衣服。


  那就来看看他们是怎么做到的吧。


  为了让机器可以学习,研究人员手动标记了5万张照片中的336个点,光这个步骤就是一个巨大的工程了,如果按部就班的标记注释,不知道要到什么时候完成了。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  研究人员将一个人拆分成了24个部分,分别为头、躯干上部、躯干下部、大臂、小臂、大腿、小腿、手、脚。每个部分标记14的点。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  对于头部、手部、脚部都由人手动标记。同时还要求注释者在标记的时候标出被衣物掩盖住的部位,比如宽松的裙子。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  这些工作做完后进入第二阶段,研究人员对每一个展开部位区域进行采样,会获得6个不同的标记图,提供二维坐标地图使标记者更直观的判断哪个标记是正确的。


  最后再将平面重新组合成3D永利娱乐场官网,进行最后一步校准。


  这样两步下来,研究人员得以高效准确的获得了准确的标记。不过在躯干、背部还有 臀部有较大的误差。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  接下来就是深度学习的阶段了,这时一个好的方案就好比性能优越的催化剂。


  研究人员采用与Mask-RCNN架构的DenseReg类似的方法,构成了'DensePose-RCNN'系统,还进一步开发使得训练的准确度提高。首先由外观粗略的估算像素所在的位置,然后将其与准确的坐标对齐。


  DenseReg MaskRCNN的关键点分支中使用相同的体系结构,由8个交替的3×3完全卷积和512个通道的ReLU层组成。得益于Caffe2,所产生的架构实际上与Mask-RCNN一样快。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  为了降低错误率,还训练了一个“教师”网络来重建地面,部署它完整的图像域,产生一个密集的监督信号。研究人员将人类监督者半自动监督和“教师网络”进行对比,结果是“教师”完胜。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  研究人员还将其方法与SMPLify进行了对比,在永利娱乐场官网的模拟方面,研究人员的自下而上的前馈方法在很大程度上胜过了迭代的永利娱乐场官网拟合结果。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  同时在多人处理时,FCN明显差于'DensePose-RCNN,再与其他方案比较时优势也十分突出。


Facebook最新开源,普通RGB相机即可实时映射3D永利娱乐场官网


  最后,整体呈现的效果如开头所讲,能够处理大量遮挡物,成功的模拟出了衣服后面的人,但有一点需要注意,那就是所有人都是通过固定的曲率拟合的。而且在多人状况下表现十分良好。


延伸阅读:Facebook推出支持行业标准glTF 2.0文件格式的3D posts

(来源:Ofweek 3D打印网) 关键词: 3D永利娱乐场官网 3D打印 3D打印技术
免责声明:本文仅代表作者个人观点,与3D虎无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
猜你喜欢
最新评论
  • 还没有评论,快来抢沙发吧!
加载中...
今日话题

独立设计师的归属感,是圈子还是市场?

作为一名设计师,自己也和一些国际国内的设计平台进行合作。例如国外的Materialise、shapeways,国内的意造网等3D打印创新平台。在对国内小咖设计师而言,除了意造网,还有其他能了解国内设...

我要投稿

永利娱乐场官网