旗下产业: A产业/ A实习/ A计划
全国统一咨询热线:010-5367 2995
首页 > 热门文章 > 大数据分析 > SceneGraphNet用于3D室内场景增强的神经信息传递
SceneGraphNet用于3D室内场景增强的神经信息传递
时间:2020-11-17来源:www.aaa-cg.com.cn点击量:作者:Sissi
时间:2020-11-17点击量:作者:Sissi



  抽象在SceneGraphNet用于3D室内场景增强的神经信息传递中,我们提出了一种神经消息传递方法,以通过匹配周围环境的新对象来增强输入的3D室内场景。给定一个输入,可能不完整的3D场景和一个查询位置,我们的方法将预测一个非常适合该位置的对象类型的概率分布。通过以密集图传递学习到的消息来预测我们的分布,密集图的节点表示输入场景中的对象,边缘表示空间和结构关系。通过注意力机制对消息进行加权,我们的方法将学习重点放在最相关的周围场景上下文上,以预测新的场景对象。我们发现,根据SUNCG数据集中的实验,在正确预测场景中丢失的对象方面,我们的方法明显优于最新方法。

SceneGraphNet用于3D室内场景增强的神经信息传递
 

  数字。在卧室场景的SceneGraphNet中用于神经消息传递的图形结构示例。
 

  要求
 

  1、Python 3
 

  2、Python套件: pip install -r requirements.txt
 

  torchfold(尝试更换torchfold.py由该如有错误)
 

  数据集
 

  SUNCG数据集 在该项目中用于培训和测试。[不幸地倒下了:(]
 

  我们解析了原始的房间结构,并在此处创建了相应的场景图数据集。图形节点和边的定义通常如SceneGraphNet用于3D室内场景增强的神经信息传递所述。详细的数据结构进行了说明这里。
 

  下载我们的数据集或根据我们的数据结构创建自己的数据集,并在以下位置更改数据集目录 utils/default_settings.py
 

  训练
 

  我们在4种类型各异的房间(卧室,浴室,办公室,客厅)中训练/测试我们的方法。卧室类别预测的示例火车命令是
 

  python main.py --name YOUR_TRAIN_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

  卧室类别预测的评估命令示例为
 

  python main.py --test --load_model_name YOUR_TRAIN_JOB_NAME --name YOUR_TEST_JOB_NAME --train_cat --room_type bedroom --num_train_rooms 5000 --num_test_rooms 500
 

  可以通过添加其他参数解析器来调整某些变体和超参数。有关main.py详细信息,请参见中的帮助。
 

  引文
 

  如果您使用此代码进行研究,请引用我们的论文:

  @inproceedings{zhou2019scenegraphnet,

  title={SceneGraphNet: Neural Message Passing for 3D Indoor Scene Augmentation},

  author={Zhou, Yang and While, Zachary and Kalogerakis, Evangelos},

  booktitle={IEEE Conference on Computer Vision (ICCV)},

  year={2019},

  }
 

  致谢
 

  该项目与Wayfair Next Research团队(现为Wayfair计算机视觉团队和Applied Tech团队)部分合作。我们要感谢丽贝卡·佩里(Rebecca Perry)和蒂姆·张(Tim Zhang)在整个项目过程中提供的专家建议和鼓励。
 

  这项研究由NSF(CHS-161733)资助。我们的实验是在马萨诸塞州技术合作组织管理的合作基金下获得的UMass GPU集群中进行的。

 

预约申请免费试听课

填写下面表单即可预约申请免费试听!怕钱不够?可先就业挣钱后再付学费! 怕学不会?助教全程陪读,随时解惑!担心就业?一地学习,可推荐就业!

©2007-2021/北京漫动者教育科技有限公司版权所有
备案号:京ICP备12034770号

老师想和你聊一聊

©2007-2021/ www.aaa-cg.com.cn 北京漫动者教育科技有限公司 备案号: 京ICP备12034770号 监督电话:010-53672995 邮箱:bjaaa@aaaedu.cc

京公网安备 11010802035704号