在科技部「数字经济技术创新研发与应用」项目下,清华大学电机信息学院和iStaging爱实境合作,完成「智慧全景3D重建」研究,透过AI只要单张全景影像,就能重建出室内3D格局模型,未来可应用在房仲业,提供更具空间感的在线或VR沈浸看房体验,旅宿服务平台上也能让消费者订房前,预先观看不同房间格局。这项研究凝聚产学资源完成,由爱实境提供2500张室内全景图片,结合清大电机信息学院研究团队开发的智慧全景3D重建技术,标榜不需要价格昂贵的专业全景相机,只要一般智能型手机拍摄的单张室内全景影像,透过机器学习模型,不需要人工处理,就能重建室内3D格局模型。清大研究团队今年6月将赴美国加州,准备在国际计算机视觉与图形辨识研讨会(CVPR)上发表。清华大学电机工程学系副教授孙民表示,传统室内全景浏览服务仰赖人工处理,在室内的定点拍摄全景影像,用户只能浏览该定点的室内全景,虽然可结合多张全景影像,例如客厅、卧室、厨房等室内全景影像,让用户看到更多室内样貌,但使用者在不同室内定点间切换,无法让用户在3D模型的虚空间中移动观看。

他解释智慧全景3D重建技术,就像小朋友折纸组合成立体的房屋一样,研究人员先以人工标注方式,为2500张室内全景图片标注天花板与墙壁、墙壁与墙壁、墙壁与地板,室内不同角落的折线,2500张全景影像中的8成标注图片用于训练机器学习模型,另2成用于测试模型辨识的准确度,如此便能训练系统辨识室内全景影像,重建出室内3D格局模型。而透过这项智慧全景3D室内重建格局技术,只要单张室内全景影像,在视线没有遮蔽的条件下就能重建室内3D模型,除了可以计算机在室内3D格局模型内移动,若搭配VR头戴及控制装置,还能带来更沈浸的视觉体验。传统室内3D建模需使用昂贵的Lidar测距装置,以获得室内的深度信息,由人工方式完成室内3D模型建模,而清大的智慧全景3D重建技术强调只要一般智能型手机拍摄单张室内全景,就能透过机器学习技术,重建室内3D场景。内容来源至:http://www.www.cafes.org.tw/info.asp
不过,这项技术仅能以没有视线遮蔽的单张室内全景影像,重建出室内场景的3D模型,例如客厅室内3D格局模型,无法重建被墙壁阻隔的卧室、阳台等3D格局,清大也和台科大合作,研究拼接多张室内全景影像,如客厅、卧室、厨房等多张全景影像,重建出更完整的室内3D格局。孙民表示,现在单张室内全景影像,经过人工标注训练、测试后,和LayoutNet的技术相比,准确度提高将近15%。目前正在进行多室内全景影像重建,以重建出更完整的室内3D格局模型,未来还要让室内的对象如桌椅、电视或家具,让用户能自由挪动,更全面3D体验。清大研究团队和爱实境的合作,未来也能透过爱实境的AR、VR内容平台,将这项技术扩展至海外市场。