混合现实技术下的医疗场景,维卓致远用3D场景精准定位病灶

作者: 杜宁 2018-06-20 09:52:42

【51CTO.com原创稿件】现如今的医疗行业正在逐步变得更加科技化、精准化,医疗体系的变革至少有一半的推动力来自于科技的创新,而最直观的改变就是更加智能化,对于医生来说最必不可少的辅助技术是医学影像,如何让医学影像变得更加智能,是医学科技亟待解决的问题。

人工智能与医学影像的碰撞

人工智能技术具体应用在医学影像的诊断上,主要分为两部分:一是图像识别,应用于感知环节,其主要目的是将影像这类非机构化数据进行分析,获取一些有意义的信息;二是深度学习,应用于学习和分析环节,是AI应用的最核心环节,通过大量的影像数据和诊断数据,不断对神经元网络进行深度学习训练,促使其掌握“诊断”的能力。

医学影像数据实际上是报告+影像。单单分析影像本身还不够,更重要的是对影像本身所对应的诊断报告也要加以分析。而中国的影像诊断报告呈现出因医生而异的显著特点,由于影像诊断受医生的个人习惯、执业医院、教育背景等因素影响,导致了不同地区不同医院的影像报告标准不一致的情况。

AI+影像存在的问题

1、数据获取

数据是深度学习算法所需的核心资源,仅掌握算法而缺乏数据无法获得较好的训练效果。现阶段,我国的医疗影像仍处于从传统胶片向电子数据过渡的阶段,大量影像资料尚未数字化,且医院之间的数据共享和互通程度较低,获取大规模的数据对业内公司是一个考验。

2、数据标注

在获取数据的基础上,深度学习结合先验知识对模型进行训练,训练集需要事先标注。由于大多数标注依赖人工识别,因此数据标注将耗费大量人力和时间,在医疗影像领域获取具有高可靠性的标注数据也成为挑战之一。

3、“AI+医疗”跨学科人才积累

在较为专业的诊疗领域,应用及平台开发者不仅要研究人工智能算法,更要对医疗影像识别建立深入了解,人工智能+医疗的复合背景人才具备最核心的竞争力。

MR在医学影像中的应用

随着科技的发展,AR与VR已经融入到大众的生活当中,从2009年高通、可口可乐等知名企业对AR(Augmented Reality,增强现实技术)和VR(Virtual Reality,虚拟现实技术)深入研究开始,新颖的表达方式以及身临其境的体验方式,使AR和VR吸引了一众粉丝,而后兴起的MR(Mixed Reality,混合现实技术)等新型数字技术也展现出了极大的潜在价值。与AR和VR不同的是,MR是将虚拟世界与现实世界融合的同时进行实时交互和信息的及时获取,增强了用户体验的真实感,具有真实性、实时互动性以及构想性等特点。混合现实不仅有潜力创造出新的市场,还将颠覆当前的一些市场,医疗保健正是其中的一个领域。

维卓致远借助微软的HoloLens混合现实眼镜,利用全息影像的方式解决了传统医疗胶片平面化、不能共享的问题,也解决了产品耗费大量时间进行深度学习的问题,最重要的是维卓致远汇集了兼具医学与算法的研发人员,保证了产品的专业性和精确度。

混合现实医学现状

·混合现实医学产品(第一阶段):智能处理医学影像数据并通过混合现实技术全息呈现,可视化临床、教学过程。

·MR数字医学平台(第二阶段):云端智能存储、处理、分享全息数据,混合现实连接异地医疗场景。

·可视化智能医学生态(第三阶段):高度可视智能化医学数据分析与临床手术操作过程,通过“人+机器”的智能赋能医生。

现阶段混合现实医学产品和MR数字医学平台已经实现,可视化智能医学生态还处在研发阶段,高度可视化的医学数据分析需要大量的医学影像学数据,但是鉴于医院的影像数据属于非公开资源,所以目前还没有更好办法实现补偿算法的训练。

混合数字医学平台的应用

星影混合现实显示系统

星影混合现实显示系统是一款基于混合现实技术的影像数据全息体素渲染阅片工具,在医生需要快速识别影像做诊断的时候,应用星影进行辅助。星影不需要人工操作和学习,医生只需要把CT、核磁影像数据导入影像数据,通过系统智能分析并体绘制渲染至混合现实眼镜,无需人工重建3D模型,就可以在眼镜里出现实时的全息模型,包括模型重建也可以在系统里面完成。医生需要搭配混合现实眼镜,通过二维结合三维的体素渲染方式来观看影像数据,或者可以体验在立体影像数据上模拟手术路径、置入植入体等临床环节,有利于手术方案策划与制定,以便于做出更科学更高效的诊断。

星影

图1 星影混合现实显示系统操作步骤

星图混合现实显示系统

星图混合现实显示系统是一款混合现实医学影像阅片工具,在导入医学影像数据后,经系统智能处理,医生可以通过混合现实眼镜从任意角度全息浏览病例立体模型,提高医生对病灶中各组织空间位置关系的认知能力。星图的特点是支持多人观看,目前最多支持七台眼镜同时观看。但它不同于星影的平面绘制,在星图中,病例的各个单独模型都能独立拆分,换成任意想要的颜色,每个单独的模型都能进行显示隐藏的操作或是调节透明度。比如隐藏掉皮肤,只看血管和肿瘤的位置关系,也可以做一些标注,支持从任何角度去观看模型,适合深度的观察和讨论病例。星图为医生提供了更具参考价值的影像信息,把手术部位立体模型置于手术视野中,通过调整位置、透明度、大小等参数,获取更多与病灶相关的信息。

星图

图2 星图混合现实显示系统

星航混合现实导航系统

星航是一款用于术中实时导航和教学培训方面的系统,可以跟踪手术器械的实时位置信息,比如探针的深度和角度的位置信息,将空间信息在混合现实中进行呈现。是一套非常精准的导航工具,能够帮助医生高效精准的完成手术。它用在医学教学上,可以帮助学生做临床医学操作上的培训。

星航

图3 星航混合现实导航系统

星云混合现实数字医学平台

星云是一套在线混合现实协同系统,在线注册账号并在HoloLens和网页上登陆后,可以上传立体模型,并且还可以对立体模型进行编辑、处理、存储、分享,在戴上HoloLens之后,也可以浏览自己的或者被分享的立体病例,同时也可用于远程医疗。

星云

图4 基于星云的进行的“突破时空约束”的远程协作手术

采访的最后维卓致远首席运营官Andy表示,维卓致远与微软加速器·北京第11期颇有渊源,一直以来都是混合现实医学方面的合作伙伴,而且微软加速器·北京第11期在理念、技术和市场三方面都给予了维卓致远很大的帮助,提供广阔交流平台的同时也给予大量对外宣传的机会。

MR 混合现实 医学影像
上一篇:国内高校首次规模招收AI专业本科生 下一篇:机器学习门槛再次降低,智铀科技发布AutoML产品
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI在医学影像技术应用方面的四大核心价值

在今年的ECR大会上,有25多家的软件供应商(ISVs),其中许多是初创企业。他们设置一个专区展示人工智能(AI)在医学成像领域的解决方案。随着医学成像供应商纷纷进军人工智能领域,虽然一度被大肆宣扬的人工智能正处于市场发展的早期阶段,但是医学成像领域的人工智能却已经站稳了脚跟。

风车云马 ·  2019-03-28 09:00:00
机器学习转化为生产力,警惕这4个常见陷阱!

几乎每个人都想在他们的业务中引入机器学习,但是这些人也遇到了一个大问题:让模型可持续发展十分困难,尤其是在云架构的基础上。medium上一位博主也指出了这个问题,并提出了将机器学习模型投入生产的4个常见陷阱。

大数据文摘 ·  14h前
500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种的翻译一直是一大难题。来自谷歌的研究者提出了一种能够翻译 103 种语言的大规模多语言神经机器翻译模型,在数据丰富和匮乏的语种翻译中都实现了显著的性能提升。

机器之心 ·  1天前
对于人工智能的恐惧及其5个解决方法

实施人工智能技术的IT领导人可能会感到一些恐惧,这有着充分的理由。人工智能在拥有数十年发展和应用历史的同时却有着奇怪的定位,但对于许多人来说,人工智能仍然是一种未来主义的感觉。

Kevin Casey ·  1天前
机器学习免费跑分神器:集成各大数据集,连接GitHub就能用

搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。现在,Papers with Code (那个以论文搜代码的神器) 团队,推出了自动跑分服务,名叫sotabench,以跑遍所有开源模型为己任。

栗子 鱼羊 ·  1天前
用AI实现动画角色的姿势迁移,Adobe等提出新型「木偶动画」

近日,Adobe 和康奈尔大学的研究人员提出一种基于学习的动画制作方法——基于卡通角色的少量图像样本就可生成新动画。

机器之心 ·  1天前
AI核心难点之一:情感分析的常见类型与挑战

情感分析或情感人工智能,在商业应用中通常被称为意见挖掘,是自然语言处理(NLP)的一个非常流行的应用。文本处理是该技术最大的分支,但并不是唯一的分支。情绪AI有三种类型及其组合。

Veronika Vartanova ·  1天前
AI新贵登上胡润百富榜:“CV四小龙”三家创始人上榜

AI造福人类,也造富了一些创业者。最近公布的2019胡润百富榜就是窥探老板们身价的好机会。

郭一璞 ·  1天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载