英特尔助力Testin云测算力提升,下一代AI测试产品iTestin技术揭秘

作者: 佚名 2019-11-28 09:32:01

 近日,Testin云测正式发布全新AI测试产品iTestin,融合目前测试领域内好用的自然语言处理、文本识别、图标识别技术,全面提升测试产品的易用性和自动化效率,通过人工智能技术,大大降低脚本调试和脚本维护成本,在App和Web测试数据集精度和性能上超过主流云厂商的付费高精度OCR服务。

为了支撑自然语言撰写的自动化测试脚本语言的稳定与高效执行,需要高精度、高效率的AI算法提供可靠的识别效果。Testin云测在业务理解、数据理解、数据准备、算法建模、性能评估、模型部署全流程上实现全面提升,形成了AI技术在测试领域落地的实践。

强力后盾:英特尔助力iTestin实现最前沿的测试技术研究

自然语言脚本在上千台不同型号的手机自动执行,必须有足够高的文字检测识别精度。为了解决识别精度的挑战,Testin云测打造了业界大规模的APP截图的字符识别数据集,并通过算法自动生成上千万条数据用于字符识别模型的构建。文字检测与识别的建模工作中,充分发挥传统计算机视觉算法的速度优势与深度学习算法的精度优势,最终算法的检测精度、识别精度、识别速度全面超越头部互联网公司的付费高精度文字识别服务。

Testin云测OCR算法成功支撑了公司的AI测试服务,也为重点客户的私有化部署产品提供了便利。为了提升OCR深度学习的效率,Testin云测与英特尔联合进行了探索,并重点从基础设施平台配以工具套件来构建解决方案,用软件加速以及硬件支撑两个角度对OCR方案进行优化。Testin云测基于英特尔至强可扩展处理器、英特尔的开放式视觉推理和神经网络优化(以下简称OpenVINO)工具套件对OCR深度学习方案进行优化,将AI测试中的OCR识别时间从2秒降低到0.3秒左右,实现了6倍的性能提升,且不影响测试的效果和结果。

具体来说,在基础设施平台的搭建上,Testin云测选择英特尔至强金牌6140处理器,其不仅拥有强大的通用计算能力,还集成了增强单指令多数据流、英特尔AVX-512新指令集等创新技术,实现了对于通用计算能力和并行计算能力的兼顾,为深度学习训练提供了良好性能基础。在软件与算法层面上,Testin为了加速OCR方案,使用英特尔OpenVINO工具套件分发版来进行加速。该工具套件支持开发人员使用行业标准人工智能框架、标准或自定义层,将深度学习推理轻松集成到应用中,开发人员只需编写一次代码,即可将其快速、无缝地部署在当前和未来的英特尔硬件上,从而消除应用重复开发问题。英特尔技术负责人表示,“英特尔至强可扩展处理器与英特尔OpenVINO工具套件的结合实现了超高的推理性能,帮助Testin云测及其客户快速实现文本点击、文本验证等功能,加快AI自动化测试的速度。该方案保障了OCR整体工作流的执行速度,且OCR的整体识别正确率达到99%以上。”

除了OCR算法以外,Testin云测还在图标识别、图像审核、标注质检等多个方向上开展了AI技术的探索与应用。

作为英特尔在AI领域的重要合作伙伴, Testin云测CTO陈冠诚表示:“未来,我们还会考虑在更多的模型中尝试英特尔的技术加速方案。两家还将继续在前沿技术上进行协同研究,努力一同将领先技术落地于测试行业,进一步提升产品的智能化水平,不断提升产品和服务的易用性和工作效率,应用AI技术为行业赋能。”

更智能,更简单,更易用,下一代测试产品的品格

1.自然语言处理:降低操作门槛

iTestin将AI智能化作为测试技术升级的重要推力,通过基于自然语言的脚本录制功能,支持用自然语言的交互方式,完成测试自动化操作。

用户只需要输入“点击搜索”,iTestin就能自动在APP当前页面中检测并识别出“搜索”,并完成点击操作。传统的测试脚本需要大量的人工介入,通过手工框选目标控件来实现脚本录制和维护,iTestin这种全新的自然语言脚本大幅降低了脚本录制的难度,也极大提升了产品易用性和脚本维护效率。

在QQ音乐,输入“点击搜索”,操作机器自动执行进入到搜索界面,点击搜索音乐到输入框,输入“周杰伦”,点击“说好不哭”

Testin云测总裁徐琨在NCTS中国云测试峰会上用自然语言在iTestin上现场演示AI+测试的真正能力,只需在界面中输入点击、等待、检查、长按、输入等自然语言的文字描述,后台的AI就能准确实时的在真机上进行完整无误的操作和相关指令。

2. OCR文字识别:实现跨平台脚本能力,降低脚本维护成本

目前大部分应用为了Android端和iOS端的体验一致,会倾向在两个端上采用相同的UI设计,即相同的UI界面和操作体验。企业希望减少对脚本维护的人力投入,同时在后续新增脚本时,逐步将Android端和iOS端的脚本统一为一套脚本,这样进一步减少脚本维护的投入。Testin云测通过只依赖UI界面截图的OCR和图标识别技术,使得Android端和iOS端使用同一套UI自动化测试脚本成为可能,实现跨平台脚本能力,大大降低脚本维护成本。

在对OCR的检测和识别模型进行训练时,数据是最关键的输入,而且数据的精准度和多样性,对模型的精准度和泛能力起到决定性作用。Testin云测拥有自身多年积累的应用测试数据,OCR训练数据量达1600万,并且具有专业的AI数据采集与标注团队对数据进行处理。

3.图标识别技术:进一步提升用户体验和自动化测试稳定性

在应用的UI自动化测试中,除了文字,图标是另外一个与用户交互最多的元素。在传统的自动化测试中,图标的识别主要靠控件ID和其他的控件信息,如class,xpath等,但这些信息在自动化测试实践中被证明存在较大的不可靠性。因此,Testin云测的自动化测试主要从图像的角度来识别和定位控件元素。

图标识别技术是除OCR以外,另外一项支撑Testin云测自动化测试的关键技术。目前大部分应用采用简约设计的线条形图标,导致原本可靠的模板匹配和特征点匹配技术失效。在实际测试中,现有最好的图标识别技术,正样本的准确率只有66.87%,负样本准确率为91.16%,单个图标识别耗时为1532ms。Testin云测对简约设计的线条图标的识别,专门设计了图标相似度判别算法,大大提高了图标识别的准确率和对正负样本的分辨能力,最终的正负样本准确率在测试数据集上都超过了97%,单个图标识别平均耗时为319ms,实现了业界领先的识别精度和性能。

此外,Testin云测利用自身的数据积累的优势,对应用上的常用图标利用深度学习目标检测技术实现自动识别和定位,进一步提升了用户体验和自动化测试的稳定性。

结语

从信息化、数字化到智能化,互联网作为IT能力的载体,很大程度上正在改变IT技术的研发趋势和应用模式,重构整个人类社会的商业体系。新技术和新商业模式的涌现颠覆了传统商业生态,也改变了人们的社会习惯。企业正在经历一场深重的大变革,而随着互联网及传统行业的公司逐渐转向数据驱动的运营方式,测试也被赋予了更多的含义。测试正变得越来越智能,机器学习正在带来革命性的变化,让我们拭目以待。

 

测试 AI 人工智能
上一篇:宜春携手华为,以大数据与人工智能助推城市数字化转型 下一篇:AI技术正在让人类变得更长寿
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

绿色机器人如何帮助环境可持续发展

各种各样的机器人已经被开发出来,它们能够以各种方式帮助保护环境,从扑灭野火,帮助管理垃圾,到清洁海洋和其他水体等。以下是绿色机器人帮助环境可持续发展的几种方法。

iothome ·  21h前
疫情当前,才知道AI原来是这么好用

近日,工信部表示,将部署运用新一代信息技术支撑服务疫情防控工作。并且工信部特别强调,要通过运用人工智能、大数据、云计算等服务疫情监测分析、人员流动和社区管理等,对疫情开展科学精准防控。

Witkey ·  1天前
什么是持续智能?对物联网有什么影响?

物联网世界将迎来充满希望的2020年。5G公司一再声称,2020年是5G在公共领域站稳脚跟,并普及的一年。

iothome ·  1天前
AI战“疫”,偶尔小尴尬背后,终极护城河现形

人类与新型冠状病毒的战“疫”仍然在进行中,在这期间,也催生出各类“人工智能+”应用,人工智能技术在此期间迎来大爆发。

张书乐 ·  3天前
DeepMind发布神经网络、强化学习库,网友:推动JAX发展

JAX由谷歌提出,是TensorFlow的简化库。结合了针对线性代数的编译器XLA,和自动区分本地 Python 和 Numpy 代码的库Autograd,在高性能的机器学习研究中使用。

十三 ·  3天前
谷歌透露:正在内部尝试用AI开发计算机芯片

据谷歌人工智能研究负责人Jeff Dean透露,谷歌正在尝试通过人工智能程序推进专用芯片的内部开发,以加速其软件。在旧金山举行的International Solid State Circuits Conference会上Dean表示:“我们内部正在将人工智能技术用于一系列芯片设计项目中。”

佚名 ·  3天前
人工智能带领人类从信息社会迈向智能社会

人工智能(AI)是指在机器上实现类似乃至超越人类的感知、认知、行为等智能的系统。与人类历史上其他技术革命相比,人工智能对人类社会发展的影响可能位居前列。

新华网客户端 ·  4天前
2020年的7个关键RPA趋势:从人工智能启用到更具战略性的扩展

机器人流程自动化(RPA)服务商Blue Prism公司EMEA地区首席技术官Peter Walker对使企业可以体验采用机器人流程自动化(RPA)优秀结果的2020年有望取得的重大发展进行了预测与分析。

Peter Walker ·  4天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载