数据库运维的那些难题,我们用机器学习解决了

作者: dbaplus社群 2018-11-30 18:30:17

作者介绍

马博,平安科技数据库团队运维开发工程师,参与了平安科技数据库领域的AIOps落地项目,主要包括趋势预测、异常检测、自动化运维平台、日志告警等方面,目前致力于平安云上的数据库智能运维体系建设。

回顾整个运维的发展史,从最开始的系统管理到基础脚本运维,再到自动化运维,***发展到了智能运维。经过这些年的发展,运维人员的工作内容发生了翻天覆地的变化:

十几年前,我们不知道故障会出现在哪,也不知道什么时候会出现故障,只有在故障出现的时候才能去查找根因并解决故障,这是一种很被动的方法。

到后来大规模的脚本引入,我们处理问题的方式变得更加科学了,速度也差强人意,但还是没有改变这一种被动解决问题的本质现象;有了先前的经验,很多公司引入了监控系统,发展了自己的自动化运维平台,旨在问题发生或者即将发生时能够自动地去解决问题,这种方式刚突破了之前所有的“被动运维”的本质,能够防患于未然,将故障扼杀在摇篮中。但与之而来的却是大量的告警及海量的监控数据,如何更加高效地解决故障成了我们现在必须解决的难题。

人工智能时代的来临恰好解决了上面我们所面临的问题,而AIOps就是希望基于已有的运维数据(日志、监控信息、应用信息等),并通过机器学习的方式来进一步解决自动化运维没办法解决的问题。

我们目前正在积极推动数据库运维从自动化到智能化的转变。众所周知,数据挖掘和机器学习离不开海量的数据作为基础,而平安科技通过这几年的自动化运维的应用,已经积累了海量多维的数据库性能数据、日志数据和主机数据。

利用这些数据,我们可以通过机器学习等方法在时间序列异常检测、根因分析、邮件告警收敛、容量预测等多个应用场景中获取我们想要的信息,从而进行故障的自动发现、自动诊断和自动解决。

一、时间序列异常检测

时序数据是AIOps的基础数据,有着规模大、种类多、需求多样的特点。在自动化运维阶段,我们所采用的大多是恒定阈值的方法。

这种方法简单易实现,但是缺点也显而易见:它不够灵活,发现故障也不够及时,无法满足现在的告警需求。如下图所示,传统的阈值告警会忽略掉两个波动的异常:

数据库运维的那些难题,我们用机器学习解决了

恒定阈值方法

动态阈值的方法在此时应运而生,传统的动态阈值的方法采用了基于同比和环比的统计方法,这种方法解释性强,易于实现,但是灵活性较差,受节假日影响较大(如下图中,9月24号为中秋节,流量和上周相比下降明显,此时环比和同比的方法不适用),发现问题也不够及时。

还有许多公司采用带权移动平均的方法来做动态阈值,他们认为在同一个维度下,某一个点的数值必然和它之前一段时间的数据有关,如以下公式所示:

数据库运维的那些难题,我们用机器学习解决了

9/18-9/25指标数据图

数据库运维的那些难题,我们用机器学习解决了

我们目前正将机器学习应用在时序数据异常检测中,和上述方法相比,机器学习的方法更为准确,成本也更大。

时间序列异常检测本质上也可以看做“正常”和“异常”的二分类问题,通过将历史的监控数据打上标签,再将有监督和无监督算法结合建立模型,可以判断当前的时间序列是否是正常的。

数据库运维的那些难题,我们用机器学习解决了

二、根因分析

大多数情况下,由于监控指标的相关联性,如果某个指标异常了,很多相关指标也会异常。如果同时对所有的告警指标进行分析和处理,会浪费许多人力。为了解决这个问题,我们需要进行根因分析来进行针对性处理。

通常我们可以通过下列3种方法对数据进行根因分析:

  • 相关度指标获取,找到和异常指标在特定时间段内相似的指标。

  • 在大量的样本中,找出经常一起出现的异常指标(该问题就转换成了频繁序列挖掘问题),实现方法有关联规则、APRIORI、FP_GROTH等。

  • 利用决策树的强可解释性,对正负样本进行分类,然后通过异常指标的分类树途径,找到频繁的异常指标集。

以Oracle数据库的DB_TIME偏高为例:

  • ***种方法找出当前时间段内与DB_TIME指标有相似曲线的指标,并将最相似指标TOP N作为根因;

  • 第二种方法则是在历史数据中,当DB_TIME异常时,把其他异常的指标组成若干个项集,再从这些项集里面利用关联规则找出强相关组合,则这些组合中的其他指标被视为根因;

  • 第三种方法,则是在历史数据中根据DB_TIME是否异常,将历史数据分为正、负样本,训练决策树模型得到最终的根因。

数据库运维的那些难题,我们用机器学习解决了

根因分析方法一

数据库运维的那些难题,我们用机器学习解决了

根因分析方法二

数据库运维的那些难题,我们用机器学习解决了

根因分析方法三

三、告警收敛

当监控业务发展到一定规模时,每日收到的告警邮件数会呈指数型增长,尤其是一些监控频率较高的监控项出现问题时,这种情况特别明显。

为了解决这一问题,在最开始,我们设定了告警频率,让同一种告警在一段时间内只出现一次。

这种方法确实会减少一部分告警,但是还有一些显而易见的告警可以通过制定规则的方法来实现进一步的告警收敛。比如同一个集群内的数据库都出现了ping不通的问题,又比如同一个网段内的所有IP流量突增,就可以将这些告警整合后再发送。

数据库运维的那些难题,我们用机器学习解决了

而在AIOps时代,告警收敛和根因分析往往是一起进行的。

和根因分析方法二类似,我们可以先获取告警项集数据,并提取频繁项。如果在频繁告警项集中,告警A和告警B经常一起出现并且在A出现的时间比B早,则在邮件告警中,我们可以忽略B告警,只将A告警推送给运维人员。

不同场景下的告警收敛有着不同的需求,和AIOps相比,传统的告警收敛方法更加简单和高效,基于规则的方法也具有很强的拓展性和解释性;而AIOps却能挖掘出我们利用常识和经验无法发现的关联项并进行告警收敛。

四、容量预测

容量预测在数据库运维中的很多地方都应用着,不同的应用场景有不同的特性,我们很难找到一个模型去适应所有的数据。

在容量预测上,我们的典型应用是数据库DB_SIZE容量预测,数据库容量具有总体上升、无规律、波动大的特点。对数据库容量进行合理的预测,短期可以提前发现可能的故障,进行主动预防和提前解决,无需在问题发生时被动处理;长期可以进行合理的容量规划和资源分配。

最开始,我们想到的是线性回归加上简单的数据预处理,但是结果十分不理想。由于业务规模的落差,不同数据库的容量有着很大的差别,并且在数据库进行导表,扩容等操作时,线性拟合或者非线性拟合的效果不尽人意。

显然,传统的线性回归方法虽然简单,但是预测效果较差,不能满足要求。为了解决这一问题,我们将容量数据进行了分类,分为周期型和突升突降型,分类的方法可以采用统计方法,也可以使用聚类或分类的方法。

对于周期型数据,我们可以认为其实线性可拟合的,因为在总体上升的趋势上,周期型的数据在周期内的增长值是线性递增的。对于这种类型的数据,我们可以采用线性回归的机器学习方法来对数据库容量进行预测。

数据库运维的那些难题,我们用机器学习解决了

数据库运维的那些难题,我们用机器学习解决了

周期型数据

而对于突增突降型的数据,线性拟合效果较差,这时我们使用环比增量求和的方法,求得历史数据中星期一到星期天的具体每天增量的加权平均值;再将这个增量应用到预测中。和单纯的线性拟合方法相比,这种方法的准确性提高了很多,平均预测数据的均方残差缩小了近一倍。

数据库运维的那些难题,我们用机器学习解决了

突升突降型数据

以上四个应用场景的技术开拓都是致力于通过AI让运维更加高效,让更多的故障可以被提前发现和解决。关于AIOps,我们还有很多东西可以去尝试和探索,如智能问答机器人、日志集中分析平台等,后续有相关成果再与大家分享。

数据库运维 机器学习
上一篇:树莓派上利用Tensorflow实现小车的自动驾驶 下一篇:马斯克:十年内可把人脑与AI计算机连接起来
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器学习变革物流运输和交通出行

云和机器学习的融合催生了自动驾驶技术尤其是人们出行方式的广泛创新,正在改变整个行业的游戏规则。根据普华永道(PWC)的数据,68%的物流运输企业负责人认为,未来5年,提供物流运输服务的核心技术的改变将颠覆整个行业。

AWS大中华区云服务产品管理总经理顾凡 ·  2天前
轻松构建 PyTorch 生成对抗网络(GAN)

生成对抗网络(GAN)是一种生成式机器学习模型,它被广泛应用于广告、游戏、娱乐、媒体、制药等行业,可以用来创造虚构的人物、场景,模拟人脸老化,图像风格变换,以及产生化学分子式等等。

佚名 ·  3天前
新AI让教师能够快速开发智能辅导系统

通过使用一种采用人工智能的新方法,教师可以通过演示解决某个主题中的问题的几种方法来教计算机……

佚名 ·  4天前
终结重复工作!教你30分钟创建自己的深度学习机器

建立一个深度学习环境是一件很重要的事情。本文讲述使用深度学习 CommunityAMI、TMUX和 Tunneling在EC2为Jupyter Notebooks创建一个新的深度学习服务器。

读芯术 ·  4天前
如何用机器学习模型,为十几亿数据预测性别

基于用户画像进行广告投放,是优化投放效果、实现精准营销的基础;而人口属性中的性别、年龄等标签,又是用户画像中的基础信息。那该如何尽量准确的为数据打上这些标签?

TalkingData ·  2020-05-26 18:50:49
教你轻松选择合适的机器学习算法!

机器学习方面没有免费午餐。因此,确定使用哪种算法取决于许多因素:面临的问题类型和预期的输出类型等。本文介绍了为数据集探究合适的机器学习方法时要考虑的几个因素。

布加迪 ·  2020-05-26 18:35:00
画图太丑拿不出手?有人做了套机器学习专用画图模板,还有暗黑模式

论文、博客写好了,里面的图可怎么画?对于很多研究人员和开发者来说,内容的「可视化」是一个大问题。如果从头开始画,配色、空间布局都很伤脑筋,而且画丑了也拿不出手,要是有模板可以套就好了。

张倩、魔王 ·  2020-05-26 14:28:12
机器学习:物联网成功的诀窍?

通过机器学习,物联网可以完美地运行。全球各地的组织正在竞相利用物联网的能力,但是,其中许多组织都被我们讨论过的一个或多个障碍所困扰。不过,不管您遇到什么问题,都可以通过结合了机器学习技术的方法来解决。

iothome ·  2020-05-25 22:39:38
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载