专线流量¶
对专线流量采集和报警。
采集侧¶
采集原理¶
通过采集设备端口流量汇总成专线流量。采集由设备端口流量采集完成,这里只需要拉取对应的数据就行。
数据染色¶
针对每台设备的所在专线接口的流量做染色,仅仅将其绑定到专线下。染色如下。
时间戳(采集时间)
业务线
区域(地域)
机房
POD
房间
机柜
业务属性(服务角色)
设备角色
带内管理IP
带外管理IP
设备名
厂商
设备品牌
设备型号
设备流程状态
端口index
端口名
端口带宽
端口流量当前值
端口流量增量值
端口带宽使用率
带宽使用大小(单位Mbps)
专线名
专线AB侧(因为专线涉及两端,分为A端和B端)
策略配置¶
警告
对于端口在专线或者出口列表里的端口,不能进入此分析过程,他们单独应用于专线和出口。
策略名 |
|
---|---|
策略筛选条件 |
|
策略生效时间 |
支持到小时级别(0-23) |
阈值类型 |
|
触发阈值 |
M分钟内使用率>=N达到S次(M,N,S为整数, N可以为流量大小或者流量使用率,根据阈值类型定义)。 |
恢复阈值 |
X分钟内使用率<Y达到X次(X,Y,Z为整数,Y可以为流量大小或者流量使用率,根据阈值类型定义)。默认X=M,Y=N,Z=S |
策略生效状态 |
默认为策略生效状态,开启时源数据进入告警分析模块进行计算和比对,禁用时源数据不进行告警分析 |
策略告警等级 |
用于标识该策略的告警重要性程度,分5个等级:A1严重,A3主要,A5次要,A7一般,A9通知 |
告警组和通知方式 |
|
阈值说明¶
带宽为阈值类型的时候,我们选在所有数据这个专线中单个端口的阈值最大的一个来匹配,言下之意即只要一个端口满足了阈值,就应该报警。 当阈值类型为流量大小时候,需要累加所有端口的流量大小,以总数为准。 这里需要比较端口的出入两个方向的流量。
报警信息格式¶
报警信息分为两种,一种是触发阈值告警,一种是满足恢复阈值告警。我们把它称之为告警状态,分为 告警
恢复
。因为告警通道的的不通,为了便于阅读。需要针对不同渠道的报警设置信息格式。
邮件:
-----------------------
标题:【告警通知时间/恢复通知时间】【告警状态(告警/恢复)】【告警等级】【告警策略名】【专线名,最近一次带宽使用率/带宽大小(取最大的一个)】
邮件内容:
故障开始时间, 故障持续时间,故障恢复时间(当且仅当告警状态为“恢复”时候才有该时间),
----对所有满阈值的端口列出来----
业务线,区域,专线名,设备IP,设备名称,端口名,流量方向,最近一次带宽使用率/带宽大小
短信,咚咚,电话,微信:
------------------------
【告警通知时间/恢复通知时间】【告警状态(告警/恢复)】【告警状态(告警/恢复)】【告警等级】【告警策略名】
【专线名,最近一次带宽使用率/带宽大小(取最大的一个)】
【故障开始时间, 故障持续时间,故障恢复时间(当且仅当告警状态为“恢复”时候才有该时间)】
报警的默认收敛规则¶
对重复的报警信息,实行收敛。
即一条策略被触发后,发送报警通知。同时更新一些计数器。
如果在未满足恢复阈值前提条件下,再次触发了阈值,则该次触发的报警被抑制,不对外发送报警信息。但会涉及一些计数器的更新。
当满足恢复阈值时候,发送告警恢复信息。同时更新一些计数器。
之后,如报警阈值被再次满足,则对外发送新的报警通知。
关于报警时间的规则¶
整个策略匹配过程及报警过程中,分别涉及多个时间,做如下说明。
1.故障开始时间:第一次触发阈值(满足告警阈值的第一个点的时间) 2.故障触发告警时间:满足告警频次达到告警条件 3.告警通知时间:告警平台对外发送告警通知的时间 4.聚合告警通知时间:故障触发告警时间满足告警聚合周期,多条告警聚合后的由告警平台发出的告警通知时间(仅仅在有聚合报警策略的情况下),有4没有3。 –以下仅针对有恢复的策略– 5.故障持续时间:未恢复的告警,从故障开始时间计算到当前时间点的时间段,在告警实时看板中展示;恢复的告警,故障持续时长=故障恢复时间-故障开 始时间; 6.故障恢复时间:第一个满足恢复条件的时间,通常只有在触发了第7个“故障触发恢复条件时间”时才会被记录 7.故障触发恢复条件时间:满足恢复阈值和频次达到恢复条件 8.恢复通知时间:告警平台发送恢复通知的时间 9.聚合恢复通知时间:故障触发恢复时间满足恢复聚合周期,告警平台发出的恢复通知时间(仅仅在有聚合报警策略的情况下),有9没有8
和NOC工单系统的联动¶
对于产生的故障告警,需要推送给NOC工单进入工单管理。需要根据工单返回结果对该告警做一个标记,表示目前关于此告警的工单的处理情况。
处理规则:
对于产生的告警(而非进行聚合后的告警,即聚合前的单条告警。),需要推送给NOC工单平台,根据noc平台的返回信息对该条告警设置一个
工单状态标记
。当NOC工单对该单条告警改变了状态,需要同步的跟新报警系统中该条报警的
工单状态标记
;当NOC工单标记为“已完成”,则触发告警恢复,忽略掉恢复阈值的检测,对外发送告警恢复信息;同时这条告警彻底清除,即便真实情况下告警并未恢复。
如果告警恢复阈值检测到满足,则触发告警恢复信息,同时通知NOC工单平台修改该工单状态为”已完成”, 关闭工单。
故障池(故障看板)的联动¶
但每条告警产生的时候,将该告警加入一个告警池。在告警池中对该条告警的状态进行跟踪。包括三个方面的状态跟踪。 故障持续时间,24小时内触发次数,NOC工单状态,故障恢复与否。
故障持续时间:当前时间-故障开始时间。 24小时内触发次数:最近一天满足触发阈值的次数-1。 NOC工单状态:NOC工单的状态信息。 故障恢复与否:但手工对NOC工单关闭或者自动触发恢复时候,从故障池子清除条目。不在故障池子里则认为恢复。
告警池字段要求如下:
故障开始时间
故障持续时间
设备IP
端口名
专线流量大小/使用率
专线流量使用率
业务线
历史告警数(24H)
NOC工单状态
NOC工单状态说明¶
NOC返回状态值 |
状态 |
说明 |
1 |
新工单 |
告警事件生成工单的初始状态 |
10 |
待处理 |
NOC人员接单后触发这个状态 |
20 |
处理中 |
NOC人员进行处理操作 |
21 |
已转派 |
NOC人员处理不了转派给网络运维 |
99 |
已取消 |
NOC人员进行取消操作 |
100 |
已完成 |
NOC人员进行跟进确认后触发该状态 |
101 |
自动恢复 |
这个是根据告警这边的恢复通知生成 |
可视化¶
针对单条专线,展示专线流量情况。要求如下。
以横坐标为时间轴,纵坐标为带宽大小或者是使用率,出入方向分别再Y轴的正向和负向。刻画设备每条专线的流量变化情况。
可以以单个端口或者汇总所有端口两种形式画图
如果端口存在10s维度的采集数据,需要同时展示10s维度和聚合成1min的数据。
默认展示一个小时的使用率信息;
因为专线是两端的,两端的数据进出方向相反,但因为设备不同,采集出来的数据大小有一定差异。需要支持切换按不同专线侧展示,或者同时展示两侧。
针对多条专线,在一段时间内带宽使用率TOP N端口排名。
以表格形式展示,每行一条专线和对应的出带宽使用率,出带宽使用量,入带宽使用率,入带宽使用量,采集时间。
统计方式为,指定时间段内,一条专线的最高使用率为一条记录。一条专线只能出现在TOP N中一次。
默认TOP20。支持可设置,不大于100.
针对条专线,计算该专线在一个自然周和自然月95值。
以表格形式展示,每行一条专线和对应的95带宽值,95峰值,峰值时间。
同时展示该周期内的流量图
未完成的部分¶
自助任务下发;
策略的分级,即按类似ACL的方式匹配策略;需求未提
实现业务线的支持,或者所是多用户的支持;
重复报警屏蔽