阿里云
阿里云多端小程序中小企业获客首选
发表主题 回复主题
  • 1585阅读
  • 0回复

[云安全技术和产品专区 ]云监控日志关键字的监控与报警

级别: 论坛粉丝
发帖
1227
云币
2325
kW\=Z 1\#  
目的 lxj_ (Uo  
统计业务日志中关键字的数量,并在统计数量达到一定条件时报警是业务日志的常见需求之一。本教程的目的是通过一个具体案例介绍如何对存储在日志服务产品中的数据进行关键字统计和报警。参照本教程的介绍,您可以快速走通日志的关键字统计、查询图表可视化和设置报警流程。 @!fy24R]D  
实战案例 i;lzFu )G  
使用前提 (~xFd^W9o  
  1. 首先需要您将本地日志收集到日志服务(Log Service)中,如果您未使用过阿里日志服务产品,可查看日志服务快速入门了解产品。
  2. 需要确保主账号的AccessKey是激活状态。AccessKey保持激活状态后您才能授权云监控读取您的日志数据。
    • 激活方法:登录阿里云控制台,将鼠标移至页面右上角您的用户名上方,在显示的菜单中单击 “AccessKeys” 。在弹出的确认对话框中单击“继续使用AccessKey”以进入 AccessKey管理页面 。创建密钥对(Access Key),确认状态已设置为“启用”。
QKc3Q5)@j  
N}nU\e6 Y  
统计日志关键字 u /JEQz1  
在使用日志监控前,需要您确保收集到日志服务中的日志已经被切分为Key-Valve格式。参考常见日志格式的处理方法。 vmJ1-<G4*  
日志样例 >Mj :'  
  1. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]05[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]INFO[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]FavServiceImpl[backcolor=transparent]][backcolor=transparent] execute_fail [backcolor=transparent]and[backcolor=transparent] run time [backcolor=transparent]is[backcolor=transparent] [backcolor=transparent]100msuserid[backcolor=transparent]=
  2. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]05[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]WARN[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]ShopServiceImpl[backcolor=transparent]][backcolor=transparent] execute_fail[backcolor=transparent],[backcolor=transparent] wait moment [backcolor=transparent]200ms
  3. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]05[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]INFO[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]ShopServiceImpl[backcolor=transparent]][backcolor=transparent] execute_fail [backcolor=transparent]and[backcolor=transparent] run time [backcolor=transparent]is[backcolor=transparent] [backcolor=transparent]100ms[backcolor=transparent],[backcolor=transparent]reason[backcolor=transparent]:[backcolor=transparent]user_id invalid
  4. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]05[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]INFO[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]FavServiceImpl[backcolor=transparent]][backcolor=transparent] execute_success[backcolor=transparent],[backcolor=transparent] wait moment [backcolor=transparent],[backcolor=transparent]reason[backcolor=transparent]:[backcolor=transparent]user_id invalid
  5. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]05[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]WARN[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]UserServiceImpl[backcolor=transparent]][backcolor=transparent] execute_fail [backcolor=transparent]and[backcolor=transparent] run time [backcolor=transparent]is[backcolor=transparent] [backcolor=transparent]100msuserid[backcolor=transparent]=
  6. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]06[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]WARN[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]FavServiceImpl[backcolor=transparent]][backcolor=transparent] execute_fail[backcolor=transparent],[backcolor=transparent] wait moment userid[backcolor=transparent]=
  7. [backcolor=transparent]2017[backcolor=transparent]-[backcolor=transparent]06[backcolor=transparent]-[backcolor=transparent]21[backcolor=transparent] [backcolor=transparent]14[backcolor=transparent]:[backcolor=transparent]38[backcolor=transparent]:[backcolor=transparent]06[backcolor=transparent] [backcolor=transparent][[backcolor=transparent]ERROR[backcolor=transparent]][backcolor=transparent] [backcolor=transparent][[backcolor=transparent]impl[backcolor=transparent].[backcolor=transparent]UserServiceImpl[backcolor=transparent]][backcolor=transparent] userid[backcolor=transparent]=,[backcolor=transparent] action[backcolor=transparent]=,[backcolor=transparent] test[backcolor=transparent]=,[backcolor=transparent] wait moment [backcolor=transparent],[backcolor=transparent]reason[backcolor=transparent]:[backcolor=transparent]user_id invalid
(ZQ{%-i?qR  
切分成如下字段
KeyValue
content2017-06-21 14:38:05 [INFO] [impl.FavServiceImpl] execute_fail and run time is 100msuserid=
content2017-06-21 14:38:05 [WARN] [impl.ShopServiceImpl] execute_fail, wait moment 200ms
content2017-06-21 14:38:06 [ERROR] [impl.ShopServiceImpl] execute_success:send msg,200ms
content… …
/@R|*7K;9  
$EW31R5h<s  
1. 授权云监控只读权限。 15VOQE5Fl`  
HKv:)h{ ?  
  • 进入云监控首页,选择[backcolor=transparent]日志监控功能。
  • 按照页面提示,点击“这里”进行授权。初次使用日志监控功能时需要授权,后续不再需要授权。授权后云监控会获得读取您日志数据的权限,并且仅用于按照您配置的处理规则进行日志数据处理的用途。
H&E c *MT  
#tN)OZA  
2. 配置统计方式 \hQ[5>  
gSEj/?  
  • 授权后可进入如下日志监控列表页面。
  • c_}i(HQ  
    点击“新建日志监控”,进入创建页面。关联资源,选择您需要进行关键字统计的日志服务资源。
  • pA"x4\s   
    预览数据:如果您选择的日志服务中已经写入数据,可以在第二步分析日志的预览框中查看到原始的日志数据。
  • 1lfkb1BM  
    分析日志,本步骤用于定义如何处理日志数据。不支持日志的字段名称为中文。这里以统计ERROR关键字数量为例,统计日志每分钟出现的ERROR关键字数量。通过“日志筛选”过滤出content中包含“ERROR”关键字的日志记录,并通过“统计方法”中的计数(Count)方法计算筛选后的记录数。
  • 点击“确定”按钮后保存配置。
!jMa%;/  
i96Pel  
3. 查看统计数据 Xw`vf7z*  
6(sqS~D  
创建完日志监控以后,等待3-5分钟即可查看统计数据。查看方法是进入日志监控的指标列表页面,点击“操作”中的“监控图表”查看监控图。
\MsAdYR  
P .3j |)NW  
4. 设置报警规则 G5ebb6[+  
  • jU)r~QhN  
    设置方法是进入日志监控的指标列表页面,点击“操作”中的“报警规则”进入报警规则列表页面。
  • yY4*/w7*j4  
    然后点击页面右上角的“新建报警规则”按钮,进入创建报警规则页面。
  • 为报警规则命名,并在规则描述中配置需要报警的情况。
  • 选择需要报警的联系人组和通知方式并确认保存,便完成了报警规则的设置。
tq}sXt  
[ 此帖被反向一觉在2017-10-31 13:39重新编辑 ]
发表主题 回复主题
« 返回列表上一主题下一主题

限100 字节
批量上传需要先选择文件,再选择上传
 
验证问题: ECS是阿里云提供的什么服务? 正确答案:云服务器
上一个 下一个
      ×
      全新阿里云开发者社区, 去探索开发者的新世界吧!
      一站式的体验,更多的精彩!
      通过下面领域大门,一起探索新的技术世界吧~ (点击图标进入)