一.背景

日志数据和apm数据被es处理后，能配置出可视化的查询图表，能及时了解server和网站的实时运行情况，但是还是需要人工定时查看。所以对es采集处理后的分类数据和图表，实现自动监控和报警的功能

二.方案

1.es 自己的watcher alert 功能

es 的 basic 授权license不带 watcher功能，需要购买 GOLD license

https://www.elastic.co/subscriptions

2.单独的开源alert服务

https://github.com/daaru00/es-alert

https://github.com/Akagi201/esalert

缺点：无可视化配置界面，用的人不多

3.采用grafana alert

grafana 自带一个go的server服务，可实现可视化报警配置，可以很方便的配置成钉钉群报警机器人。

三.配置

1.grafana 添加es 为database

index name 跟kibana的index一样即可

点击测试，提示成功。

2.配置查询语句，生成图表

查询语句可以在kibana中测试，没问题后再复制到grafana,grafana的数据展示还支持函数处理，感觉比kibana强大方便些，而且更快。

3.配置报警

每个图表可以配置单独的报警，选择方便的钉钉机器人即可。