ELK收集nginx log(ab压测 可视化)

   日期:2020-10-17     浏览:94    评论:0    
核心提示:ELK最基本的搭建,不然这个无法进行操作,这是网址:目录1 在192.168.1.5上安装nginx服务2 开启nginx服务3 安装ab压测工具,生成测试数据4 编辑nginx.conf5 验证index是否创建成功!6 编辑nginx.conf7 编辑"%{NGX} 匹配模式8 可视化操作:1 在192.168.1.5上安装nginx服务yum -y install epel-releaseyum -y install nginx2 开启nginx服务systemctl enable ngi

ELK最基本的搭建,不然这个无法进行操作,这是网址:
https://blog.csdn.net/fenghumen/article/details/109083538

目录

  • 1 在192.168.1.5上安装nginx服务
  • 2 开启nginx服务
  • 3 安装ab压测工具,生成测试数据
  • 4 编辑nginx.conf
  • 5 验证index是否创建成功!
  • 6 编辑nginx.conf
  • 7 编辑"%{NGX} 匹配模式
  • 8 可视化操作:

1 在192.168.1.5上安装nginx服务

yum -y install epel-release
yum -y install nginx

2 开启nginx服务

systemctl enable nginx
systemctl start nginx

验证

[root@bogon conf.d]# netstat -lptnu|grep 80
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      73887/nginx: master 
tcp6       0      0 :::80                   :::*                    LISTEN      73887/nginx: master 

3 安装ab压测工具,生成测试数据

yum -y install httpd-tools
ab -n 1000 -c 1000 http://192.168.1.5/index.html

-n:请求数
-c:并发数
注意:并发数不能大于请求数!!

4 编辑nginx.conf

[root@bogon conf.d]# cat nginx.conf 
input { 
 file { 
  path => "/var/log/nginx/access.log"
  type => "nginx-log"
  start_position => "beginning"
 }

}
output{ 
 elasticsearch { 
  hosts => "192.168.1.4:9200"
  index => "nginx_log-%{+YYYY.MM.dd}"
 }
}

[root@bogon logstash]# cat pipelines.yml 
- pipeline.id: nginx
  path.config: "/etc/logstash/conf.d/nginx.conf"

5 验证index是否创建成功!

方法1

tailf /var/log/elasticsearch/wg007.log

方法2

url -X GET http://192.168.1.4:9200/_cat/indices?v 

如果index没有创建成功,需要做:

1.chmod 777 /var/log -R
2.ab命令压测nginx服务,生成测试数据。

6 编辑nginx.conf

添加filter模块

filter { 
 grok { 
  match => { "message" => "%{NGX}"}
 }
}

7 编辑"%{NGX} 匹配模式

[root@bogon patterns]# pwd
/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns
[root@bogon patterns]# vim nginx 
NGX %{ IPORHOST:client_ip} (%{ USER:ident}|- ) (%{ USER:auth}|-) \[%{ HTTPDATE:timestamp}\] "(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{ NUMBER:status} (?:%{ NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"

8 可视化操作:

1 添加一个状态码统计图

pie--Terms--status.keyword

2 统计nginx的pv,uv

metric

3 统计访问前10的ip地址

Horizontal Bar 直方图

8.4 统计网站访问趋势图

Line
 
打赏
 本文转载自:网络 
所有权利归属于原作者,如文章来源标示错误或侵犯了您的权利请联系微信13520258486
更多>最近资讯中心
更多>最新资讯中心
0相关评论

推荐图文
推荐资讯中心
点击排行
最新信息
新手指南
采购商服务
供应商服务
交易安全
关注我们
手机网站:
新浪微博:
微信关注:

13520258486

周一至周五 9:00-18:00
(其他时间联系在线客服)

24小时在线客服