@[TOC]
# 1. 简介
ELK(日志管理分析系统),一款能将系统的日志进行分析处理,并且展示到界面上面。集各种强大功能于一身。妈妈再也不用担心我为查日志感到烦恼了。 ELK核心的组件是由elasticsearch、kibana、logstash组成且不仅限于该三个组件。最舒服的就是,该三个组件开源,且封装ok,只需要开箱即用。好了,废话不多说,我们开始正片。
第一次写博客哈。有些不对的地方大家多多指出,希望能不吝赐教了哈。
# 2. 需要的材料以及环境
java8及以上版本(因为logstash最低版本要求为java8)
win10/centos7系统(以下配置基于win10)
elasticsearch、kibana、logstash(记住,这三个组件下载的时候 版本保持一致)
elasticsearch-head(一款浏览器插件,可以不使用,如果不使用可以忽略以下材料)
nodejs
# 3. 安装以及配置
当我们下载好以上三个组件过后,首先解压我们的三个压缩包
第一步,配置我们的elasticsearch,进入elasticsearch-7.9.3\config用自己喜爱的文本编辑器打开elasticsearch.yml文件
node.name: node-1
network.host: 本机ip
http.port: 9200
cluster.initial_master_nodes: ["node-1"] #node-1
--------------------------------------------------------以下配置主要解决后面logstash的跨域问题----------------------------------------------
http.cors.enabled: true
http.cors.allow-origin: /.*/
http.cors.allow-methods: "OPTIONS, HEAD, GET, POST, PUT, DELETE"
http.cors.allow-headers: "Authorization, X-Requested-With, Content-Type, Content-Length, X-User"
好了,到这里我们的elasticsearch就已经配置完成,让我们运行下,看看效果。
cd D:\ELK\elasticsearch-7.9.3\bin 然后 elasticsearch.bat
或者直接进入bin目录,双击elasticsearch.bat,然后在浏览器中输入:ip:9200,出现以下信息则说明已经es配置成功
第二步,配置我们的logstash,进入logstash-7.9.3\config用自己喜爱的文本编辑器创建一个新的logstash.config文件,是新的新的新的,里面的内容如下:
input {
file {
type => "nginx_access"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access.log" #需要解析的日志,换成你自己的路径
start_position => "beginning" #从文件开始处读写
}
file {
type => "nginx_access1"
path => "D:/nginx/nginx-1.18.0/nginx-1.18.0/logs/access1.log" #需要解析的日志,换成你自己的路径
start_position => "beginning" #从文件开始处读写
}
}
filter {
grok {
match => ["message", "%{TIMESTAMP_ISO8601:times}"]
}
date {
match => ["times", "yyyy-MM-dd HH:mm:ss,SSS"]
locale => "en"
timezone => "+00:00"
remove_field => "times"
target => "@timestamp"
}
if[type] == "nginx_access" {
mutate {
add_tag => ["nginx_access"] #设置tag
}
}
if [type] == "nginx_access1" {
mutate {
add_tag => ["nginx_access1"] #设置tag
}
}
}
output {
if "nginx_access" in [tags] { #根据上面的tag来判断输出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "access-%{+YYYY.MM.dd}" # 输出的日志名称,好像大写有问题,大家可以试试
}
}
if "nginx_access1" in [tags] { #根据上面的tag来判断输出
elasticsearch {
hosts => ["http://es的ip:9200"] #es的地址
index => "logaccess1-%{+YYYY.MM.dd}" # 输出的日志名称,好像大写有问题,大家可以试试
}
}
stdout { #标准输出
codec => rubydebug{}
}
}
好了,到这里我们的logstash就已经配置完成,让我们运行下,看看效果。
cd D:\ELK\logstash-7.9.3\bin 然后 logstash.bat -f ../config/logstash.config 。或者大家可以自己把启动语句用一个bat脚本封装起来,到时候只需要执行你那个封装的脚本即可。在控制台出现以下效果,证明启动成功。切记需要java8以上的java版本。
那如果我们很多生产环境已经用的java8以下的版本该怎么办呢?用我们记事本打开logstash的bin目录下的logstash.bat,linux系统打开logstash文件,在文件顶部加上
export JAVA_CMD="/eam_app/elk/jdk1.8.0_161/bin" #改为自己服务器JDK位置
export JAVA_HOME="/eam_app/elk/jdk1.8.0_161/" #改为自己服务器JDK位置
最后让我们来修改下我们的监听的日志文件,看下logstash控制台有何变化?
敲黑板敲黑板,这里有个小坑,如果我们最后一行不留空,那么最后一行的信息是不会输入到我们的logstash里面的。为什么会这样的, 留个小伙伴们一个小疑问,自己去想想。
第三步,配置我们的kibana,进入kibana-7.9.3\config用自己喜爱的文本编辑器打开kibana.yml文件,
server.port: 5601 #端口
server.host: IP地址
elasticsearch.hosts: ["http://es的ip地址:9200"]
保存,至此我们的kibana就配置完成了,是不是很简单,哦呵呵呵!!!!
赶紧运行起来,老规矩:
cd D:\ELK\kibana-7.9.3-windows-x86_64\bin 然后 kibana.bat 或者自己手动双击kibana.bat,最后在我们的浏览器中输入kibana.yml中的server.host:server.port
点击上面的进行以下操作
最后我们点击界面左上角
会出现以下界面,这是个时候我们的日志就已经展示出来了,如下图:
至此为止我们的windows环境EKL日志监控分析系统就已经搭建完成
# 4. 总结
个人觉得ELK还是比较好用的,摆脱我们去服务器拉日志查日志的苦恼,当然可能小伙伴有其他更好的方式,我这里只是列举了一个例子,希望能抛砖引玉了哈。感谢各位大大的阅读支持!!!
码字不易,如需转载请标明转处。