ELK日志分析系统——(实战！)

简介

日志服务器

提高安全性集中存放日志缺陷：对日志的分析困难

ELK日志分析系统

Elasticsearch：存储，索引池   Logstash：日志收集器Kibana：数据可视化

日志处理步骤

1，将日志进行集中化管理2，将日志格式化（Logstash）并输出到Elasticsearch3，对格式化后的数据进行索引和存储（Elasticsearch）4，前端数据的展示（Kibana）

Elasticsearch的概述

 提供了一个分布式多用户能力的全文搜索引擎

Elasticsearch的概念

 接近实时 集群 节点 索引：索引(库)-->类型(表)-->文档(记录) 分片和副本

Logstash介绍

 一款强大的数据处理工具，可以实现数据传输、格式处理、格式化输出 数据输入、数据加工(如过滤，改写等)以及数据输出

LogStash主要组件

 Shipper Indexer Broker Search and Storage Web Interface

Kibana介绍

 一个针对Elasticsearch的开源分析及可视化平台 搜索、查看存储在Elasticsearch索引中的数据 通过各种图表进行高级数据分析及展示

Kibana主要功能

 Elasticsearch无缝之集成 整合数据，复杂数据分析 让更多团队成员受益 接口灵活，分享更容易 配置简单，可视化多数据源 简单数据导出

实验拓扑

实验环境

Apache服务器 192.168.13.128 （Logstash）Node1服务器 192.168.13.129 （Elasticsearch，Kibana）Node2服务器 192.168.13.130 （Elasticsearch）

1，在node1，node2上安装elasticsearch

[root@node1 ~]# vim /etc/hosts  ##配置解析名192.168.13.129 node1192.168.13.130 node2[root@node1 ~]# java -version  ##查看是否支持Java[root@node1 ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/Password for root@//192.168.100.3/LNMP-C7:  [root@node1 mnt]# cd /mnt/elk/[root@node1 elk]# rpm -ivh elasticsearch-5.5.0.rpm   ##安装[root@node1 elk]# systemctl daemon-reload  ##重载守护进程[root@node1 elk]# systemctl enable elasticsearch.service   ##开机自启[root@node1 elk]# cd /etc/elasticsearch/[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak  ##备份[root@node1 elasticsearch]# vim elasticsearch.yml  ##修改配置文件cluster.name: my-elk-cluster  ##集群名node.name: node1    ##节点名，第二个节点为node2path.data: /data/elk_data   ##数据存放位置path.logs: /var/log/elasticsearch/  ##日志存放位置bootstrap.memory_lock: false  ##不在启动时锁定内存network.host: 0.0.0.0   ##提供服务绑定的IP地址，为所有地址http.port: 9200  ##端口号为9200discovery.zen.ping.unicast.hosts: ["node1", "node2"]  ##集群发现通过单播实现[root@node1 elasticsearch]# mkdir -p /data/elk_data   ##创建数据存放点[root@node1 elasticsearch]# chown elasticsearch.elasticsearch /data/elk_data/  ##给权限[root@node1 elasticsearch]# systemctl start elasticsearch.service   ##开启服务[root@node1 elasticsearch]# netstat -ntap | grep 9200  ##查看开启情况tcp6     0    0 :::9200        :::*          LISTEN      2166/java

2，在浏览器上检查健康和状态

3，在node1，node2上安装node组件依赖包

[root@node1 elasticsearch]# yum install gcc gcc-c++ make -y  ##安装编译工具[root@node1 elasticsearch]# cd /mnt/elk/[root@node1 elk]# tar zxvf node-v8.2.1.tar.gz -C /opt/  ##解压插件[root@node1 elk]# cd /opt/node-v8.2.1/[root@node1 node-v8.2.1]# ./configure   ##配置[root@node1 node-v8.2.1]# make && make install   ##编译安装

4，在node1，node2上安装phantomjs前端框架

[root@node1 elk]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/##解压到/usr/local/src下[root@node1 elk]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/[root@node1 bin]# cp phantomjs /usr/local/bin/   ##编译系统识别

5，在node1，node2上安装elasticsearch-head数据可视化

[root@node1 bin]# cd /mnt/elk/[root@node1 elk]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/  ##解压[root@node1 elk]# cd /usr/local/src/elasticsearch-head/[root@node1 elasticsearch-head]# npm install  ##安装

6，修改配置文件

[root@node1 elasticsearch-head]# vim /etc/elasticsearch/elasticsearch.yml##末行加入http.cors.enabled: true  ##开启跨域访问支持，默认为falsehttp.cors.allow-origin: "*"    ##跨域访问允许的域名地址[root@node1 elasticsearch-head]# systemctl restart elasticsearch.service  ##重启[root@node1 elasticsearch-head]# cd /usr/local/src/elasticsearch-head/[root@node1 elasticsearch-head]# npm run start &   ##后台运行数据可视化服务[1] 82515[root@node1 elasticsearch-head]# netstat -ntap | grep 9100tcp        0      0 0.0.0.0:9100    0.0.0.0:*      LISTEN      82525/grunt  [root@node1 elasticsearch-head]# netstat -ntap | grep 9200tcp6       0    0 :::9200              :::*        LISTEN      82981/java 

7，在浏览器上查看健康值状态

8，在node1上创建索引

[root@node2 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'##创建索引信息

9，在Apache服务器上安装logstash，多elasticsearch进行对接

[root@apache ~]# yum install httpd -y   ##安装服务[root@apache ~]# systemctl start httpd.service   ##启动服务[root@apache ~]# java -version[root@apache ~]# mount.cifs //192.168.100.3/LNMP-C7 /mnt/   ##挂载Password for root@//192.168.100.3/LNMP-C7:[root@apache ~]# cd /mnt/elk/[root@apache elk]# rpm -ivh logstash-5.5.1.rpm   ##安装logstash[root@apache elk]# systemctl start logstash.service [root@apache elk]# systemctl enable logstash.service   ##自启[root@apache elk]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/  ##便于系统识别[root@apache elk]# logstash -e 'input { stdin{} } output { stdout{} }'  ##标准输入输出The stdin plugin is now waiting for input:16:58:11.145 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}www.baidu.com   ##输入2019-12-19T08:58:35.707Z apache www.baidu.comwww.sina.com.cn  ##输入2019-12-19T08:58:42.092Z apache www.sina.com.cn[root@apache elk]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'##使用rubydebug显示详细输出，codec为一种编解码器The stdin plugin is now waiting for input:17:03:08.226 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}www.baidu.com   ##格式化的处理{        "@timestamp" => 2019-12-19T09:03:13.267Z,            "@version" => "1",                    "host" => "apache",             "message" => "www.baidu.com"}[root@apache elk]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.13.129:9200"] } }'##使用logstach将信息写入elasticsearch中The stdin plugin is now waiting for input:17:06:46.846 [Api Webserver] INFO  logstash.agent - Successfully started Logstash API endpoint {:port=>9600}www.baidu.com     ##输入信息www.sina.com.cn

10，用浏览器查看信息

##在数据浏览中可以查看信息

11，将系统日志文件输出到elasticsearch

[root@apache elk]# chmod o+r /var/log/messages   ##给其他用户读权限[root@apache elk]# vim /etc/logstash/conf.d/system.conf  ##创建文件input {                file{                path => "/var/log/messages"   ##输出目录                type => "system"                start_position => "beginning"                }}output {                elasticsearch {                #输入地址指向node1节点                hosts => ["192.168.13.129:9200"]                index => "system-%{+YYYY.MM.dd}"                }}[root@apache elk]# systemctl restart logstash.service  ##重启服务##也可以用数据浏览查看详细信息

12，在node1服务器上安装kibana数据可视化

[root@node1 ~]# cd /mnt/elk/[root@node1 elk]# rpm -ivh kibana-5.5.1-x86_64.rpm   ##安装[root@node1 elk]# cd /etc/kibana/[root@node1 kibana]# cp kibana.yml kibana.yml.bak  ##备份[root@node1 kibana]# vim kibana.yml   ##修改配置文件server.port: 5601  ##端口号server.host: "0.0.0.0"   ##监听任意网段elasticsearch.url: "http://192.168.13.129:9200"  ##本机节点地址kibana.index: ".kibana"   ##索引名称[root@node1 kibana]# systemctl start kibana.service   ##开启服务[root@node1 kibana]# systemctl enable kibana.service 

13，浏览器访问kibana

14，在apache服务器中对接apache日志文件，进行统计

[root@apache elk]# vim /etc/logstash/conf.d/apache_log.conf  ##创建配置文件input {                file{                path => "/etc/httpd/logs/access_log"   ##输入信息                type => "access"                start_position => "beginning"                }                file{                path => "/etc/httpd/logs/error_log"                type => "error"                start_position => "beginning"                }}output {                if [type] == "access" {     ##根据条件判断输出信息                elasticsearch {                hosts => ["192.168.13.129:9200"]                index => "apache_access-%{+YYYY.MM.dd}"                }        }                   if [type] == "error" {                elasticsearch {                hosts => ["192.168.13.129:9200"]                index => "apache_error-%{+YYYY.MM.dd}"                }        }}[root@apache elk]# logstash -f /etc/logstash/conf.d/apache_log.conf  ##根据配置文件配置logstach

15，访问网页信息，查看kibana统计情况

##选择management>Index Patterns>create index patterns##创建apache两个日志的信息

谢谢阅读！