ELK自动部署脚本

ELK自动安装脚本

一、简介

ELK由Elasticsearch、Logstash和Kibana三部分组件组成；

Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用

kibana 是一个开源和免费的工具，它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

二、核心组件

Logstash: logstash server端用来搜集日志；

Elasticsearch: 存储各类日志；

Kibana: web化接口用作查寻和可视化日志；

Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到elasticsearch或者logstarsh中存放。

三、安装脚本

注意：vim /etc/hosts 添加ip及主机名； 注意：服务器的内存如果服务器内存低的话会导致elasticsearch启动不了；

自定义shell脚本名称 vim Autoinstall_ELK_V1.3.sh 复制粘贴一下内容执行。

#!/bin/bash#mail:lishilong@co-mall.com#data:2019/1/9#AutoInstall ELK scripts#Software:elasticsearch-5.4.1/logstash-5.4.1/filebeat-5.4.1/kibana-5.4.1clearecho "#############################################################################"echo "#            Auto Install ELK.                 ##"    echo "#            Press Ctrl+C to cancel                  ##"    echo "#            Any key to continue               ##"   echo "# Softwae:elasticsearch-5.4.1/logstash-5.4.1/filebeat-5.4.1/kibana-5.4.1  ##"echo "#############################################################################"read -n 1software_dir="/usr/local/software"elasticsearch_url="https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz"kibana_url="https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz"logstash_url="https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz"filebeat_url="https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.1-linux-x86_64.tar.gz"sys_version=`cat /etc/redhat-release |awk '{print $4}'|cut -d. -f1`IP=`ip addr|grep "inet "|grep -v 127.0.0.1|awk '{print $2}'|cut -d/ -f1`jvm_conf="/usr/local/elasticsearch/config/jvm.options"sys_mem=`free -m|grep Mem:|awk '{print $2}'|awk '{sum+=$1} END {print sum/1024}'|cut -d. -f1`#wget softwarewget_fun() {if [ ! -d ${software_dir} ];then    mkdir -p ${software_dir} && cd ${software_dir}else    cd ${software_dir}fifor software in $elasticsearch_url $kibana_url $logstash_url $filebeat_urldo    wget -c $softwaredoneclear}#initial system:install java wget;set hostname;disable firewalldinit_sys() {[ -f /etc/init.d/functions ] && . /etc/init.d/functions[ "${sys_version}" != "7" ] && echo "Error:This Scripts Support Centos7.xx" && exit 1[ $(id -u) != "0" ] && echo "Error: You must be root to run this script" && exit 1sed -i "s/SELINUX=enforcing/SELINUX=disabled/"  /etc/selinux/configsetenforce 0yum install -y java-1.8.0-openjdk wgethostnamectl set-hostname elk-server          systemctl stop firewalldcat >>/etc/security/limits.conf<>/etc/sysctl.conf && sysctl -pif [ ${sys_mem} -eq 0 ];then    sed -i "s#`grep "^-Xmx" ${jvm_conf}`#"-Xmx512m"#g" ${jvm_conf}    sed -i "s#`grep "^-Xms" ${jvm_conf}`#"-Xms512m"#g" ${jvm_conf}else    sed -i "s#`grep "^-Xmx" ${jvm_conf}`#"-Xmx${sys_mem}g"#g" ${jvm_conf}    sed -i "s#`grep "^-Xms" ${jvm_conf}`#"-Xms${sys_mem}g"#g" ${jvm_conf}ficat >>/usr/local/elasticsearch/config/elasticsearch.yml</usr/local/logstash/config/01-syslog.conf< "5044"        }    }output {    elasticsearch {        hosts => "127.0.0.1:9200"    }    stdout { codec => rubydebug }}EOFnohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/config/01-syslog.conf & >/dev/null}#install filebeatinstall_filebeat() {cd $software_dirtar -zxf filebeat-5.4.1-linux-x86_64.tar.gzmv filebeat-5.4.1-linux-x86_64 /usr/local/filebeatcat >/usr/local/filebeat/filebeat.yml</dev/null}#install kibanainstall_kibana() {cd $software_dirtar -zxf kibana-5.4.1-linux-x86_64.tar.gzmv kibana-5.4.1-linux-x86_64 /usr/local/kibanacat >> /usr/local/kibana/config/kibana.yml </dev/null}check() {port=$1program=$2check_port=`netstat -lntup|grep ${port}|wc -l`check_program=`ps -ef|grep ${program}|grep -v grep|wc -l`if [ $check_port -gt 0 ] && [ $check_program -gt 0 ];then        action "${program} run is ok!" /bin/trueelse        action "${program} run is error!" /bin/falsefi}main() {init_syswget_funinstall_elasticsearchinstall_filebeatinstall_logstashinstall_kibanaecho -e "\033[32m Checking Elasticsearch...\033[0m"sleep 20check :9200 "elasticsearch"echo -e "\033[32m Checking Logstash...\033[0m"sleep 2check ":9600" "logstash"echo -e "\033[32m Checking Kibana...\033[0m"sleep 2check ":5601" "kibana"action "ELK install is success!" /bin/trueecho "url:http://$IP:5601"}main

四、脚本安装

安装完成访问：http://IP:5601即可访问;

五、配置

通过web界面访问，创建index patterns;

六、查看日志与dashboard

配置完成！当你发现你的才华与目标相差甚远的时候，不如安心的好好学习！