您的位置:新葡亰496net > 电脑系统 > 新葡亰496net7单机计划ELK,Centos7单机布置ELK

新葡亰496net7单机计划ELK,Centos7单机布置ELK

发布时间:2019-06-21 11:24编辑:电脑系统浏览(86)

    ELK分布式框架当作当今大数量时期深入分析日志的常为大家利用。现在大家就记录下单机Centos7铺排ELK的历程和碰着的标题。

    ELK遍及式框架当作明天天津大学学数据时期分析日志的常为我们使用。现在我们就记下下单机CentOS7陈设ELK的经过和遭受的标题。

    实验拓扑图

    新葡亰496net 1

    lab

    1、jdk景况安插好(java-1.8.0-openjdk)
    2、ELK软件版
    redis 2.8 epel
    logstash 1.5 rpm
    es 1.7 rpm
    kibana 4.1 rpm
    3、安装配置
    elk-node3:(logstash,nginx 192.168.9.120)
    # ~]# yum install /data/pkg/logstash-1.5.4-1.noarch.rpm nginx -y
    # systemctl start nginx.service
    # systemctl enable nginx.service
    # vim /etc/logstash/conf.d/nginx-redis.conf
    # input {
    # file {
    # path => ["/var/log/nginx/access.log"]
    # type => "nginxlog"
    # }
    # }
    # output {
    # redis {
    # host => "192.168.9.119"
    # port => "6379"
    # data_type => "list"
    # key => "logstash-nginxlog"
    # }
    # }
    # ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx-redis.conf --configtest
    # ~]# /opt/logstash/bin/logstash -f /etc/logstash/conf.d/nginx-redis.conf

    elk-node2:(redis 192.168.9.119)
    # vim /etc/redis.conf
    # bind 0.0.0.0
    # systemctl start redis.service
    # systemctl enable redis.service

    elk-node1:(logstash-server 192.168.9.118)
    # ~]# yum install /data/pkg/logstash-1.5.4-1.noarch.rpm -y
    # vi /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-0.3.0/patterns/nginx
    # NGUSERNAME [a-zA-Z.@- _%]
    # NGUSER %{NGUSERNAME}
    # NGINXACCESS %{IPORHOST:clientip} - %{NOTSPACE:remote_user} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} %{NOTSPACE:http_x_forwarded_for}
    # ========
    # vim /etc/logstash/conf.d/redis-grok-es.conf
    # input {
    # redis {
    # host => "192.168.9.119"
    # port => "6379"
    # data_type => "list"
    # key => "logstash-nginxlog"
    # }
    # }
    # filter {
    # grok {
    # match => {"message" => "%{NGINXACCESS}"}
    # }
    # }
    # output {
    # elasticsearch {
    # cluster => "loges"
    # index => "logstash-%{ YYYY.MM.dd}"
    # }
    # }
    elk:(elasticsearch,kibana 192.168.9.77)
    # yum install -y elasticsearch-1.7.2.noarch.rpm
    # vi /etc/elasticsearch/elasticsearch.yml
    # cluster.name: loges
    # node.name: "elk"
    # 安装head插件,上传到plugins目录解压就能够用了
    # cd /usr/share/elasticsearch/plugins/
    # unzip elasticsearch-head-latest.zip
    # mv elasticsearch-head-master/ head
    # systemctl enable elasticsearch.service
    # systemctl start elasticsearch.service
    注意点:(轻易计划测试)
    1、elasticsearch是终极的数额分布式存款和储蓄。
    2、logstash-server实时去redis拉取数据
    3、logstash-agent实时向redis推送数据
    4、当运气起来后,redis中是看不到数据了,查看keys是显得未有贰个keys,其实数据已经被推送到了ES。
    5、web日志数据结构化(grok)是在logstash-server上实践(当然也足以在agent,在广泛境况下,数据统一由logstash-server管理会比较好,减弱前段web负载,日志时间)
    ES查看数据音信:

    新葡亰496net 2

    head

    # kibana
    # tar xf kibana-4.1.2-linux-x64.tar.gz -C /usr/local/
    # chown -R root.root kibana-4.1.2-linux-x64/
    # ln -s kibana-4.1.2-linux-x64/ kibana
    # vim kibana/config/kibana.yml
    # elasticsearch_url: "http://localhost:9200"
    # /usr/local/kibana/bin/kibana &
    kibana展示:

    新葡亰496net 3

    注意了:
    做这么些实验的时候,作者系统时间尚无联手ntp,时区也不对
    ntpdate cn.ntp.org.cn
    timedatectl set-timezone Asia/Shanghai
    形成在kibana discovery数据的时候,未有一笔数目,最佳是先安装时间,时区,
    在kibana上查看目前几天的多寡才方可开采数目。

    新葡亰496net 4

     ELK stack是Elasticsearch、Logstash、Kibana五个开源软件的组合。近期都在Elastic.co公司名下。ELK是一套常用的开源日志监察和控制和深入分析系统,包涵三个分布式索引与追寻服务Elasticsearch,

    Elasticsearch Logstash Kibana搭建日志搜罗剖判系统

     ELK stack是Elasticsearch、Logstash、Kibana四个开源软件的构成。这几天都在Elastic.co公司名下。ELK是一套常用的开源日志监察和控制和分析系统,蕴含贰个布满式索引与追寻服务Elasticsearch,

    一个管理日志和事件的工具logstash,和三个数额可视化服务Kibana

    logstash_1.5.3                  担任日志的收罗,管理和仓库储存

    elasticsearch-1.7.2            担负日志检索和深入分析

    kibana-4.1.2-linux-x64.tar.gz  担任日志的可视化

    redis-2.4.14                      DB以及日志传输的大路来拍卖

    用一张图来表示他们中间的涉及

    新葡亰496net 5

    此文以四个服务器为例来安排

    服务器A:192.168.0.1  java elasticsearch redis kibana logstash(agent indexer)

    服务器B:192.168.0.2  java logstash(agent)

    率先安装服务器A相关软件

    一、安装基础软件

    yum -y install curl wget lrzsz axel

    二、安装配备redis服务

    1、安装tcl8.6.1

    a) tar -xf tcl8.6.1-src.tar.gz --strip-components=1
    b) cd tcl8.6.1/unix
    c) ./configure --prefix=/usr/local
    d) make
    e) make test
    f) make install 
    g) make install-private-headers 
    h) ln -v -sf tclsh8.6 /usr/bin/tclsh 
    i) chmod -v 755 /usr/lib/libtcl8.6.so(可选,并且如报找不到文件,没涉及)

    2、安装redis-3.0.2

    wget
    tar xzf redis-3.0.2.tar.gz /usr/local/redis
    cd redis-3.0.2
    make MALLOC=libc
    make test
    make install

    2、配置redis

    a) mkdir /etc/redis
    b) mkdir /var/redis
    c) cp utils/redis_init_script /etc/init.d/redis
    d) vim /etc/init.d/redis
    头顶增添:
    #chkconfig: 345 60 60
    #!/bin/bash
    e) mkdir /var/redis/6379
    f) cp redis.conf /etc/redis/6379.conf
    g) vim /etc/redis/6379.conf
            #设置daemonize为yes
            #设置pidfile为/var/run/redis_6379.pid
            #设置loglevel
            #设置logfile为/var/log/redis_6379.log
            #设置dir为/var/redis/6379
    h) sysctl vm.overcommit_memory=1
    i) chkconfig --add redis
    j) chkconfig redis on

    3、重启服务

    service redis start/stop

    4、查看进程和端口
    1)查看进度

    ps -ef |grep redis
    root    31927 25099  0 18:26 pts/0    00:00:00 vi /etc/init.d/redis

    2)查看端口

    netstat -tupnl |grep redis
    tcp        0      0 0.0.0.0:6379                0.0.0.0:*                  LISTEN      31966/redis-server 
    tcp        0      0 :::6379                    :::*                        LISTEN      31966/redis-server

    三、安装java环境

    1、安装包

    yum -y list java*
    yum -y install openjdk-7-jdk

    2、查看版本

    java -version
    java version "1.7.0_91"
    OpenJDK Runtime Environment (rhel-2.6.2.2.el6_7-x86_64 u91-b00)
    OpenJDK 64-Bit Server VM (build 24.91-b01, mixed mode)

     

    四、安装elasticsearch

    1、下载elasticsearch

    wget

    2、安装elasticsearch

    rpm -ivh elasticsearch-1.7.2.noarch.rpm

    新葡亰496net,3、配置
    1)备份配置

    cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

    2)修改配置

    echo "network.bind_host: 192.168.0.1" >> /etc/elasticsearch/elasticsearch.yml

    4、启动elasticsearch服务

    /etc/init.d/elasticsearch start
    /etc/init.d/elasticsearch stop

    5、查看进度和端口

    1)查看进程

    ps -ef |grep java

    2)查看端口

    netstat -tupnl |grep java

    6、测试

    curl -X GET
    {
      "status" : 200,
      "name" : "Miguel O'Hara",
      "cluster_name" : "elasticsearch",
      "version" : {
        "number" : "1.7.2",
        "build_hash" : "e43676b1385b8125d647f593f7202acbd816e8ec",
        "build_timestamp" : "2015-09-14T09:49:53Z",
        "build_snapshot" : false,
        "lucene_version" : "4.10.4"
      },
      "tagline" : "You Know, for Search"
    }

    7、增添到开机运营

    update-rc.d elasticsearch defaults
    update-rc.d: using dependency based boot sequencing

    五、安装logstash

    1、下载logstash

    wget 

    2、安装logstash

    rpm -ivh logstash-1.5.4-1.noarch.rpm

    3、配置(默许未有那些布局文件)

    vim /etc/logstash/conf.d/logstash_indexer.conf
    input {
            redis {
                    host => "192.168.0.1"
                    data_type => "list"
                    key => "logstash:redis"
                    type => "redis-input"
            port => "6379"
            }
    }
    output {
            elasticsearch {
                    host => "192.168.0.1"
            }
    }

    4、运行服务

    /etc/init.d/logstash start

    5、使用jps -mlv或ps -ef来查阅下进度

    ps -ef|grep logst

    6、设置开机运行

    update-rc.d logstash defaults
    update-rc.d: using dependency based boot sequencing

    六、安装kibana(前端web)

    1、下载

    wget

    2、解压到钦命目录

    tar zxvf kibana-4.1.2-linux-x64.tar.gz -C /opt

    3、创造日志目录

    mkdir -p /opt/kibanalog

    4、配置
    1)备份配置

    cp /opt/kibana-4.1.2-linux-x64/config/kibana.yml /opt/kibana-4.1.2-linux-x64/config/kibana.yml.bak

    2)修改配置

    sed -i 's!^elasticsearch_url: .*!elasticsearch_url: "' /opt/kibana-4.1.2-linux-x64/config/kibana.yml
    sed -i 's!^host: .*!host: "192.168.0.1"!g' /opt/kibana-4.1.2-linux-x64/config/kibana.yml

    5、运维服务

    cd  /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &

    6、查看进程和端口
    1)查看过程

    ps aux |grep kibana

    2)查看端口

    netstat -tupnl|grep 5601

    7、在Windows上访问

    8、设置开机运转

    echo "cd /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &" >> /etc/rc.local

    到此服务器A的有关软件全部设置到位;

    这几天安装日志搜罗端的程序(服务器B),能够有多个

    clientB安装配备logstash(agent)

    1、安装java环境

    yum -y list java*
    yum -y install openjdk-7-jdk

    1、下载logstash

    wget 

    2、安装logstash

    rpm -ivh logstash-1.5.4-1.noarch.rpm

    3、配置(暗中认可没有那一个布局文件)
    1)配置logstash_agent

    vim /etc/logstash/conf.d/logstash_agent.conf

    input {
        file {
            path => "/tmp/*.log"
            start_position => beginning
        }
    }

    output {
            redis {
                    host => "192.168.0.1"
                    data_type => "list"
                    key => "logstash:redis"
            }
    }

    5、运维服务
     
    /etc/init.d/logstash start
    logstash started.

    6、使用jps -mlv或ps -ef来查阅下进度

    ps -ef|grep logst

    7、设置开机运营

    update-rc.d logstash defaults
    update-rc.d: using dependency based boot sequencing

    从那之后服务器B也安装配置达成,依据日志采撷端的内需能够陈设N个服务B

    什么查看日志:

    1、查看redis日志

    cat /var/log/redis/redis-server.log

    2、查看elasticsearch日志

    cat /var/log/elasticsearch/elasticsearch.log
    tail -300f  /var/log/elasticsearch/elasticsearch.log

    3、查看logstash日志

    cat /var/log/logstash/logstash.errtail -30f /var/log/logstash/logstash.err

    4、查看kibana日志

    cat /opt/kibanalog/nohup.out
    tail -30f /opt/kibanalog/nohup.out

    错误管理

    1)unable to fetch mapping, do you have indices matching the pattem?

    kibana 报那些破绽百出正是因为从没从logstash 过来任何数据貌似检查一下数据传输

    ELK stack是Elasticsearch、Logstash、Kibana八个开源软件的结缘。近期都在Elastic.co公司名下。ELK是一套...

      系统需要:Centos7(内核3.5及以上,2核4G)
      elk版本:6.2.4(较新本子)
      jdk版本:1.8(必须为java1.8版本)

      系统须要:Centos7(内核3.5及以上,2核4G)
      elk版本:6.2.4(较新本子)
      jdk版本:1.8(必须为java1.8版本)

    三个管制日志和事件的工具logstash,和三个数码可视化服务Kibana

    一、下载须求软件
      1、ELK下载地址
        
      2、jdk下载地址
        
      3、所需软件列表
        #文本暗许放到/opt目录下
        jdk-8u131-linux-x64.tar.gz
        elasticsearch-6.2.4.rpm
        kibana-6.2.4-x86_64.rpm
        logstash-6.2.4.rpm
    二、 安装JAVA
      1、解压
        tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
        ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
      2、配置意况
        vim /etc/profile
        #谈起底面增加以下配置文件
        export JAVA_HOME=/usr/local/jdk
        export JRE_HOME=$JAVA_HOME/jre
        export PATH=$PATH:$JAVA_HOME/bin
      3、验证结果
        source /etc/profile
        java -version
        #反省结果:
        java version "1.8.0_131"
        Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
        Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
    三、部署elasticsearch
      1、 rpm安装
        cd /opt
        rpm -ivh elasticsearch-6.2.4.rpm
        创立用户
        groupadd elasticsearch
        useradd -g elasticsearch elasticsearch
      2、修改elasticsearch配置文件
        2.1 vim /etc/elasticsearch/elasticsearch.yml
          [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
          path.data: /var/lib/elasticsearch
          path.logs: /var/log/elasticsearch
          network.host: "0.0.0.0"
          http.port: 9200
        2.2 vim /etc/elasticsearch/jvm.options(依据自身服务器配置修改)
          -Xms512m
          -Xmx512m
        2.3 vim /etc/sysconfig/elasticsearch
          JAVA_HOME=/usr/local/jdk
      3、安装x-pack插件
    ​ ​ ​     cd /usr/share/elasticsearch/bin
    ​ ​ ​   ​ ./elasticsearch-plugin install x-pack
    ​ ​ ​          安装时间比较长,需耐心等待......​ ​ ​ ​ ​
    ​   ​4、启动elasticsearch
      ​ ​ ​  ​systemctl start elasticsearch
    ​   ​5、检查运营状态
    ​ ​ ​     ​5.1 查看运营状态
    ​ ​ ​ ​       ​systemctl status elasticsearch

    一、下载供给软件
      1、ELK下载地址
        
      2、jdk下载地址
        
      3、所需软件列表
        #文本私下认可放到/opt目录下
        jdk-8u131-linux-x64.tar.gz
        elasticsearch-6.2.4.rpm
        kibana-6.2.4-x86_64.rpm
        logstash-6.2.4.rpm
    二、 安装JAVA
      1、解压
        tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
        ln -s /usr/local/jdk1.8.0_131/ /usr/local/jdk
      2、配置情形
        vim /etc/profile
        #末尾面加多以下配置文件
        export JAVA_HOME=/usr/local/jdk
        export JRE_HOME=$JAVA_HOME/jre
        export PATH=$PATH:$JAVA_HOME/bin
      3、验证结果
        source /etc/profile
        java -version
        #反省结果:
        java version "1.8.0_131"
        Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
        Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
    三、部署elasticsearch
      1、 rpm安装
        cd /opt
        rpm -ivh elasticsearch-6.2.4.rpm
        创立用户
        groupadd elasticsearch
        useradd -g elasticsearch elasticsearch
      2、修改elasticsearch配置文件
        2.1 vim /etc/elasticsearch/elasticsearch.yml
          [root@localhost elasticsearch]# cat elasticsearch.yml | grep -v "^#" | grep -v "^$"
          path.data: /var/lib/elasticsearch
          path.logs: /var/log/elasticsearch
          network.host: "0.0.0.0"
          http.port: 9200
        2.2 vim /etc/elasticsearch/jvm.options(依照自个儿服务器配置修改)
          -Xms512m
          -Xmx512m
        2.3 vim /etc/sysconfig/elasticsearch
          JAVA_HOME=/usr/local/jdk
      3、安装x-pack插件
    ​ ​ ​     cd /usr/share/elasticsearch/bin
    ​ ​ ​   ​ ./elasticsearch-plugin install x-pack
    ​ ​ ​          安装时间相比长,需耐心等待......​ ​ ​ ​ ​
    ​   ​4、启动elasticsearch
      ​ ​ ​  ​systemctl start elasticsearch
    ​   ​5、检查运维状态
    ​ ​ ​     ​5.1 查看运维状态
    ​ ​ ​ ​       ​systemctl status elasticsearch

    logstash_1.5.3                  担当日志的采访,管理和储存

        新葡亰496net 6

        新葡亰496net 7

    elasticsearch-1.7.2            担负日志检索和剖判

    ​ ​ ​ ​    5.2 查看运营日志
          cd /var/log/elasticsearch/
          tail -f elasticsearch.log

    ​ ​ ​ ​    5.2 查看运营日志
          cd /var/log/elasticsearch/
          tail -f elasticsearch.log

    kibana-4.1.2-linux-x64.tar.gz  担当日志的可视化

        新葡亰496net 8

        新葡亰496net 9

    redis-2.4.14                      DB以及日志传输的坦途来拍卖

    ​ ​ ​     ​5.3 检查端口情形
          netstat -lntp

    ​ ​ ​     ​5.3 检查端口情形
          netstat -lntp

    用一张图来表示他们中间的关系

        新葡亰496net 10

        新葡亰496net 11

    新葡亰496net 12

       6、通过x-pack设置密码
        cd /usr/share/elasticsearch/bin/
        x-pack/setup-passwords interactive

       6、通过x-pack设置密码
        cd /usr/share/elasticsearch/bin/
        x-pack/setup-passwords interactive

    此文以五个服务器为例来布局

        新葡亰496net 13

        新葡亰496net 14

    服务器A:192.168.0.1  java elasticsearch redis kibana logstash(agent indexer)

      7、登入测试
        打开浏览器访问:

      7、登录测试
        张开浏览器访问:

    服务器B:192.168.0.2  java logstash(agent)

        新葡亰496net 15

        新葡亰496net 16

    第一安装服务器A相关软件

        能够看出对话框,输入用户名和密码就能够。暗中同意的用户名:elastic

        能够见见对话框,输入用户名和密码就能够。暗中同意的用户名:elastic

    一、安装基础软件

        新葡亰496net 17

        新葡亰496net 18

    yum -y install curl wget lrzsz axel

        访问成功!!!!
    四、部署kibana
      1、rpm安装
        cd /opt
        rpm -ivh kibana-6.2.4-x86_64.rpm

        访问成功!!!!
    四、部署kibana
      1、rpm安装
        cd /opt
        rpm -ivh kibana-6.2.4-x86_64.rpm

    二、安装配备redis服务

      2、修改配置文件
        [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
        server.port: 5601
        server.host: "10.244.78.230"
        elasticsearch.url: ""
        elasticsearch.username: "elastic"
        elasticsearch.password: "123456"
      3、安装x-pack插件
        cd /usr/share/kibana/bin/
        ./kibana-plugin install x-pack

      2、修改配置文件
        [root@localhost bin]# cat /etc/kibana/kibana.yml | grep -v "^#" | grep -v "^$"
        server.port: 5601
        server.host: "10.244.78.230"
        elasticsearch.url: ""
        elasticsearch.username: "elastic"
        elasticsearch.password: "123456"
      3、安装x-pack插件
        cd /usr/share/kibana/bin/
        ./kibana-plugin install x-pack

    1、安装tcl8.6.1

      4、启动kibana
        systemctl start kibana
      5、访问测试(暗许端口为5601)

      4、启动kibana
        systemctl start kibana
      5、访问测试(私下认可端口为5601)

    a) tar -xf tcl8.6.1-src.tar.gz --strip-components=1
    b) cd tcl8.6.1/unix
    c) ./configure --prefix=/usr/local
    d) make
    e) make test
    f) make install 
    g) make install-private-headers 
    h) ln -v -sf tclsh8.6 /usr/bin/tclsh 
    i) chmod -v 755 /usr/lib/libtcl8.6.so(可选,并且如报找不到文件,没提到)

        新葡亰496net 19

        新葡亰496net 20

    2、安装redis-3.0.2

    五、部署logstash
      1、rpm安装
        cd /opt
        rpm -ivh logstash-6.2.4.rpm
      2、修改配置文件
        mkdir -p /usr/share/logstash/config
        cp /etc/logstash/log4j2.properties /usr/share/logstash/config
        [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#" | grep -v "^$"
        node.name: logstash
        path.data: /var/lib/logstash
        path.config: /etc/logstash/conf.d
        config.test_and_exit: True
        path.logs: /var/log/logstash
      3、编写测试conf
        一般放在/etc/logstash/conf.d目录下
        [root@localhost conf.d]# cat test.conf
        input {
          stdin {
            }
          }
        output {
          elasticsearch {
            hosts =>["10.244.78.230:9200"]
            index => "test-%{ YYYY.MM.dd}"
            user => elastic
            password => "123456"
          }
          stdout {
            codec => rubydebug
          }
        }
      4、测试运转
        /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来有时做测试用

    五、部署logstash
      1、rpm安装
        cd /opt
        rpm -ivh logstash-6.2.4.rpm
      2、修改配置文件
        mkdir -p /usr/share/logstash/config
        cp /etc/logstash/log4j2.properties /usr/share/logstash/config
        [root@localhost logstash]# cat /etc/logstash/logstash.yml | grep -v "^#新葡亰496net7单机计划ELK,Centos7单机布置ELK。" | grep -v "^$"
        node.name: logstash
        path.data: /var/lib/logstash
        path.config: /etc/logstash/conf.d
        config.test_and_exit: True
        path.logs: /var/log/logstash
      3、编写测试conf
        一般放在/etc/logstash/conf.d目录下
        [root@localhost conf.d]# cat test.conf
        input {
          stdin {
            }
          }
        output {
          elasticsearch {
            hosts =>["10.244.78.230:9200"]
            index => "test-%{ YYYY.MM.dd}"
            user => elastic
            password => "123456"
          }
          stdout {
            codec => rubydebug
          }
        }
      4、测试运转
        /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf(用来有时做测试用

    wget
    tar xzf redis-3.0.2.tar.gz /usr/local/redis
    cd redis-3.0.2
    make MALLOC=libc
    make test
    make install

        新葡亰496net 21

        新葡亰496net 22

    2、配置redis

      5、打开kibana查看

      5、打开kibana查看

    a) mkdir /etc/redis
    b) mkdir /var/redis
    c) cp utils/redis_init_script /etc/init.d/redis
    d) vim /etc/init.d/redis
    底部增多:
    #chkconfig: 345 60 60
    #!/bin/bash
    e) mkdir /var/redis/6379
    f) cp redis.conf /etc/redis/6379.conf
    g) vim /etc/redis/6379.conf
            #设置daemonize为yes
            #设置pidfile为/var/run/redis_6379.pid
            #设置loglevel
            #设置logfile为/var/log/redis_6379.log
            #设置dir为/var/redis/6379
    h) sysctl vm.overcommit_memory=1
    i) chkconfig --add redis
    j) chkconfig redis on

        新葡亰496net 23

        新葡亰496net 24

    3、重启服务

      6、开启kibana
        前期生产条件中,只需:
        1、编写好conf文件
        2、启动logstash即可,systemctl start logstash
      7、kibana中x-pack认证难题

      6、开启kibana
        早先时期生产条件中,只需:
        1、编写好conf文件
        2、启动logstash即可,systemctl start logstash
      7、kibana中x-pack认证难点

    service redis start/stop

        新葡亰496net 25

        新葡亰496net 26

    4、查看进程和端口
    1)查看进程

        突显试用期为30天。预感怎么样扩充时间,请看下回分解。

        展现试用期为30天。预言如何充实时间,请看。

    ps -ef |grep redis
    root    31927 25099  0 18:26 pts/0    00:00:00 vi /etc/init.d/redis

        

    更多ELK相关学科见以下内容

    2)查看端口

     

    依赖CentOS 6.9搭建ELK情形指南 
    Linux日志解析ELK蒙受搭建 
    Logstash 监察和控制日志文件时应对日记文件名改成的法则 
    应用Elasticsearch Logstash Kibana搭建日志集中深入分析平台进行 
    ELK日志管理平台搭建教程 
    CenttOS 6.6下布署ELK日志告警系统
    CentOS 7单机计划ELK 
    CentOS 安装 Logstash 2.2.0 和 Elasticsearch 2.2.0 

    netstat -tupnl |grep redis
    tcp        0      0 0.0.0.0:6379                0.0.0.0:*                  LISTEN      31966/redis-server 
    tcp        0      0 :::6379                    :::*                        LISTEN      31966/redis-server

    ElasticSearch 的详实介绍:请点这里
    ElasticSearch 的下载地址:请点这里

    三、安装java环境

    Linux公社的RSS地址:

    1、安装包

    正文恒久更新链接地址

    yum -y list java*
    yum -y install openjdk-7-jdk

    新葡亰496net 27

    2、查看版本

    java -version
    java version "1.7.0_91"
    OpenJDK Runtime Environment (rhel-2.6.2.2.el6_7-x86_64 u91-b00)
    OpenJDK 64-Bit Server VM (build 24.91-b01, mixed mode)

     

    四、安装elasticsearch

    1、下载elasticsearch

    wget

    2、安装elasticsearch

    rpm -ivh elasticsearch-1.7.2.noarch.rpm

    3、配置
    1)备份配置

    cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

    2)修改配置

    echo "network.bind_host: 192.168.0.1" >> /etc/elasticsearch/elasticsearch.yml

    4、启动elasticsearch服务

    /etc/init.d/elasticsearch start
    /etc/init.d/elasticsearch stop

    5、查看进度和端口

    1)查看进程

    ps -ef |grep java

    2)查看端口

    netstat -tupnl |grep java

    6、测试

    curl -X GET
    {
      "status" : 200,
      "name" : "Miguel O'Hara",
      "cluster_name" : "elasticsearch",
      "version" : {
        "number" : "1.7.2",
        "build_hash" : "e43676b1385b8125d647f593f7202acbd816e8ec",
        "build_timestamp" : "2015-09-14T09:49:53Z",
        "build_snapshot" : false,
        "lucene_version" : "4.10.4"
      },
      "tagline" : "You Know, for Search"
    }

    7、加多到开机运转

    update-rc.d elasticsearch defaults
    update-rc.d: using dependency based boot sequencing

    五、安装logstash

    1、下载logstash

    wget 

    2、安装logstash

    rpm -ivh logstash-1.5.4-1.noarch.rpm

    3、配置(默许未有那些布局文件)

    vim /etc/logstash/conf.d/logstash_indexer.conf
    input {
            redis {
                    host => "192.168.0.1"
                    data_type => "list"
                    key => "logstash:redis"
                    type => "redis-input"
            port => "6379"
            }
    }
    output {
            elasticsearch {
                    host => "192.168.0.1"
            }
    }

    4、运营服务

    /etc/init.d/logstash start

    5、使用jps -mlv或ps -ef来查阅下进程

    ps -ef|grep logst

    6、设置开机运行

    update-rc.d logstash defaults
    update-rc.d: using dependency based boot sequencing

    六、安装kibana(前端web)

    1、下载

    wget

    2、解压到钦赐目录

    tar zxvf kibana-4.1.2-linux-x64.tar.gz -C /opt

    3、创立日志目录

    mkdir -p /opt/kibanalog

    4、配置
    1)备份配置

    cp /opt/kibana-4.1.2-linux-x64/config/kibana.yml /opt/kibana-4.1.2-linux-x64/config/kibana.yml.bak

    2)修改配置

    sed -i 's!^elasticsearch_url: .*!elasticsearch_url: "' /opt/kibana-4.1.2-linux-x64/config/kibana.yml
    sed -i 's!^host: .*!host: "192.168.0.1"!g' /opt/kibana-4.1.2-linux-x64/config/kibana.yml

    5、运行服务

    cd  /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &

    6、查看进程和端口
    1)查看进程

    ps aux |grep kibana

    2)查看端口

    netstat -tupnl|grep 5601

    7、在Windows上访问

    8、设置开机运维

    echo "cd /opt/kibanalog && nohup /opt/kibana-4.1.2-linux-x64/bin/kibana &" >> /etc/rc.local

    到此服务器A的有关软件全体装置达成;

    今日安装日志采撷端的次序(服务器B),能够有多个

    clientB安装配备logstash(agent)

    1、安装java环境

    yum -y list java*
    yum -y install openjdk-7-jdk

    1、下载logstash

    wget 

    2、安装logstash

    rpm -ivh logstash-1.5.4-1.noarch.rpm

    3、配置(暗许未有这些布局文件)
    1)配置logstash_agent

    vim /etc/logstash/conf.d/logstash_agent.conf

    input {
        file {
            path => "/tmp/*.log"
            start_position => beginning
        }
    }

    output {
            redis {
                    host => "192.168.0.1"
    新葡亰496net7单机计划ELK,Centos7单机布置ELK。                data_type => "list"
                    key => "logstash:redis"
            }
    }

    5、运营服务
     
    /etc/init.d/logstash start
    logstash started.

    6、使用jps -mlv或ps -ef来查阅下进度

    ps -ef|grep logst

    7、设置开机运营

    update-rc.d logstash defaults
    update-rc.d: using dependency based boot sequencing

    从那之后服务器B也设置配备达成,依照日志搜集端的要求能够配备N个服务B

    如何查看日志:

    1、查看redis日志

    cat /var/log/redis/redis-server.log

    2、查看elasticsearch日志

    cat /var/log/elasticsearch/elasticsearch.log
    tail -300f  /var/log/elasticsearch/elasticsearch.log

    3、查看logstash日志

    cat /var/log/logstash/logstash.errtail -30f /var/log/logstash/logstash.err

    4、查看kibana日志

    cat /opt/kibanalog/nohup.out
    tail -30f /opt/kibanalog/nohup.out

    错误管理

    1)unable to fetch mapping, do you have indices matching the pattem?

    kibana 报那些错误正是因为尚未从logstash 过来任何数据一般检查一下数据传输

    正文永恒更新链接地址:http://www.linuxidc.com/Linux/2018-01/150653.htm

    新葡亰496net 28

    本文由新葡亰496net发布于电脑系统,转载请注明出处:新葡亰496net7单机计划ELK,Centos7单机布置ELK

    关键词:

上一篇:用硬盘安装原版win7,安装电脑系统图

下一篇:没有了