ELK实践

参考

• https://www.elastic.co/downloads/kibana
• http://kibana.logstash.es/content/

安装

本次实验的安装环境为：ubuntu 15。

ELK的组成包括 ElasticSearch、 Logstash和Kibana。根据 ElasticSearch单机入门实验 和 Logstash单机入门实验安装 ElasticSearch 和 Logstash。

Kibana的安装

从 参考 下载 Kibana ，官方提供的 Installation Steps 说明很简单， 只有四步：

1. 解压
2. config/kibana.yml配置文件
3. 设置 ElasticSearch 实例
4. 运行

解压 Kibana：

sudo tar -zxvf kibana-4.1.1-linux-x64.tar.gz -C /opt

因为是单机测试， kibana.yml 无需修改，实际应用中需要根据 ElasticSearch 的安装情况设置 port、host和elasticsearch_url。

运行 Kibana：

在运行 Kibana 之前需要保证 ElasticSearch 正常运行。

./bin/kibana

访问http://YourServerIP:5601/ 测试 Kibana 是否安装成功。

ELK测试

最近数据库服务器被人攻击，频繁暴破数据库管理员的密码，生成了大量日志文件。因此，本测试将该日志文件作为ELK样本，使用 Logstash 获取日志中的IP并保存到 ElasticSearch 中，同时使用 Kibana 查看和分析日志。

配置Logstash

编辑 Logstash 配置文件如下：

input{
    file {
        path => ["/var/log/dbLog/*.log"]
        type => "system"
        start_position => "beginning"
    }
}

filter {
    grok {
        match => {
            "message" => "%{IPV4:message}"
        }
	overwrite => ["message"]
    }
}


output {
    if !("_grokparsefailure" in [tags]) {
	elasticsearch { 
			host => "yourElasticsearchServerIP"
		}
    }
}

运行 Logstash：

bin/logstash -f dbInput.conf

运行成功后，Logstash自动分析数据库日志文件，获取其中的IP地址并保存至 Elasticsearch 当中。

Kibana的配置

访问http://YourServerIP:5601，进入 Setting，填写 index name or pattern 为 logstash-*并点击创建：

在 Discover 页中可以实现日志数据的交互式探索，效果图如下：

从图中可以查看时间间隔内 日志的接收量、日志数据、日志的处理时间 等数据。

Visualize 页可以实现日志数据的可视化操作，效果图如下：

根据上图，可以分析出哪些 IP 对数据库管理员的密码进行暴破。

##结论
本篇只是最基础的安装和测试，实验中均使用了默认的参数和配置。配置Logstash 中使用默认的配置，仅对日志文件做了IP的简单筛选，并没有涉及到错误类型和日志生成时间等数据的解析。接下来以下图为基础，学习 ELK 的应用。