1、ELK介绍
ELK Stack 是
Elasticsearch
、Logstash、Kiban
a
三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称
。
百度介绍:
Elasticsearch是强大的数据搜索引擎,是分布式、通过restful方式进行交互的近实时搜索平台框架。
Logstash是免费且开放的服务器端数据处理通道,能够从多个来源收集数据,转换数据后将数据发送到数据存储库中。能够动态地采集、转换和传输数据,不受格式和复杂度的影响。
Kibana是针对Elasticsearch的开元分析及可视化平台,用于搜索、查看交互存储在Elasticsearch索引中的数据。
框架 | 简介 | 作用 |
Elasticsearch | 开源分布式搜索引擎,提供存储、分析、搜索功能。特点:分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。 | 接收搜集的海量结构化日志数据,并提供给Kibana查询分析。 |
Logstash | 开源日志搜集、分析、过滤框架,支持多种数据输入输出方式。 | 用于收集日志,对日志进行过滤形成结构化数据,并转发到Elasticsearch中。 |
Kibana | 开源日志报表系统,对Elasticsearch以及Logstash有良好的web页面支持。 | 对Elasticsearch提供的数据进行分析展示。 |
2、环境准备
环境:一台centos7 IP地址:192.168.1.138(这是我的ip,你们的自行查看)
软件版本:
ElasticSearch 6.3.2 Logstash 6.3.2 Kibana
6
.3.
2
JDK 1.8.0_1
1
1
网盘资料地址:https://pan.baidu.com/s/1QvvDboHItvrMD4JUTMKyWA
提取码:sxzs
首选确保服务器上有JDK,输入命令:java-version查看
如果没有则要先安装JDK
3、搭建ELasticSearch
3.1 下载ELasticSearch
3.2 创建用户,并将 ElasticSearch安装权限归新用户所有
3.2.1 创建用户
3.2.2 创建密码
3.2.3 分配权限
3.3 修改配置
3.4 启动
3.5 测试
浏览器输入服务器ip,端口9200
3.6 可能遇到的错误
3.7 安装
elasticsearch-head插件
使用docker的集成好的elasticsearch-head
检查端口是否起来
netstat -antp |grep 9100
浏览器访问测试是否正常http://IP:9100/
4、搭建Logstash
4.1 下载logstash
4.2 修改配置
第一次没有该配置,需新建配置stdin.conf
配置文件中elasticsearch -> hosts 为刚才搭建的elasticsearch地址
* 这里每次重新部署之后日志路径变更问题已经解决:
Docker启动容器之后,将容器日志挂载到指定目录 /data/docker/***.log
命令如下:
将日志信息都挂载到此处
4.3 启动
在bin目录下
5、搭建Kibana
5.1 下载Kibana
解压Kibana
5.2 修改配置文件
5.3 启动
全部搭建好以后就可以用Kibana查看
地址:192.168.1.138:5601
6、Kibana相关操作
6.1 创建索引
选择 左上角的 Discover
之后根据提示来创建即可,索引名输入:logstash-*
7、查看
索引创建之后,logstash监控的日志路径的日志,就会实时展示在Kibana可视化页面
可以通过Kibana自带的一系列操作,例如:自动刷新、查看多久前的日志等操作,来查看相应的时间段
自动刷新:
Kibana界面还具有很多更加方便、简洁、直观的操作,后续有待研究使用。
按需所取,码字不易,不喜勿喷。