ELK日志监控系统搭建详细步骤(针对docker容器启动的镜像、微服务版)

  • Post author:
  • Post category:其他


1、ELK介绍


ELK Stack 是


Elasticsearch


、Logstash、Kiban


a


三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用,而且又都先后归于 Elastic.co 公司名下,故有此简称





百度介绍:

Elasticsearch是强大的数据搜索引擎,是分布式、通过restful方式进行交互的近实时搜索平台框架。

Logstash是免费且开放的服务器端数据处理通道,能够从多个来源收集数据,转换数据后将数据发送到数据存储库中。能够动态地采集、转换和传输数据,不受格式和复杂度的影响。

Kibana是针对Elasticsearch的开元分析及可视化平台,用于搜索、查看交互存储在Elasticsearch索引中的数据。

框架 简介 作用
Elasticsearch 开源分布式搜索引擎,提供存储、分析、搜索功能。特点:分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。 接收搜集的海量结构化日志数据,并提供给Kibana查询分析。
Logstash 开源日志搜集、分析、过滤框架,支持多种数据输入输出方式。 用于收集日志,对日志进行过滤形成结构化数据,并转发到Elasticsearch中。
Kibana 开源日志报表系统,对Elasticsearch以及Logstash有良好的web页面支持。 对Elasticsearch提供的数据进行分析展示。


2、环境准备


环境:一台centos7  IP地址:192.168.1.138(这是我的ip,你们的自行查看)

软件版本:

ElasticSearch 6.3.2    Logstash 6.3.2  Kibana


6


.3.


2


JDK 1.8.0_1


1


1


网盘资料地址:https://pan.baidu.com/s/1QvvDboHItvrMD4JUTMKyWA

提取码:sxzs


首选确保服务器上有JDK,输入命令:java-version查看

如果没有则要先安装JDK

3、搭建ELasticSearch

3.1 下载ELasticSearch

3.2 创建用户,并将 ElasticSearch安装权限归新用户所有

3.2.1 创建用户

3.2.2 创建密码

3.2.3 分配权限

3.3 修改配置

3.4 启动

3.5 测试

浏览器输入服务器ip,端口9200

3.6 可能遇到的错误

3.7 安装

elasticsearch-head插件


使用docker的集成好的elasticsearch-head


检查端口是否起来



netstat -antp |grep 9100



浏览器访问测试是否正常http://IP:9100/

4、搭建Logstash


4.1 下载logstash

4.2 修改配置

第一次没有该配置,需新建配置stdin.conf

配置文件中elasticsearch -> hosts 为刚才搭建的elasticsearch地址


* 这里每次重新部署之后日志路径变更问题已经解决:


Docker启动容器之后,将容器日志挂载到指定目录 /data/docker/***.log


命令如下:

将日志信息都挂载到此处

4.3 启动

在bin目录下

5、搭建Kibana

5.1 下载Kibana

解压Kibana

5.2 修改配置文件


5.3 启动

全部搭建好以后就可以用Kibana查看

地址:192.168.1.138:5601

6、Kibana相关操作

6.1 创建索引


选择 左上角的 Discover

之后根据提示来创建即可,索引名输入:logstash-*

7、查看

索引创建之后,logstash监控的日志路径的日志,就会实时展示在Kibana可视化页面

可以通过Kibana自带的一系列操作,例如:自动刷新、查看多久前的日志等操作,来查看相应的时间段

自动刷新:

Kibana界面还具有很多更加方便、简洁、直观的操作,后续有待研究使用。


按需所取,码字不易,不喜勿喷。



版权声明:本文为weixin_53551326原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。