ELK
技术堆栈(yum安装部署)
目录
ELK技术堆栈可以应用于各种场景
包括但不限于以下场景:
1. 日志分析和监控:
ELK能够对网络应用程序和服务器产生的日志进行实时监控和分析,包括系统事件日志、网络日志、安全日志等。该技术使得用户可以监控系统的运作和故障,并快速地对问题做出反应。
2. 安全事件管理:
通过监控网络数据和日志,ELK能够检测和识别潜在的安全威胁。在安全事件发生时,监控人员可以使用ELK搜索并分析数据,迅速识别和应对潜在的攻击。
3. 业务运营分析:
ELK可以适用于所有类型的日志数据分析和处理。它允许用户深入了解其业务的关键指标和趋势,并可以做出相应的业务调整和改进。
4. 应用程序性能监控:
通过ELK技术堆栈中的组件对网络应用程序的运作进行分析和监控,用户可以深入了解应用程序的性能和系统瓶颈,以优化性能和提高用户满意度。
总之,ELK是一个功能丰富、灵活可扩展的平台,它为用户分析和管理各种类型的数据提供了一个完整的解决方案,是目前最流行的日志处理和分析技术之一。
ELK的工作原理如下:
1. 数据收集:
Logstash在各个来源收集数据,如网络应用程序的日志、服务器日志、安全应用程序和系统设备等。
2. 数据处理:
Logstash将数据传输到Elasticsearch进行分析和索引。在这个过程中,Logstash可以提取关键字段并执行转换操作。在这个阶段,用户可以使用自定义插件对数据进行进一步处理。
3. 数据存储:
Elasticsearch将所有数据存储在分布式索引中。它允许用户轻松地存储和搜索日志和其他类型的数据。
4. 数据可视化:
Kibana可以用于可视化和分析存储在Elasticsearch中的数据。用户可以查看实时日志数据、运行查询并创建定制的仪表板。
总之,ELK是一个完整的开源平台,可以帮助用户管理和分析各种类型的数据,包括日志和其他类型的数据。同时,由于它的模块化和可扩展性,用户可以根据其需求进行定制。
ELK是一个常见的日志管理和分析平台,
它由三个核心组件组成:
– Elasticsearch:
一个基于Lucene的搜索引擎,用于存储、索引和搜索大量数据。
– Logstash:
一个用于收集、转换和存储日志的数据处理管道。
– Kibana:
一个用于可视化和交互式分析的Web界面,它与Elasticsearch集成,并能够即时地查看、分析和搜索日志数据。
使用ELK技术堆栈,用户可以快速地从网络应用程序、服务器、安全应用程序和系统设备等各种来源收集和分析大量数据。ELK可用于可视化数据、实时监控系统并发、网络流量和日志数据。ELK还可以用作大数据平台,不仅对日志数据进行分析处理,还可轻松地处理其他类型的数据。
部署步骤:(单台部署)
环境部署:
关闭防火墙
systemctl stop firewalld
iptables -F
setenforce 0
安装JAVA环境:(官网下载链接)
步骤一:解包
tar -zxvf jdk-8u171-linux-x64.tar.gz
步骤二:配置JAVA
mkdir /usr/java
mv /var/www/jdk1.8.0_171/* /usr/java/
vim /etc/profile 末尾添加
JAVA_HOME=/usr/java
JRE_HOME=/usr/java/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
source /etc/profile 使其生效
步骤三:检查是否生效
java -version
(查看是否安装java,安装了的查看版本)
Elasticsearch
安装
:(yum安装方式)
步骤一:下载安装源并安装
Elasticsearch7.x 清华大学开源镜像站:
Index of /elasticstack/7.x/yum/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror
1、导入密钥
rpm –import
https://artifacts.elastic.co/GPG-KEY-elasticsearch
2、新建,添加elasticsearch的yum repo文件,
使用清华的yum源镜像
cd /etc/yum.repos.d
vim elasticsearch7.repo
3、安装
yum install -y elasticsearch
步骤二:配置elasticsearch
1、修改主配置文件
vim /etc/elasticsearch/elasticsearch.yml
2、根据需要修改内存设置
根据实际情况修改占用内存,默认都是1G,这里测试机是2G修改为512m,经测试,单机1G内存,设置512兆启动会占用700m+然后在安装kibana后,基本上无法运行了,运行了一会就挂了报内存不足。 内存设置超出物理内存,也会无法启动,启动报错。
vim /etc/elasticsearch/config/jvm.options
3、配置ARP参数
vim /etc/sysctl.conf
sysctl -p
4、修改/etc/security/limits.conf
vim
/etc/security/limits.conf 末尾输入
步骤三:启动服务
systemctl start elasticsearch
#启动
systemctl status elasticsearch
#查看
systemctl enable elasticsearch
#开机启动
systemctl stop elasticsearch
#停止
访问测试:服务机ip地址 9200
安装Kibana:
安装ES时添加清华yum源中已经包含了kibana,
下面直接使用yum安装即可。
步骤一:安装软件
yum install -y kibana
步骤二:配置Kibana界面
vim /etc/kibana/kibana.yml
步骤三:启动服务
systemctl start kibana
#启动
systemctl enable kibana
#开机启动
systemctl status kibana
#查看
systemctl stop kibana
#停止
访问网页验证:
安装Logstash:
(logstash常用于日志系统中做日志采集设备,最常用于ELK中作为日志收集器使用)
安装ES时添加清华yum源中已经包含了Logstash,
下面直接使用yum安装即可。
步骤一:安装软件
yum install -y logstash
启动
后可能
会提示failed (Result: start-limit)错误,
具体原因在/var/log/messages中可以查看到:
此时需要指定环境变量:
vim
/etc/sysconfig/logstash
添加
JAVA_HOME=/usr/java
步骤二:启动服务
systemctl start logstash
#启动
systemctl enable logstash
#开机启动
systemctl status logstash
#查看
systemctl stop logstash
#停止
因为
logstash常用于日志系统中做日志采集设备,在此我们没有对其进行配置,也没有做数据演示,所以服务是找不到的。