ELK技术堆栈(yum安装部署)

  • Post author:
  • Post category:其他




ELK


技术堆栈(yum安装部署)


目录


ELK技术堆栈可以应用于各种场景


ELK的工作原理如下:


它由三个核心组件组成:


部署步骤:(单台部署)


环境部署:


安装JAVA环境:(官网下载链接)


Elasticsearch安装:(yum安装方式)


安装Kibana:


安装Logstash:




ELK技术堆栈可以应用于各种场景




包括但不限于以下场景:



1. 日志分析和监控:


ELK能够对网络应用程序和服务器产生的日志进行实时监控和分析,包括系统事件日志、网络日志、安全日志等。该技术使得用户可以监控系统的运作和故障,并快速地对问题做出反应。



2. 安全事件管理:


通过监控网络数据和日志,ELK能够检测和识别潜在的安全威胁。在安全事件发生时,监控人员可以使用ELK搜索并分析数据,迅速识别和应对潜在的攻击。



3. 业务运营分析:


ELK可以适用于所有类型的日志数据分析和处理。它允许用户深入了解其业务的关键指标和趋势,并可以做出相应的业务调整和改进。



4. 应用程序性能监控:


通过ELK技术堆栈中的组件对网络应用程序的运作进行分析和监控,用户可以深入了解应用程序的性能和系统瓶颈,以优化性能和提高用户满意度。

总之,ELK是一个功能丰富、灵活可扩展的平台,它为用户分析和管理各种类型的数据提供了一个完整的解决方案,是目前最流行的日志处理和分析技术之一。



ELK的工作原理如下:




1. 数据收集:


Logstash在各个来源收集数据,如网络应用程序的日志、服务器日志、安全应用程序和系统设备等。



2. 数据处理:


Logstash将数据传输到Elasticsearch进行分析和索引。在这个过程中,Logstash可以提取关键字段并执行转换操作。在这个阶段,用户可以使用自定义插件对数据进行进一步处理。



3. 数据存储:


Elasticsearch将所有数据存储在分布式索引中。它允许用户轻松地存储和搜索日志和其他类型的数据。



4. 数据可视化:


Kibana可以用于可视化和分析存储在Elasticsearch中的数据。用户可以查看实时日志数据、运行查询并创建定制的仪表板。

总之,ELK是一个完整的开源平台,可以帮助用户管理和分析各种类型的数据,包括日志和其他类型的数据。同时,由于它的模块化和可扩展性,用户可以根据其需求进行定制。



ELK是一个常见的日志管理和分析平台,



它由三个核心组件组成:




– Elasticsearch:


一个基于Lucene的搜索引擎,用于存储、索引和搜索大量数据。



– Logstash:


一个用于收集、转换和存储日志的数据处理管道。



– Kibana:


一个用于可视化和交互式分析的Web界面,它与Elasticsearch集成,并能够即时地查看、分析和搜索日志数据。

使用ELK技术堆栈,用户可以快速地从网络应用程序、服务器、安全应用程序和系统设备等各种来源收集和分析大量数据。ELK可用于可视化数据、实时监控系统并发、网络流量和日志数据。ELK还可以用作大数据平台,不仅对日志数据进行分析处理,还可轻松地处理其他类型的数据。



部署步骤:(单台部署)




环境部署:




关闭防火墙



systemctl stop firewalld



iptables -F



setenforce 0



安装JAVA环境:(官网下载链接)



Java Downloads | Oracle



步骤一:解包



tar -zxvf jdk-8u171-linux-x64.tar.gz



步骤二:配置JAVA



mkdir /usr/java



mv /var/www/jdk1.8.0_171/* /usr/java/



vim /etc/profile  末尾添加

JAVA_HOME=/usr/java

JRE_HOME=/usr/java/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH



source /etc/profile  使其生效



步骤三:检查是否生效



java -version



(查看是否安装java,安装了的查看版本)


Elasticsearch



安装




:(yum安装方式)




步骤一:下载安装源并安装



Elasticsearch7.x 清华大学开源镜像站:


Index of /elasticstack/7.x/yum/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror



1、导入密钥



rpm –import


https://artifacts.elastic.co/GPG-KEY-elasticsearch



2、新建,添加elasticsearch的yum repo文件,



使用清华的yum源镜像



cd /etc/yum.repos.d



vim elasticsearch7.repo



3、安装



yum install -y elasticsearch



步骤二:配置elasticsearch



1、修改主配置文件



vim /etc/elasticsearch/elasticsearch.yml



2、根据需要修改内存设置



根据实际情况修改占用内存,默认都是1G,这里测试机是2G修改为512m,经测试,单机1G内存,设置512兆启动会占用700m+然后在安装kibana后,基本上无法运行了,运行了一会就挂了报内存不足。 内存设置超出物理内存,也会无法启动,启动报错。



vim /etc/elasticsearch/config/jvm.options



3、配置ARP参数



vim /etc/sysctl.conf



sysctl -p



4、修改/etc/security/limits.conf



vim




/etc/security/limits.conf 末尾输入



步骤三:启动服务



systemctl start elasticsearch








#启动



systemctl status elasticsearch








#查看



systemctl enable elasticsearch








#开机启动



systemctl stop elasticsearch








#停止



访问测试:服务机ip地址 9200



安装Kibana:




安装ES时添加清华yum源中已经包含了kibana,



下面直接使用yum安装即可。



步骤一:安装软件



yum install -y kibana



步骤二:配置Kibana界面



vim /etc/kibana/kibana.yml



步骤三:启动服务



systemctl start kibana








#启动



systemctl enable kibana








#开机启动



systemctl status kibana








#查看



systemctl stop kibana








#停止



访问网页验证:



安装Logstash:




(logstash常用于日志系统中做日志采集设备,最常用于ELK中作为日志收集器使用)



安装ES时添加清华yum源中已经包含了Logstash,



下面直接使用yum安装即可。



步骤一:安装软件



yum install -y logstash



启动




后可能




会提示failed (Result: start-limit)错误,



具体原因在/var/log/messages中可以查看到:



此时需要指定环境变量:



vim




/etc/sysconfig/logstash



添加


JAVA_HOME=/usr/java



步骤二:启动服务



systemctl start logstash








#启动



systemctl enable logstash








#开机启动



systemctl status logstash








#查看



systemctl stop logstash








#停止



因为




logstash常用于日志系统中做日志采集设备,在此我们没有对其进行配置,也没有做数据演示,所以服务是找不到的。



版权声明:本文为2302_77582029原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。