logstash

  • Post author:
  • Post category:其他


Logstash

官方文档地址:[url]http://logstash.net/docs/1.4.2/tutorials/getting-started-with-logstash[/url]

logstash介绍参考自:

[url]http://www.infoq.com/cn/articles/review-the-logstash-book[/url]

[url]http://storysky.blog.51cto.com/628458/1158707/[/url]

What it is :Jruby编写的开源日志管理项目

Why use it: LogStash架构专为收集、分析和存储日志所设计。

组合使用:

LogStash使用一个开源Key/Value数据库Redis,用于在索引前队列化日志。同时还使用Elasticsearch索引化、存储日志,并作为查看系统的后端,使用kibana作为页面前端显示。

[img]http://dl2.iteye.com/upload/attachment/0101/9806/0395c4e8-f83a-34fa-b8e3-0276b3662123.jpg[/img]

[img]http://dl2.iteye.com/upload/attachment/0101/9808/c8900d05-2ea8-3c0e-859f-8dcf0050746b.png[/img]

注:

Redis不做存储(keys * 没有缓存信息)

Elasticsearch会做索引并且本地存储,所以即使关闭elasticsearch,如果没有清空存储的话,下次启动还是会有原来的日志信息的。

Logstash 默认是从启动之后开始读取日志信息,即如果读取的日志文件中有之前的日志(但是在logstash启动之前的,logstash是不做读取的)。如果logstash在启动之后停止了,之后启动时停止期间的日志也是不会被读取的。

Elasticsearch 清理索引信息:[url]http://storysky.blog.51cto.com/628458/1179906[/url]

开始:

1、安装

2、编写配置文件

3、组合redis、elasticsearch

安装:

curl -O https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

tar zxvf logstash-1.4.2.tar.gz

logstash是开箱即用的软件,类似于windows上的免安装的绿色版本。

Logstash解压缩之后的目录结构

[img]http://dl2.iteye.com/upload/attachment/0101/9812/b3f20155-fc1d-3e82-b54e-58c39ca70bcd.png[/img]

命令行输如入/出测试:

 bin/logstash -e 'input { stdin { } } output { stdout {} }'

stdin :命令行参数输入

stdout:命令行输出。

-e默认以后面给定字符作为配置(不启用.conf的配置文件)

详细安装启动过程参考:[url]http://storysky.blog.51cto.com/628458/1158707/[/url]

ps:  最新版本的logstash中是默认内置了kibana和elasticsearch的

Elasticsearch

ElasticSearch 是构建在Apache Lucene之上的的搜索引擎服务,开源(Apache2协议),分布式,提供RESTful风格支持。

[url]http://www.nosqldb.cn/1368777378160.html[/url]

Logstash命令行默认参数

[img]http://dl2.iteye.com/upload/attachment/0101/9820/6d1e994e-7869-3ed0-8afd-af4c7171639b.png[/img]

特殊案例说明:

1、删除全部日志文件之后是否还能够保存数据

logstash不提供存储功能,redis只做队列处理,不做缓存,elasticsearch做索引、本地持久化处理,因此,只要elasticsearch未停止,日志信息是不会丢失的。

elasticsearch提供了清理索引的接口:

# curl -XDELETE ‘http://172.16.1.16:9200/logstash-2013.03.*’

清理掉了所有 3月份的索引文件

主页上的详细介绍, [url]http://www.elasticsearch.org/guide/reference/api/delete/[/url]

2、logstash重启之后是否能够保存数据

logstash重启之后,停止期间的日志信息是不会读取的。

http://chenryn.gitbooks.io/logstash-best-practice/

https://github.com/chenryn/logstash-best-practice-cn

In the end. 谢谢我的同事伟航,帮助的整理。



版权声明:本文为ahappyman原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。