阿里云
发表主题 回复主题
  • 1966阅读
  • 1回复

fluentd结合kibana、elasticsearch实时搜索分析hadoop集群日志

级别: 小白
发帖
0
云币
-4





问题导读
1、什么是Fluentd?
2、如何安装部署kibana 3?






Fluentd是一个开源收集事件和日志系统,它目前提供150+扩展插件让你存储大数据用于日志搜索,数据分析和存储。

官方地址http://fluentd.org/  插件地址http://fluentd.org/plugin/


Kibana 是一个为 ElasticSearch 提供日志分析的 Web ui工具,可使用它对日志进行高效的搜索、可视化、分析等各种操作。官方地址http://www.elasticsearch.org/overview/kibana/

elasticsearch 是开源的(Apache2协议),分布式的,RESTful的,构建在Apache Lucene之上的的搜索引擎.


官方地址http://www.elasticsearch.org/overview/    中文地址 http://es-cn.medcl.net/


具体的工作流程就是利用fluentd 监控并过滤hadoop集群的系统日志,将过滤后的日志内容发给全文搜索服务ElasticSearch, 然后用ElasticSearch结合Kibana 进行自定义搜索web页面展示.


下面开始说部署方法和过程。以下安装步骤在centos 5 64位测试通过

一、  elasticsearch安装部署

elasticsearch 官方提供了几种安装包,适用于windows的zip压缩包,适用于unix/linux的tar.gz压缩包,适用于centos系统的rpm包和ubuntu的deb包。大家可以自己选择安装使用。

因为elasticsearch 需要java环境运行,首先需要安装jdk,安装步骤就省略了。

使用.tar.gz压缩包安装部署的话,先下载压缩包


  1. # wget  https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.5.tar.gz




  2. # tar zxvf elasticsearch-0.90.5.tar.gz




  3. ////////////如果是单机部署




  4. # cd elasticsearch-0.90.5




  5. # elasticsearch-0.90.5/bin/elasticsearch -f




  6. 就可以启动搜索服务了,查看端口9200是否打开,如果打开说明启动正常。




  7. ////////////////如果是部署集群的话,需要进行配置




  8. 例如在192.168.0.1   192.168.0.2 两台服务器部署,两台服务器都安装好jdk,下载elasticsearch 解压缩,然后编辑配置文件




  9. //////////////////////192.168.0.1   服务器编辑文件




  10. vi elasticsearch-0.90.5/config/elasticsearch.yml




  11. 删除cluster.name 前面注释,修改集群名称




  12. cluster.name: es_cluster


  13. 删除node.name前注释 ,修改节点名称,不修改的话,系统启动后会生成随即node名称。




  14. node.name: "elastic_inst1"




  15. node.master: true    设置该节点为主节点




  16. /////////////////////////192.168.0.2  编辑文件




  17. vi elasticsearch-0.90.5/config/elasticsearch.yml




  18. 删除cluster.name 前面注释,修改集群名称




  19. cluster.name: es_cluster


  20. 删除node.name前注释 ,修改节点名称,不修改的话,系统启动后会生成随即node名称。




  21. node.name: "elastic_inst2"




  22. node.master: false    设置该节点为主节点






  23. 分别启动两台服务器的服务后,在192.168.0.2的日志中会看到




  24. [elastic_inst2] detected_master [elastic_inst1]     日志信息。说明集群连接成功。




复制代码



二、安装部署fluentd

在需要监控分析的hadoop集群节点中安装fluentd,安装步骤很简单


  1. curl -L http://toolbelt.treasure-data.com/sh/install-redhat.sh | sh


  2. 安装完成后,编辑配置文件


  3. # vim /etc/td-agent/td-agent.conf




  4. [html] view plaincopyprint?在CODE上查看代码片派生到我的代码片


  5. <source>  


  6.   type tail  #### tail方式采集日志  


  7.   path /var/log/hadoop/mapred/hadoop-mapred-tasktracker-node-128-70.log   ### hadoop日志路径  


  8.   pos_file /var/log/td-agent/task-access.log.pos  


  9.   tag task.mapred  


  10.   format /^(?<message>.+(WARN|ERROR).+)$/   #### 收集error 或者warn 日志。  


  11. </source>  


  12.   


  13. <match task.**>  


  14.   host 192.168.0.1  #####  <span style="font-family:Arial,Helvetica,sans-serif">elasticsearch 服务器地址</span>  


  15.   type elasticsearch  


  16.   logstash_format true  


  17.   flush_interval 5s  


  18.   include_tag_key true  


  19.   tag_key mapred  


  20. </match>  




  21. 启动fluentd 服务


  22. # service td-agent start




复制代码




三、安装部署kibana 3

kibana 3 是使用html 和javascript 开发的web ui前端工具。


  1. 下载 wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip




  2. 解压缩 unzip kibana-latest.zip




  3. 安装apache    yum -y install httpd




  4. cp -r  kibana-latest /var/www/html




  5. 因为我将kibana3 安装在和elasticsearch同一台服务器中,所以不用修改配置文件




  6. 启动apache  service httpd start


复制代码




打开浏览器 http://ip/kibana 就可以看到kibana 界面


初次使用kibana 需要自己定义模块








本文转载自:http://blog.csdn.net/jiedushi/article/details/12003171




级别: 新人
发帖
2
云币
2
怎么把flutflutend 解析的时间转换成时间戳,存入到es急急急
发表主题 回复主题
« 返回列表
«12345678910»
共10页
上一主题下一主题

限100 字节
批量上传需要先选择文件,再选择上传
 
验证问题: ECS是阿里云提供的什么服务? 正确答案:云服务器
上一个 下一个
      ×
      全新阿里云开发者社区, 去探索开发者的新世界吧!
      一站式的体验,更多的精彩!
      通过下面领域大门,一起探索新的技术世界吧~ (点击图标进入)

      版权声明

      开发者论坛为你提供“fluentd结合kibana、elasticsearch实时搜索分析hadoop集群日志”的内容,论坛中还有更多关于 Elasticsearch安装日志kibanamyelipse90安装压缩过滤器 的内容供你使用,该内容是网友上传,与开发者论坛无关,如果需要删除请联系zixun-group@service.aliyun.com,工作人员会在5个工作日内回复您。