阿里云
发表主题 回复主题
  • 670阅读
  • 9回复

【求助】flume中source的event问题

级别: 小白
发帖
0
云币
-16




大家好:

我使用avro接口,那么source中每个event的数量是多少条?是否可以配置? 假如说可以配置,那么配置成10条,那么如果进入的数据只有5条,那么会产针这5条数据推至channel中?

级别: *
发帖
*
云币
*

在Memory Channel中可以配置,最大events 的数量及每次传输的数量

例如下面:

最大容量为10000

每次事务为100

100events 代表source传递的最大数量,以及channel传递给sink的最大数量
a1.channels = c1

a1.channels.c1.type = memory

a1.channels.c1.capacity = 10000

a1.channels.c1.transactionCapacity = 100

a1.channels.c1.byteCapacityBufferPercentage = 20

a1.channels.c1.byteCapacity = 800000



【求助】flume中source的event问题-flume source type


1.png (9.66 KB, 下载次数: 1)



下载附件

 保存到相册



2014-12-30 09:38 上传










地址

http://flume.apache.org/FlumeUserGuide.html


级别: *
发帖
*
云币
*
tntzbzc 发表于 2014-12-31 12:28

不清楚了,官网看看是不是有这方面的资料。只看到官网上说文本一条是一个event



多谢哥们的回复。

我1月抽空研究一下flume的源码。有结果时会回复这个贴子的。

级别: *
发帖
*
云币
*
tntzbzc 发表于 2014-12-30 13:55

这个是接受的evens



一个events是一条记录吗?
级别: *
发帖
*
云币
*
lixiaoliang7 发表于 2014-12-30 18:00

一个events是一条记录吗?



不一定,如果格式为文本的话,应该是的。
级别: *
发帖
*
云币
*
tntzbzc 发表于 2014-12-30 05:40

在Memory Channel中可以配置,最大events 的数量及每次传输的数量

例如下面:

最大容量为10000



哥们好:是这样
【求助】flume中source的event问题-flume source


df.jpg (18.9 KB, 下载次数: 1)



下载附件

 保存到相册



2014-12-30 17:22 上传








在cloudera的监控中,source说每秒的事件是13.3,这个13.3是记录数吗?
级别: *
发帖
*
云币
*


可以查看官网,avro source中并没有这个配置项


Listens on Avro port and receives events from external Avro client streams. When paired with the built-in Avro Sink on another (previous hop) Flume agent, it can create tiered collection topologies. Required properties are in bold.
Property NameDefaultDescription
channels



type

The component type name, needs to be avro

bind


hostname or IP address to listen on

port


Port # to bind to

threads


Maximum number of worker threads to spawn

selector.type


selector.*


interceptors


Space-separated list of interceptors

interceptors.*


compression-type

none

This can be “none” or “deflate”. The compression-type must match the compression-type of matching AvroSource

ssl

false

Set this to true to enable SSL encryption. You must also specify a “keystore” and a “keystore-password”.

keystore


This is the path to a Java keystore file. Required for SSL.

keystore-password


The password for the Java keystore. Required for SSL.

keystore-type

JKS

The type of the Java keystore. This can be “JKS” or “PKCS12”.

exclude-protocols

SSLv3

Space-separated list of SSL/TLS protocols to exclude. SSLv3 will always be excluded in addition to the protocols specified.

ipFilter

false

Set this to true to enable ipFiltering for netty

ipFilter.rules


Define N netty ipFilter pattern rules with this config.
级别: *
发帖
*
云币
*
lixiaoliang7 发表于 2014-12-30 18:24

如何是arvo呢?



不清楚了,官网看看是不是有这方面的资料。只看到官网上说文本一条是一个event
级别: *
发帖
*
云币
*
lixiaoliang7 发表于 2014-12-30 17:22

哥们好:是这样 在cloudera的监控中,source说每秒的事件是13.3,这个13.3是记录数吗?
这个是接受的evens
级别: *
发帖
*
云币
*
tntzbzc 发表于 2014-12-30 14:12

不一定,如果格式为文本的话,应该是的。



如何是arvo呢?
发表主题 回复主题
« 返回列表
«12345678910»
共10页
上一主题下一主题

限100 字节
如果您提交过一次失败了,可以用”恢复数据”来恢复帖子内容
 
验证问题: 阿里云官网域名是什么? 正确答案:www.aliyun.com
上一个 下一个
      ×
      全新阿里云开发者社区, 去探索开发者的新世界吧!
      一站式的体验,更多的精彩!
      通过下面领域大门,一起探索新的技术世界吧~ (点击图标进入)

      版权声明

      开发者论坛为你提供“【求助】flume中source的event问题”的内容,论坛中还有更多关于 keystorejksnetty4.3ssl通信失败#jks 生成keystore 的内容供你使用,该内容是网友上传,与开发者论坛无关,如果需要删除请联系zixun-group@service.aliyun.com,工作人员会在5个工作日内回复您。