Apache Flume不在HDFS文件夹中存储数据

问题描述

我正在Windows上工作,我想从Twitter获取推文。我为此使用Apache Flume和Hadoop。 Flume会获取推文,但不会将其存储在HDFS文件夹中,该文件夹设置为在flume.conf文件中存储数据的目标路径。我检查了一下,然后关闭了hadoop的安全模式,还给了我的文件夹所有权限,以便Flume可以在其中写入。我尝试了一切,但我真的不知道出了什么问题,请帮忙。

这是我的flume.conf文件

Twitteragent.sources=Twitter 
Twitteragent.channels=MemChannel 
Twitteragent.sinks=HDFS 

Twitteragent.sources.Twitter.type = org.apache.flume.source.twitter.TwitterSource
Twitteragent.sources.Twitter.channels = MemChannel



Twitteragent.sources.Twitter.consumerKey = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.consumerSecret = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.accesstoken = XXXXXXXXXXXXXXXXXX
Twitteragent.sources.Twitter.accesstokenSecret = XXXXXXXXXXXXXXXXXX

Twitteragent.sources.Twitter.keywords= big,data

Twitteragent.sinks.HDFS.channel=MemChannel 
Twitteragent.sinks.HDFS.type=hdfs
Twitteragent.sinks.HDFS.hdfs.path=hdfs://localhost:9000/flume
Twitteragent.sinks.HDFS.hdfs.fileType=DataStream
Twitteragent.sinks.HDFS.hdfs.writeformat=Text
Twitteragent.sinks.HDFS.hdfs.batchSize= 1000
Twitteragent.sinks.HDFS.hdfs.rollSize=0
Twitteragent.sinks.HDFS.hdfs.rollCount=10000
Twitteragent.sinks.HDFS.hdfs.rollInterval=600

Twitteragent.channels.MemChannel.type = memory
Twitteragent.channels.MemChannel.capacity=10000
Twitteragent.channels.MemChannel.transactionCapacity=1000

谢谢!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...