最新消息:非无江海志,潇洒送日月

标签:Flume

Big Data

Ubuntu下使用Spark Streaming处理来自FlumeNG的流数据基本方法

江海志 9年前 (2015-11-17) 5724浏览 0评论

SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统,可以对多种数据源(如Kdfka、Flume、Twitter、Zero和TCP 套接字)进行类似map、reduce、join、window等复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。   Spark Streaming流式处理系统特点有:  将流式计算分解成一系列...