最新消息:非无江海志,潇洒送日月

科学研究

Ubuntu下使用Spark Streaming处理来自FlumeNG的流数据基本方法

江海志 3年前 (2015-11-17) 3175浏览 0评论

SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统,可以对多种数据源(如Kdfka、Flume、Twitter、Zero和TCP 套接字)进行类似map、reduce、join、window等复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。   Spark Streaming流式处理系统特点有:  将流式计算分解成一系列...

Linux下基于Hadoop的Spark1.2单机安装

江海志 3年前 (2015-11-15) 3033浏览 0评论

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6,Hadoop2.6的单机安装请见:http://www.cnblogs.com/zouzhongfan/p/4309405.htmlHive:Hive0.13,Hive0.13的安装请见:http...

Ubuntu下基于hadoop安装Spark开发环境

江海志 3年前 (2015-11-15) 2723浏览 0评论

Ubuntu 64基本环境配置 安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.0_45            下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载scala-2.11.6....

Hadoop2.6在Linux下单机安装教程

江海志 3年前 (2015-11-10) 2774浏览

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root 二,安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1...

《Hadoop基础教程》之初识Hadoop

江海志 3年前 (2015-09-24) 2260浏览 0评论

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch...

谷歌MapReduce简单介绍入门教程

江海志 3年前 (2015-09-18) 2847浏览 0评论

江湖传说永流传:谷歌技术有”三宝”,GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机学会推荐会议里属于A类。SOSP在单数年举办,而OSDI...