江海志 9年前 (2016-02-07) 14259浏览 0评论
VLDB和另外两大数据库会议SIGMOD、ICDE构成了数据库领域的三个顶级会议。VLDB (Very Large Data Base) 是数据库研究人员，供应商，参与者，应用开发者，以及用户一年一度的主要国际论坛。VLDB国际会议于1975在美国的弗雷明汉马 (Framingham MA) 成立，第一届VLDB就吸引了近100篇文章和150多个参与者，取得了巨大的成功。随着时...
江海志 9年前 (2016-01-15) 6094浏览 0评论
该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很不错。在此基础上，我增加了来自英文原文的图和表格数据，以及译文中缺少的未翻...
江海志 9年前 (2015-11-17) 5722浏览 0评论
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。 Spark Streaming流式处理系统特点有： 将流式计算分解成一系列...
江海志 9年前 (2015-11-15) 5431浏览 0评论
一，安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：10.51.121.10 主机名：datanode-4 安装用户：root Hadoop：Hadoop2.6，Hadoop2.6的单机安装请见：http://www.cnblogs.com/zouzhongfan/p/4309405.htmlHive：Hive0.13，Hive0.13的安装请见：http...
江海志 9年前 (2015-11-15) 5193浏览 0评论
Ubuntu 64基本环境配置 安装JDK，下载jdk-8u45-linux-x64.tar.gz，解压到/opt/jdk1.8.0_45 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载scala-2.11.6....
江海志 9年前 (2015-11-10) 10393浏览
一，安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：10.51.121.10 主机名：datanode-4 安装用户：root 二，安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 1...
江海志 9年前 (2015-09-24) 4662浏览 0评论
Hadoop一直是我想学习的技术，正巧最近项目组要做电子商城，我就开始研究Hadoop，虽然最后鉴定Hadoop不适用我们的项目，但是我会继续研究下去，技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍，当然在线只能试读第一章，不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch...
江海志 9年前 (2015-09-18) 5779浏览 0评论
江湖传说永流传：谷歌技术有”三宝”，GFS、MapReduce和大表（BigTable）！ 谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI...