最新消息:非无江海志,潇洒送日月

科学研究

权限控制:Roles Versus Groups

权限控制:Roles Versus Groups

江海志 4年前 (2018-01-23) 2560浏览 0评论

Author: Ravi Sandhu The question of what is different between roles and groups inevitably arises. Attendees at the workshop felt that if this workshop can settle this issue, that al...

数据库顶级会议——ACM VLDB(PVLDB)会议介绍

江海志 6年前 (2016-02-07) 9795浏览 0评论

VLDB和另外两大数据库会议SIGMOD、ICDE构成了数据库领域的三个顶级会议。VLDB (Very Large Data Base) 是数据库研究人员,供应商,参与者,应用开发者,以及用户一年一度的主要国际论坛。VLDB国际会议于1975在美国的弗雷明汉马 (Framingham MA) 成立,第一届VLDB就吸引了近100篇文章和150多个参与者,取得了巨大的成功。随着时...

RDD:基于内存的集群计算容错抽象(Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing)

江海志 6年前 (2016-01-15) 4684浏览 0评论

该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译,我是基于科学网翻译基础上进行优化、修改、补充,这篇译文翻译得很不错。在此基础上,我增加了来自英文原文的图和表格数据,以及译文中缺少的未翻...

Ubuntu下使用Spark Streaming处理来自FlumeNG的流数据基本方法

江海志 6年前 (2015-11-17) 4326浏览 0评论

SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统,可以对多种数据源(如Kdfka、Flume、Twitter、Zero和TCP 套接字)进行类似map、reduce、join、window等复杂操作,并将结果保存到外部文件系统、数据库或应用到实时仪表盘。   Spark Streaming流式处理系统特点有:  将流式计算分解成一系列...

Linux下基于Hadoop的Spark1.2单机安装

江海志 6年前 (2015-11-15) 4044浏览 0评论

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6,Hadoop2.6的单机安装请见:http://www.cnblogs.com/zouzhongfan/p/4309405.htmlHive:Hive0.13,Hive0.13的安装请见:http...

Ubuntu下基于hadoop安装Spark开发环境

江海志 6年前 (2015-11-15) 3724浏览 0评论

Ubuntu 64基本环境配置 安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.0_45            下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载scala-2.11.6....

Hadoop2.6在Linux下单机安装教程

江海志 6年前 (2015-11-10) 3997浏览

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root 二,安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 1...

《Hadoop基础教程》之初识Hadoop

江海志 6年前 (2015-09-24) 3292浏览 0评论

Hadoop一直是我想学习的技术,正巧最近项目组要做电子商城,我就开始研究Hadoop,虽然最后鉴定Hadoop不适用我们的项目,但是我会继续研究下去,技多不压身。 《Hadoop基础教程》是我读的第一本Hadoop书籍,当然在线只能试读第一章,不过对Hadoop历史、核心技术和应用场景有了初步了解。 Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch...

谷歌MapReduce简单介绍入门教程

江海志 6年前 (2015-09-18) 4304浏览 0评论

江湖传说永流传:谷歌技术有”三宝”,GFS、MapReduce和大表(BigTable)! 谷歌在03到06年间连续发表了三篇很有影响力的文章,分别是03年SOSP的GFS,04年OSDI的MapReduce,和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议,在计算机学会推荐会议里属于A类。SOSP在单数年举办,而OSDI...