最新消息:非无江海志,潇洒送日月

标签:Spark

Big Data

RDD:基于内存的集群计算容错抽象(Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing)

江海志 8年前 (2016-01-15) 5704浏览 0评论

该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译,我是基于科学网翻译基础上进行优化、修改、补充,这篇译文翻译得很不错。在此基础上,我增加了来自英文原文的图和表格数据,以及译文中缺少的未翻...

Big Data

Linux下基于Hadoop的Spark1.2单机安装

江海志 8年前 (2015-11-15) 5085浏览 0评论

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root Hadoop:Hadoop2.6,Hadoop2.6的单机安装请见:http://www.cnblogs.com/zouzhongfan/p/4309405.htmlHive:Hive0.13,Hive0.13的安装请见:http...

Big Data

Ubuntu下基于hadoop安装Spark开发环境

江海志 8年前 (2015-11-15) 4822浏览 0评论

Ubuntu 64基本环境配置 安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.0_45            下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载scala-2.11.6....