Spark

介绍

1. 由Scala写成

原理

1. 迭代数据可以保存在内存

体系

Spark Streaming(批处理)

实例

Word Count

JavaRDD<String> textFile = sc.textFile("hdfs://...");
JavaPairRDD<String, Integer> counts = textFile
    .flatMap(s -> Arrays.asList(s.split(" ")).iterator())
    .mapToPair(word -> new Tuple2<>(word, 1))
    .reduceByKey((a, b) -> a + b);
counts.saveAsTextFile("hdfs://...");

http://spark.apache.org/examples.html

资料

• 官网
• ccblog
• Spark的Java API例子详解
• spark java 示例代码wordcount
• 内存有限的情况下Spark如何处理T级别的数据
• 第三篇：一个Spark推荐系统引擎的实现
• spark的UI界面