#
Spark 框架 Spark与Storm的对比对于Storm来说：1、建议在那种需要纯实时，不能忍受1秒以上延迟的场景下使用，比如实时金融系统，要求纯实时进行金融交易和分析2、此外，如果对于实时计算的
本期内容：Spark Streaming资源动态分配Spark Streaming动态控制消费速率为什么需要动态？Spark默认情况下粗粒度的，先分配好资源再计算。而Spark Streaming有高
1. Spark Core的核心功能 (1)SparkContext: 通常而言，DriverApplication 的执行与输出都是通过SparkContext
一、简介 Spark 于 2009 年诞生于加州大学伯克利分校 AMPLab，2013 年被捐赠给 Apache 软件基金会，2014 年 2 月成为 Apache 的顶级项目。相对于 MapRedu
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapRedu
Spark-submit 测试任务提交 ./spark-submit --keytab /usr/local/noah/basp-dataprocess-log/conf/noah.keytabs -
IDEA 开发 WordCount（Spark）报错Word
Spark核心概念简介 一个Spark应用都由驱动器程序发起集群上的各种并发操作，一个驱动器程序一般包含多
[TOC] 一、spark调优概论 1.1 什么是spark调优 spark的计算本质是分布式计算，程序的性能受集群中的任何因素的影响，如：CPU、网络带宽、内存等。一般情况下，如果内存足够大
1、免秘钥登录配置： ssh-keygen cd .ssh touch authorized_keys cat id_rsa.pub > authorized_keys chmod 600 au
