#
以前都是使用Sqoop来完成数据从生成的hdfs数据存储上来抽取至oracle的数据库：sqoop抽取语句：sqoop export --connect "jdbc:oracle:thin:
简介 Spark SQL提供了两种方式用于将RDD转换为Dataset。 使用反射机制推断RDD的数据结构 当spark应用可以推断RDD数据结构时，可使用这种方式。这种基于反射的方法可以
折腾了一天，终于解决了上节中result3的错误。至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-lis
最近项目中使用SparkSQL来做数据的统计分析，闲来就记录下来。 直接上代码： import org.apache.spark.SparkContext import org
前世今生 Hive&Shark 随着大数据时代的来临，Hadoop风靡一时。为了使熟悉RDBMS但又不理解MapReduce的技术人员快速进行大数据开发，Hive应运而生。Hive是当时唯
因为从事大数据方面的工作，经常在操作过程中数据存储占空间过大，读取速率过慢等问题，我开始对parquet格式存储进行了研究，下面是自己的一些见解（使用的表都是项目中的，大家理解为宽表即可）： 一、Sp
摘要 sparkSQL在使用cache缓存的时候，有时候缓存可能不起作用，可能会发出缓存是假的吧的感慨。现在我们就把这个问题说道说道。问题 场景描述 当我们通过spark进行统计和处理数据时，发现他是
