【庆祝网站进入百度搜索首页】淘宝券http://www.tbquan.cn(谢谢支持!)【庆祝网站流量突破10万ip大关!】淘宝券http://www.tbquan.cn大数据项目实战系列博文开启,记得关注微信公众号哦~觉得不错,记得收藏!>>
站长旗下网站:淘宝圈-网盘搜索引擎 | 【原创】搜索引擎(已上线,谢谢支持) | 编程笔记wiki(陆续上线) | 雷乾坤编程学习导航(待完善) | 攻城狮VIP影院(搜看各种vip) | 攻城狮VIP解析站(搜看各种vip) | it快速自学搜索
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession

/**
  * Created by zengxiaosen on 16/9/23.
  */
object operJson_and_parquet {

  def main(args: Array[String]): Unit = {
    val sparkconf = new SparkConf().setAppName("operJsonAndParquet").setMaster("local")
    val ss = SparkSession.builder()
      .config(sparkconf)
      .getOrCreate()

    val sc = ss.sparkContext
    import ss.implicits._
    //读文本文件,生成普通rdd,可以通过toDF转化为dataframe,进而使用sql
    val fileRDD = sc.textFile("/opt/tarballs/spark_kafka/beifengspark/src/main/scala/2015082818")
    ss.read.json("/opt/tarballs/spark_kafka/beifengspark/src/main/scala/people.json")
      .createOrReplaceTempView("people")
    val rs = ss.sql("select * from people")
    rs.printSchema()
    rs.show()
    ss.read.parquet("/opt/tarballs/spark_kafka/beifengspark/src/main/scala/users.parquet")
      .createOrReplaceTempView("users")
    val rs2 = ss.sql("select * from users")
    rs2.printSchema()
    rs.show()

    sc.stop()
    ss.stop()

  }

}

更多

名字:

个人主页地址:

E-mail:

内容:

评论列表