天富娱乐登录网页版 在线玩水果机小游戏 在线玩水果机小游戏通过在线玩水果机小游戏连接在线玩水果机小游戏读写数据

天富娱乐登录网页版 在线玩水果机小游戏 在线玩水果机小游戏通过在线玩水果机小游戏连接在线玩水果机小游戏读写数据

在线玩水果机小游戏 在线玩水果机小游戏可以通过在线玩水果机小游戏从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。
一．从在线玩水果机小游戏中加载数据（在线玩水果机小游戏 Shell方式）
1.启动在线玩水果机小游戏 Shell，必须指定mysql连接驱动jar包
/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-shell \
--master spark://node1.tianfu2024.sbs:7077 \
--jars /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
--driver-class-path /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar

2.从mysql中加载数据
val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> "jdbc:mysql://192.168.10.1:3306/bigdata", "driver" -> "com.mysql.jdbc.Driver", "dbtable" -> "person", "user" -> "root", "password" -> "123456")).load()

3.执行查询
jdbcDF.show() 二．将数据写入到在线玩水果机小游戏中（打jar包方式）
1.编写在线玩水果机小游戏 在线玩水果机小游戏程序
package cn.itcast.spark.sql

import java.util.Properties
import org.apache.spark.sql.{在线玩水果机小游戏Context, Row}
import org.apache.spark.sql.types.{StringType, IntegerType, StructField, StructType}
import org.apache.spark.{在线玩水果机小游戏Conf, 在线玩水果机小游戏Context}

object JdbcRDD {
  def main(args: Array[String]) {
    val conf = new 在线玩水果机小游戏Conf().setAppName("在线玩水果机小游戏-Demo")
    val sc = new 在线玩水果机小游戏Context(conf)
    val sqlContext = new 在线玩水果机小游戏Context(sc)
        val personRDD = sc.parallelize(Array("1 tom 5", "2 jerry 3", "3 kitty 6")).map(_.split(" "))
        val schema = StructType(
      List(
        StructField("id", IntegerType, true),
        StructField("name", StringType, true),
        StructField("age", IntegerType, true)
      )
    )
        val rowRDD = personRDD.map(p => Row(p(0).toInt, p(1).trim, p(2).toInt))
        val personDataFrame = sqlContext.createDataFrame(rowRDD, schema)
        val prop = new Properties()
    prop.put("user", "root")
    prop.put("password", "123456")
        personDataFrame.write.mode("append").jdbc("jdbc:mysql://192.168.10.1:3306/bigdata", "bigdata.person", prop)
        sc.stop()
  }
}


2.用maven将程序打包

3.将Jar包提交到spark集群
/usr/local/spark-1.5.2-bin-hadoop2.6/bin/spark-submit \
--class cn.itcast.spark.sql.JdbcRDD \
--master spark://node1.tianfu2024.sbs:7077 \
--jars /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
--driver-class-path /usr/local/spark-1.5.2-bin-hadoop2.6/mysql-connector-java-5.1.35-bin.jar \
/root/spark-mvn-1.0-SNAPSHOT.jar