json数组类型的处理

数据

{
   "data": [{
      "账号信息": "【等级73 1-10级 无QQ好友】便宜出 ",
      "售价": "¥ 140.00",
      "热度": 112,
      "发布时间": "2022-04-23 14:01:36.766",
      "标题": "穿越火线CF\/电信区\/湖南电信一区",
      "图片数量": "2图"
   }]

}

处理结果 (写入到MySQL  要注意 def 这个方法卸载 def main  的下面  object  的里面)

/**
 * @author jiasongfan
 * @date 2022/7/8
 * @apiNote
 */

import com.alibaba.fastjson.{JSON, JSONArray}
import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time

import java.sql.{Connection, DriverManager, PreparedStatement}
import scala.beans.BeanProperty
import scala.io.Source
object Test01 {
  def main(args: Array[String]): Unit = {
  //  val env = StreamExecutionEnvironment.getExecutionEnvironment
   // env.setParallelism(1)
    val strings: Iterator[String] = Source.fromFile("D:\\E\\month9class\\day7-8-1\\flink_test\\data\\data.txt").getLines()
    var str=""
    for (elem <- strings) {
      str+=elem
    }
    val data1: data = JSON.parseObject(str, classOf[data])
    val list: List[sj] = data1.getData.toList
    for (elem <- list) {
   //   println(elem)
    saveToMysql(elem)
    }
  }
  def saveToMysql(elem:sj):Unit={
    Class.forName("com.mysql.jdbc.Driver")
    val conn: Connection = DriverManager.getConnection("jdbc:mysql://hdp1:3306/1912b?characterEncoding=utf8", "root", "root")
    val ps: PreparedStatement = conn.prepareStatement("insert into t_bb values (?,?,?,?,?,?)")
    ps.setString(1,elem.账号信息)
    ps.setString(2,elem.售价)
    ps.setString(3,elem.热度)
    ps.setString(4,elem.发布时间)
    ps.setString(5,elem.标题)
    ps.setString(6,elem.图片数量)
    ps.executeUpdate()
    ps.close()
    conn.close()
  }
}



case class data(@BeanProperty data:Array[sj])
case class sj(@BeanProperty 账号信息:String,@BeanProperty 售价:String,@BeanProperty 热度:String,
              @BeanProperty 发布时间:String,@BeanProperty 标题:String,@BeanProperty 图片数量:String)

如果出现表情 的解决办法


进入mysql 
输入 mysql -uroot -proot

show variables like 'charact%';

需要修改12356 
使用set = utf8mb4
jdbc:mysql://hdp1:3306/1912b?characterEncoding=utf8
&connectionCollation=utf8mb4_general_ci 
两者之间无空格
mysql> set character_set_connection =utf8mb4
    -> ;


mysql> set character_set_database =utf8mb4
    -> ;


mysql> set character_set_results =utf8mb4;


mysql> set character_set_server =utf8mb4;


mysql> set character_set_system  =utf8mb4;
 

终极办法   trycatch

//      try {
//        saveToMysql(elem)
//      } catch {
//        case  a: Exception=>print(a)
//      }
### 使用Hive SQL处理多层JSON数组 当使用Hive SQL来处理包含多层JSON数组的数据时,可以利用内置函数`get_json_object`以及`json_tuple`解析JSON字符串。对于更复杂的嵌套结构,通常会结合`LATERAL VIEW`和`explode`函数一起使用。 #### 解析单级JSON对象 对于简单的JSON字段提取,可以直接应用`get_json_object`: ```sql SELECT get_json_object(json_column, '$.key') AS value FROM table_name; ``` 此方法适用于基本键值对形式的JSON数据[^1]。 #### 处理多层嵌套JSON数组 针对多层次嵌套的情况,则需采用更为复杂的方式来进行拆分和平铺操作。下面是一个具体例子展示如何读取并展开具有两层嵌套结构(`array_of_objects`)中的元素: ```sql WITH exploded_data AS ( SELECT id, explode(array_of_objects) as single_obj FROM source_table ) SELECT t.id, get_json_object(t.single_obj, '$.nestedKey') nested_value, explode(get_json_object(t.single_obj, '$.innerArray')) inner_element FROM exploded_data t; ``` 上述查询首先通过CTE(Common Table Expression)创建了一个临时表,在其中执行了一次爆炸(explode),将外层数组里的每一个对象单独取出;接着再次调用`get_json_object`获取内部属性,并进一步对外部对象内的内层数组进行了第二次爆炸操作,从而实现了对整个层次结构的有效遍历与访问。 为了支持这种类型的分区裁剪优化,确保启用了配置参数`spark.sql.hive.metastorePartitionPruning=true`以便提高性能效率。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值