SparkSql Join Types详解

已于 2024-12-23 14:28:20 修改
阅读量392 收藏
点赞数
分类专栏： Spark最佳实战与性能优化 SparkSQL权威指南 文章标签： spark sparksql join jointypes anti semi
于 2024-01-31 11:26:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Android_xue/article/details/135945520
版权
本文详细介绍了Spark SQL中的各种JOIN类型，包括INNER JOIN、LEFT JOIN、RIGHT JOIN、FULL JOIN、CROSS JOIN、SEMI JOIN和ANTI JOIN，并通过案例实战展示了每种JOIN类型的使用，帮助读者理解它们的区别和应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

我们都知道join是根据某些条件把两行数据关联起来，而且也熟悉常用的一些join type，如inner、left、right等等，但是有些人可能对semi、anti或者一些语法的缩写和全写搞的不是很清楚，这篇博客就用简单明了的案例把这些都讲明白。

Join语法

relation { [ join_type ] JOIN [ LATERAL ] relation [ join_criteria ] | NATURAL join_type JOIN [ LATERAL ] relation }
  1. 参数
  • relation
    指定要进行join两个或多个表、dataset
  • join_type
    指定关联类型

    [ INNER ] | CROSS | LEFT [ OUTER ] | [ LEFT ] SEMI | RIGHT [ OUTER ] | FULL [ OUTER ] | [ LEFT ] ANTI

  • join_criteria
    指定两个表关联的字段，如 on t1.id = t2.id
  1. join types

  • inner join
    in

了解本专栏 订阅专栏 解锁全文 超级会员免费看
第68课：SparkSQL JDBC实战详解学习笔记
slq1023的博客
04-08 6151
第68课：SparkSQL JDBC实战详解学习笔记 本期内容： 1 SparkSQL操作关系型数据库的意义 2 SparkSQL操作关系型数据库实战   一．使用Spark通过JDBC操作数据库 SparkSQL可以通过JDBC从传统关系型数据库中读写数据，读取数据后直接生成的是DataFrame，然后再加上借助于Spark内核的丰富的API来进行各种操作。 不通过SparkSQL
Spark中的JOIN机制
Java/Python大数据随笔
07-16 1744
Apache Spark共提供了五种JOIN机制，其中常用的有三种：Shuffle Hash Join、Broadcast Hash Join及Sort Merge Join，它们都基于Hash Join，只不过需要在Hash Join前后进行Shuffle、Broadcast或Sort实际上，Hash Join算法来自于传统数据库，而Shuffle、Broadcast和Sort是大数据（数据仓库）在分布式场景下两者结合的产物。因此，我们也说大数据（数据仓库）是由传统数据库发展而来的。
大数据技术架构(组件)33——Spark：Spark SQL--Join Type
sysocc的博客
02-12 774
1.5、如果用户没有指定任何Join Hint，那么就根据Join的策略Broadcast Hash Join ---> Shuffle Hash Join --> Sort Merge Join ---> Cartesian Product Join --> Broadcast Nested Loop Join顺序选择Join策略。当然用户也可以手动选择策。1、Shuffle阶段：对两个表参与Join的keys使用相同的分区算法和分区数进行分区，目的就是为了保障相同的key都分配到相同的分区里面。
Spark SQL 测试JoinType中所有join的类型，便于理解
weixin_34005042的博客
05-25 1500
准备 测试数据 trade订单号 卖家 买家 买家城市 1 A 小王 北京 2 B 小李 天津 3 A 小刘 北京 order所属订单号 买家 商品名称 价格 发货时间 1 小王 电视 12 2015-08-01 09:08:31 1 小王 冰箱 24 2015-08-01 09:08:14 2 小李 空调 12 ...
sparksql join方式
05-14 1520
Broadcast Hash Join：适合一张很小的表和一张大表进行JoinShuffle Hash Join：适合一张小表(比上一个大一点)和一张大表进行JoinSort Merge Join：适合两张大表进行JoinCartesian Hash Join: 笛卡尔连接方式，性能很差NestedLoopJoin : 性能很差对应以下几个类，Spark会根据CBO和AQE来决定使用哪种join方式。
[Spark] Spark SQL Join Types with examples
mouliu6141的博客
09-18 300
Spark SQL supports all basic join operations available in traditional SQL, though Spark Core Joins has huge performance issues when not designed with care as it involves data shuffling across the network, in the other hand Spark SQL Joins comes with more
SparkSQL join
weixin_72649242的博客
12-18 1787
SparkSQL join_type
SparkSQL中的DataFrame操作详解
介绍SparkSQL ## 1.1 SparkSQL简介 SparkSQL是Apache Spark生态系统中的一个模块，它提供了一种用于处理结构化数据的高级数据处理接口。SparkSQL主要借鉴了传统关系型数据库的查询语言SQL的表达能力和优化技术，...
SparkSQL知识点总结
默主归沙的博客
06-06 4077
零基础学sparksql
Apache Spark 中支持的七种 Join 类型
qq_32445015的博客
06-07 1399
数据分析中将两个数据集进行 Join 操作是很常见的场景。我在这篇文章中介绍了Spark支持的五种 Join 策略，本文我将给大家介绍一下 ApacheSpark中支持的 Join 类型（Join Type）。 目前 Apache Spark 3.0 版本中，一共支持以下七种 Join 类型： INNER JOIN CROSS JOIN LEFT OUTER JOIN RIGHT OUTER JOIN FULL OUTER JOIN LEFT SEMI JOIN LEFT ANT...
Apache Spark 中支持的七种 Join 类型简介
过往记忆大数据
10-25 7937
数据分析中将两个数据集进行 Join 操作是很常见的场景。我在 这篇 文章中介绍了 Spark 支持的五种 Join 策略，本文我将给大家介绍一下 Apache Spark 中支持的 J...
Spark的join类型和策略
互联网知识分享
08-01 1252
在Spark中进行join操作时，可以通过不同的参数进行配置和调优，以下是一些常用参数的介绍：joinType：指定连接类型，默认为inner。joinHint：指定连接策略的提示，包括"shuffle"和。：设置广播超时时间，默认为5分钟。：设置自动广播的阈值，默认为10MB。：设置洗牌操作的分区数，默认为200。下面是一个完整的Spark代码案例，演示了如何使用不同的join类型和策略：importvalspark =.builder()
DataSet的Join操作
SunnyRivers
05-10 2976
来自官网 Spark2.4版本Join算子的重载方法有6种，分别如下： 第一种： def join(right: Dataset[_], joinExprs: Column, joinType: String): DataFrame Join with another DataFrame, using the given join expression. The following per...
SQL in 与inner join查询结果的区别
du_qi的博客
05-03 1万+
in和inner join在大多数情况下都是返回两表的交集，但是两者还是有区别的，如下例子 mysql> select * from a; +------+------+ | id   | name | +------+------+ |    1 | a    | |    2 | b    | |    3 | c    | +------+------+ mysql> se
Spark Sql Join操作类型
大怀特的博客
11-16 1173
Spark DataFrame支持所有基本SQL Join类型的操作,如INNER,RIGHT OUTER,LEFT ANTI, LEFT SEMI, CROSS, SELF JOIN. Spark SQL Join操作是宽转换操作,结果数据会重组在网络中,因此会有非常大的性能问题,当不仔细设计.
Spark DataFrame中的join类型
热门推荐
anjingwunai的专栏
07-17 4万+
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：www hello 百度 Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 sdfa sdsd* sd *快捷键 加粗 Ctrl +
spark sql 之join等函数用法
zhousishuo
06-15 3万+
spark sql join cast row_number()
Spark SQL Join类型
sperospera的博客
04-12 1978
Spark SQL join工作是通过使用executors 操作DataFrame的多个分区，具体的过程和性能依赖join type和datasets的特征。join的过程中，包含了shuffle join 和broadcast join； 在两个大的datasets join的过程中，进行了 shuffle join，使左右的dataset的分区数据到达executors。如： ...
sparksql join原理
最新发布
03-04
### Spark SQL Join 操作的实现机制 在Spark SQL中，Join操作是通过多种策略来优化性能并适应不同规模的数据集。当涉及到两个或更多数据集之间的连接时，Spark会自动选择最合适的算法来进行高效处理。 对于较小的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

SunnyRivers

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值