Hadoop实现多表关联

最新推荐文章于 2018-12-09 15:18:28 发布

lsdnh521

最新推荐文章于 2018-12-09 15:18:28 发布

阅读量1k

点赞数 1

分类专栏：机器学习/大数据文章标签： mapreduce 算法编程 hadoop

本文链接：https://blog.csdn.net/lsdnh521/article/details/50196285

版权

对于用Hadoop实现多表关联的算法，在理解mapreduce编程模型的基础上，实现起来并不难！

如下有两个文件：分别为factory.txt和addressID.txt

factoryname addressed
Beijing Red Star 1
Shenzhen Thunder 3
Guangzhou Honda 2
Beijing Rising 1
Guangzhou Development Bank 2
Tencent 3
Bank of Beijing 1

addressID addressname
1 Beijing
2 Guangzhou
3 Shenzhen
4 Xian

最终输出的文件，要实现工厂名称与其地址的一对一对应。

思路如下：可以根据两个文件中都存在的address数字进行关联。由于经过shuffle和sort后最后给reduce的是一个<key,(value-list)>,因此可以将数字作为这里的key，那么每个数字对应的<value-list>就是包含工厂名称以及地址的一个集合，在这个集合中，所有工厂名都属于这个集合中的那个地址，现在的问题就是要如何区分出工厂和地址，这很简单，在map里直接对地址和工厂名加入相应的标志就可以了。最后在reduce里进行解析，去除工厂名标志和地址标志，对单个地址和多个或一个工厂名称的集合做笛卡尔积，就可以求出每个工厂名与其对应的地址。