数仓建模—ID Mapping(下)

本文详细介绍了如何使用图计算实现ID Mapping,通过构建连通图解决不同平台和设备ID的关联问题,最终生成One ID。文章探讨了ID Mapping的难点,如需要大量关联代码和时间问题,并阐述了图计算的原理,包括图数据库、图数据查询、图数据分析和图数据可视化。通过Spark GraphX组件的示例代码展示了实际操作过程,并讨论了存在的问题,如弱关联的误判,提出了阈值过滤的解决方案。

ID Mapping(下)

上一节我们已经讲过什么是ID Mapping 了,顾名思义我们知道ID Mapping 的操作对象是ID,目标或者是动作是Mapping,也就是说我们要做的事情其实就是想把不同平台不同设备上的ID 打通,从而更好的去刻画用户,也就是说我们希望能打通用户各个维度的数据,从而更好的去服务业务服务用户。

上一节我们讲了常见的ID,例如登陆ID、设备ID 还有例如身份证号、手机号码等一些列的ID,都可以去标示一个用户,接下来我们就看一下如何去做ID Mapping,关于理论我们不多说。

这里有一点要说一下ID Mapping 做完之后我们就会做One ID ,也就是说我们为这些Mapping 上的ID 生成一个新的ID,这个ID 就是One ID,也就是说当我们的One ID 生成之后我们就可以使用这个ID 来打通所有的业务系统,关于One ID 可以参考下一篇文章。

ID Mapping 的难点

  1. 各个平台和各个设备ID 无法直接关联,所以要想关联需要找到关联对象,用SQL 举例就是如果你要想把 A 和 C关联起来,你必须找到可以同时和它们可以关联起来的B,而我们的用户ID 非常多,所以要想关联起来你不止要梳理清楚关联关系,而且你还得写大量的关联代码
  2. 时间问题,有些数据可能属于同一个人,但在某个阶段上,这些数据之间没有任何联系,那么这人的数据可能会被打上两个不同的标识,也就是说你需要在某一刻同时获得这些信息,但是这又是非常困难的。

图计算实现

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值