18、度量空间中更快的相似连接算法解析

度量空间中更快的相似连接算法解析

1. 快速连接算法(Quickjoin)

1.1 基本原理

快速连接算法主要聚焦于自连接问题。对于一般的 $A ⋊⋉B$ 连接情况,可以通过将 $S = A ∪B$,求解 $S ⋊⋉S$,并添加简单的检查来避免重复报告 $u$ 和 $v$ 都属于 $A$ 或都属于 $B$ 的对。

该算法的核心是将数据集 $S$ 递归地划分为小的子集,直到子集大小不超过某个小常数 $c$,此时算法切换到暴力嵌套循环方法。具体的(球)划分算法将集合划分为四个部分重叠的子集,步骤如下:
1. 从 $S$ 中随机选择两个枢轴点 $p_1$ 和 $p_2$。
2. 计算距离 $\rho = d(p_1, p_2)$。
3. 使用枢轴点 $p_1$ 和距离 $\rho$ 定义一个球,将空间划分为两部分:
- $L = {u ∈S | d(u, p_1) < \rho}$
- $G = {u ∈S | d(u, p_1) ≥\rho}$
4. 由于可能存在 $L$ 中的对象 $u$ 和 $G$ 中的对象 $v$ 满足 $d(u, v) ≤r$,因此将靠近划分边界的对象复制到两个窗口分区:
- $L_w = {u ∈S | \rho - r ≤d(u, p_1) < \rho} = {u ∈L | \rho - r ≤d(u, p_1)}$
- $G_w = {u ∈S | \rho ≤d(u, p_1) ≤\rho + r} = {u ∈S | d(u, p_1) ≤\rho + r}$

1.2 算法伪代码

以下是快速连接算法的伪代码:

根据原作 https://pan.quark.cn/s/459657bcfd45 的源码改编 Classic-ML-Methods-Algo 引言 建立这个项目,是为了梳理和总结传统机器学习(Machine Learning)方法(methods)或者算法(algo),和各位同仁相互学习交流. 现在的深度学习本质上来自于传统的神经网络模型,很大程度上是传统机器学习的延续,同时也在不少时候需要结合传统方法来实现. 任何机器学习方法基本的流程结构都是通用的;使用的评价方法也基本通用;使用的一些数学知识也是通用的. 本文在梳理传统机器学习方法算法的同时也会顺便补充这些流程,数学上的知识以供参考. 机器学习 机器学习是人工智能(Artificial Intelligence)的一个分支,也是实现人工智能最重要的手段.区别于传统的基于规则(rule-based)的算法,机器学习可以从数据中获取知识,从而实现规定的任务[Ian Goodfellow and Yoshua Bengio and Aaron Courville的Deep Learning].这些知识可以分为四种: 总结(summarization) 预测(prediction) 估计(estimation) 假想验证(hypothesis testing) 机器学习主要关心的是预测[Varian在Big Data : New Tricks for Econometrics],预测的可以是连续性的输出变量,分类,聚类或者物品之间的有趣关联. 机器学习分类 根据数据配置(setting,是否有标签,可以是连续的也可以是离散的)和任务目标,我们可以将机器学习方法分为四种: 无监督(unsupervised) 训练数据没有给定...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值