python实现特征选择之ReliefF算法 (附完整源码)

写在前面： 依旧是因为

#!/usr/bin/env python# -*- coding:utf-8 -*-#@Time : 2019/10/29 0029 9:12#@Author : tb_youth#@FileName: RTest.py#@SoftWare: PyCharm#@Blog : https://blog.csdn.net/tb_youthimport pa...

Relief算法的局限性在于只能处理两类别数据，因此1994年Kononeill对其进行了扩展，得到了可以处理多类别问题的ReliefF算法，可以处理多类别问题。该算法用于处理目标属性为连续值的回归问题。ReliefF算法在处理多类别问题时，每次从训练集样本中集中随机取出一个样本R，然后从和R同类样本中找出R的k个近邻样本，从每个R的不同类别的样本集中均找出k个近邻样本，然后更新每个特征的权重。R...

先声明一下，Python是有第三方ReliefF包的，安装方式直接在pycharm终端输入: pip install ReliefF -i https://pypi.tuna.tsinghua.edu.cn/simple 导入方式： from ReliefF import ReliefF 但是，这个包有一些问题。 首先，只针对单标签且数据类型是离散类型的数据集 第二，没有对标签下的每个类别进行计算； 第三，它的选取样本的策略是循环全部样本，没有进行随机选取。 所以，在这个第三方包的基础上，我对它进行了一

from numpy import *# 计算每对特征间的距离 def calculate_distance(X, feature_pair): distance = 0 for i in range(len(feature_pair)): a, b = feature_pair[i] distance += (X[a] - X[b]) ** 2 ...

本博客代码基于如下文章算法思想实现： Y.P. Cai, M. Yang, Y. Gao, H.J. Yin, ReliefF-based multi-label feature selection, International Journal of Database Theory and Application. 8 (4) (2015) 307–318. 该算法是基于非转化的多标记ReliefF特征选择算法，与传统多标记ReliefF算法的区别在于没有从标记转化的角度去实现特征权值计算，避免了转化损失

Apple iPhone 11 (A2223) 128GB 黑色 移动联通电信4G手机 双卡双待4999元包邮去购买 >代码!/usr/bin/env python# -*- coding:utf-8 -*-@Time : 2019/10/29 0029 9:12@Author : tb_youth@FileName: RTest.py@SoftWare: PyCharm@Blog : ht...

作者姓名导师姓名文献出处论文摘要伴随着当代科学技术的高速发展,人类已经进入了信息爆炸的时代。数据挖掘技术通过从大量数据中揭示出隐含的信息,将海量的高维数据转换为有用的信息和知识。特征选择是数据挖掘中的一个重要方向,特征选择算法通过剔除不相关或冗余的特征,从而达到减少特征个数,提高模型精度,减少运行时间的目的。从数据解释的层面上看,关键特征的提取还可以使模型得到简化,从而便于研究人员理解数据的产生。...

代码!/usr/bin/env python# -*- coding:utf-8 -*-@Time : 2019/10/29 0029 9:12@Author : tb_youth@FileName: RTest.py@SoftWare: PyCharmimport pandas as pdimport numpy as npimport numpy.linalg as laimport rand...