中文核心:基于数据增强SMOTEENN+网格调参+BP网络的保险续保预测

已于 2024-11-24 13:00:27 修改
阅读量363 收藏 2
点赞数 7
分类专栏： 深度学习机器学习实战 文章标签： 人工智能 中文核心 数据增强 SMOTEENN 网格调参 BP网络 保险续保
于 2024-11-24 12:56:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonyanyan/article/details/144006178
版权

项目视频讲解：

中文核心:数据增强SMOTEENN+网格调参+BP网络的保险续保预测_哔哩哔哩_bilibili

使用 SMOTEENN（合成少数类过采样技术和编辑最近邻算法）与 网格调参 来优化 BP神经网络（反向传播神经网络）。

  1. 数据预处理：

    • 使用 SMOTE（合成少数类过采样技术）来平衡数据集，生成少数类样本。
    • 使用 ENN（编辑最近邻）来去除一些噪声数据点，进一步平衡数据。

  2. 网格搜索调参：

    • 通过 GridSearchCV 或其他网格搜索工具，搜索最佳的超参数组合。

  3. BP神经网络模型：

    了解本专栏 订阅专栏 解锁全文 超级会员免费看
    机器学习中的样本不平衡学习
    weixin_41020287的博客
    12-29 4507
    不平衡数据集的处理 python包：imblearn，参考文档：imbalanced-learn 一、上采样方法（imblearn.over_sampling） 增加少数类的样本。 1.1、RandomOverSampler 1.2、ADASYN 1.3、SMOTE 1.4、SMOTENC 1.5、SVMSMOTE 1.6、KMeansSMOTE 1.7、BorderlineSMOTE 二、下采样方法（imblearn.under_sa...
    python用神经网络进行二分类，并用网格搜索进行调参，写出代码
    weixin_35755562的博客
    01-07 896
    在 Python 中使用神经网络进行二分类的一般流程如下： 导入所需的库，如 numpy 和 keras。 准备好训练数据和测试数据。 定义神经网络模型。 在训练数据上训练神经网络。 在测试数据上评估神经网络的准确度。 如果要使用网格搜索来调参，可以使用 sklearn 中的 GridSearchCV 函数，具体如下： 导入所需的库，如 sklearn。 准备好训练数据和测试数据。 定义神经...
    不平衡分类数据集处理（SMOTE和SMOTE-ENN）
    qq_51465769的博客
    12-07 5282
    处理不平衡数据集的方法
    python抽样方法详解及实现
    热门推荐
    qq_24591139的博客
    09-06 2万+
    随机抽样—总体个数较少 每个抽样单元被抽中的概率相同，并且可以重现。随机抽样常常用于总体个数较少时，它的主要特征是从总体中逐个抽取。 1、抽签法 2、随机数法：随机数表、随机数骰子或计算机产生的随机数。 分层抽样——总体存在差异且对结果有影响 分层抽样是指在抽样时，将总体分成互不相交 [2] 的层，然后按照一定的比例，从各层独立地抽取一定数量的个体，将各层取出的个体合在一起作为样本的方法。层内...
    类别不平衡
    最新发布
    YBK233
    06-15 1090
    研究算法时均认为数据是对称分布的，即正负样本数据相当。现实数据中少数类占比20%，甚至10%都不到，容易对模型算法产生影响。sampling_strategy: default= "auto" 过采样策略，可以为0.5，即调整样本比例为0.5倍；minority:只过采样类别比例最少的样本，多分类时用；not_minority出了最少、最多的样本，其他类别过采样，过采样到和最多类别的样本数量一样多;not_majority：除了最多的样本，其他都进行过采样;all：所有都过采样;
    【SMOTE算法】解决数据不平衡的问题，进行数据扩充使用
    weixin_44943389的博客
    09-26 1588
    它主要用于解决在分类问题中，不同类别样本数量差异较大的情况。需要注意的是，SMOTE算法是一种解决类别不平衡问题的方法之一，但并不是适用于所有情况的通用解决方案。在应用时，还需要根据具体的问题和数据集进行合适的选择和调参。：在分类问题中，如果各类别的样本数量差异很大，可能导致模型对样本数量多的类别更为偏向，从而影响模型的性能。：SMOTE通过在特征空间中插值生成新的合成样本，从而平衡不同类别的样本数量。会对数据进行SMOTE过采样处理。
    样本均衡
    南城以北的博客
    01-29 1396
    SMOTE（Synthetic Minority Over-sampling Technique）过采样的核心在于生成样本，即在少数类样本之间进行插值（线性插值）来产生额外的样本，进而补充那些数据量少的样本，使得不同标签的样本量达到均衡。SMOTE+ENN 是过采样与欠采样相结合的方法，SMOTE 算法的缺点是生成的少数类样本容易与周围的多数类样本产生重叠并难以分类，而数据清洗技术恰好可以处理掉重叠样本。NearMiss 算法的基本思想是选择多数类样本中与少数类样本最接近的样本，从而减少多数类样本的数量。
    使用 Python 进行 SMOTE 不平衡分类
    Optimization&Learning的博客
    08-20 1338
    本教程分为五个部分；合成少数过采样技术不平衡学习库用于平衡数据的 SMOTESMOTE 分类具有选择性合成样品生成功能的 SMOTE边界-SMOTE边界-SMOTE SVM自适应合成采样 (ADASYN)
    机器学习-数据预处理
    银晗的学习博客
    09-07 830
    拿到数据的第一步，判断是否存在缺失数据，以及字段的缺失值占比缺失率：用shape（）和count（）函数做差得到数据的缺失值个数，再除以样本总个数定性：df.info:查看总体数据，对比一下就知道哪里少了LossRate=all.shpae[0]all.shape[0]−loss[column]​。
    数据增强，扩充了数据集，增加了模型的泛化能力
    白水空空
    02-25 6385
    在计算机视觉中，典型的数据增强方法有翻转（Flip），旋转（Rotat ），缩放（Scale），随机裁剪或补零（Random Crop or Pad），色彩抖动（Color jittering），加噪声（Noise）图像本身的变化将有助于模型对未见数据的泛化，从而不会对数据进行过拟合。以上整理的都是我们常见的数据增强技术，torchvision中还包含了很多方法，可以在他的文档中找到：https://pytorch.org/vision/stable/transforms.html。
    机器学习数据不平衡不均衡处理之SMOTE算法实现
    kyle1314608的博客
    04-09 3077
    网上关于数据不平衡处理的讨论有很多，大致来说，数据不平衡的处理方法有三种：一是欠采样，二是过采样，三是调整权重。 今天要说的是过采样中...
    专门处理不平衡数据集的算法，使用21种采样的算法，包括SMOTE,集成算法+采样算法，基于聚类的过采样算法。对每一个算法原理，实验结果，评价标准都给了注释。
    12-07
    对于21种主流的采样算法，使用UCI官方保险数据集，对不平衡数据集进行了python实验，基于AUC和F1进行了评分，对所有结果进行了注释。
    sheng的学习笔记- AI-类别不平衡问题
    coldstarry的专栏
    03-11 1007
    类别不平衡，欠采样，过采样
    神经网络调参
    weixin_43257951的博客
    11-06 1065
    神经网络的一些调参方法小结 1、网格搜索法 网格搜索就是将多个参数进行笛卡尔乘积后逐个试验，很费时间。 sklearn库有GridSearchCV函数，结合了交叉验证，我还没在神经网络上应用过。 2、逐个调参 用枚举的方法逐个参数调优，一个参数取最佳值后固定住再进行下一个参数调优，比网格搜索快一些。不过可能有一些参数各自不是最佳值，但组合起来有更好的效果，这种方法就遗漏了这种情况。 以下方法摘自机...
    深度神经网络调参-学习笔记
    weixin_43391596的博客
    11-21 1769
    深度神经网络调参-学习笔记
    网格搜索多个监督学习模型上的超参数，包括神经网络、随机森林和树集合模型（Matlab代码实现）
    m0_73907476的博客
    03-16 1035
    2)选择不同大小的参数，带入到模型中，挑选表现最好的参数。通过途径2选择超参数时，人力手动调节注意力成本太高，非常不值得。For循环或类似于for循环的方法受限于太过分明的层次，不够简洁与灵活，注意力成本高，易出错。GridSearchCV 称为网格搜索交叉验证调参，它通过遍历传入的参数的所有排列组合，通过交叉验证的方式，返回所有参数组合下的评价指标得分。注意的是，该方法在小数据集上很有用，数据集大了就不太适用了。再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整完毕。
    神经网络回归问题网格调参
    Zenwen123的博客
    03-08 343
    回归问题建模最后一层没有激活函数
    SMOTE过采样处理不均衡数据（imbalanced data）
    I‘m Frank Lee
    02-21 1万+
    关于不均衡数据（imbalanced data）的相关介绍和处理方法，可以参见处理不均衡数据（imbalanced data）的几种方法，本文主要介绍SMOTE过采样处理不均衡数据。 SMOTE全称是Synthetic Minority Oversampling Technique，即合成少数类过采样技术。它是基于随机过采样算法的一种改进方案，因为随机过采样算法容易产生模型过拟合的问题，使得模型...
    SMOTE算法
    weixin_41340256的博客
    08-12 1062
    （1）对于少数类中每一个样本x，以欧氏距离为标准计算它到少数类样本集中所有样本的距离，得到其k近邻 （2）根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本x，从其k近邻中随机选择若干个样本，假设选择的近邻为xn （3）对于每一个随机选出的近邻xn，分别于原样本按照如下公式构建新的样本，xnew=x+rand(0,1)*(X-x) ...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包

    打赏作者

    程序员奇奇

    你的鼓励将是我创作的最大动力

    ¥1 ¥2 ¥4 ¥6 ¥10 ¥20
    扫码支付：¥1
    获取中
    扫码支付

    您的余额不足，请更换扫码支付或充值

    打赏作者

    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值