唠叨小主-CSDN博客

原创数分面试常考知识点

目录一、网易2021年校招提前批（两道业务题、两道SQL简单题略）1、第一题：分析思路+指标选择2、第二题：分析思路+指标选择二、小红书2020校招数据分析笔试题卷四1、第一题：一元二次方程2、第二题：几何分布叠加问题3、第三题：EXCEL字符串合并：&4、第四题：不重置抽样的方差计算5、第五题：环比的计算6、第六题：概率论—互斥7、第七题：机器学习—判别模型8、考点：概率论9、考点：统计学中的抽样估计、时间序列的基本概念10、考点：机.

2022-03-26 20:42:54 2540 1

原创 MYSQL常用函数总结

第一部分 MYSQL中常用的函数(PS:总结的有点潦草，适合有一定基础的总结性学习)一、排序函数RANK()：1，1，3 在计算排序时，若存在相同的位次，会跳过之后的位次DENSE_RANK()：1，1，2 在计算排序时，若存在相同的位次，不会跳过之后的位次ROW_NUMBER()：1，2，3 这个函数赋予唯一的连续位次二、日期函数DATEDIFF(data1,date2)：date1-date2DATE_FORMAT(date,format):日期格式转换TI

2022-03-26 10:13:16 8890

原创 MYSQL 刷题笔记（一）

SQL21 每个城市中评分最高的司机信息问题：请统计每个城市中评分最高的司机平均评分、日均接单量和日均行驶里程数。注：有多个司机评分并列最高时，都输出。平均评分和日均接单量保留1位小数，日均行驶里程数保留3位小数，按日均接单数升序排序。SELECT city,driver_id,avg_grade,avg_order_num,avg_mileageFROM ( SELECT city,driver_id,avg_grade,avg_order_num,avg_mileage.

2022-03-14 20:27:34 2400

原创数据预处理详细步骤

转载自最全面的数据预处理介绍 - 知乎一、数据可能存在问题在实际业务处理中，数据通常是脏数据。所谓的脏，指数据可能存在以下几种问题（主要问题）:数据缺失（Incomplete）是属性值为空的情况。如 Occupancy = “ ”2. 数据噪声（Noisy）是数据值不合常理的情况。如 Salary = “-100”3. 数据不一致（Inconsistent）是数据前后存在矛盾的情况。如 Age = “42” vs. Birthday = “01/09/1985”4. 数据冗余

2021-11-08 17:24:17 9352

原创 bash和zsh的区别

在安装软件的时候，看到这段话，想着，bash和zsh，在终端一直看见它们，它们究竟是什么意思，所以就搜索了一下。然后就看见了这篇博文：《Zsh和Bash究竟有何不同》https://blog.csdn.net/lixinze779/article/details/81012318然后不太懂，哈哈，期待什么时候可以看懂它吧，不过写得很详细。然后也有在别的网页中看到这样的话：zsh和bash的比较bash script更加接近posix标准，zsh则更加“灵活” bash基本..

2021-07-29 17:22:21 9590

原创 Sublime Text 3 全程详细图文原创教程（持续更新中。。。）

Sublime Text 3 全程详细图文原创教程（持续更新中。。。）参考资料：https://www.cnblogs.com/wind128/p/4409422.htmlSublime Text使用手册本文系统全面的介绍了Sublime Text，旨在成为最优秀的Sublime Text中文教程。https://www.w3cschool.cn/sublimetext/sublimetext-j1lf3b9b.html...

2021-07-29 11:36:19 311

原创机器学习笔记（五）：西瓜书第六章——支持向量机

此篇文章只对几个细节进行讲解介绍，具体的详细内容参看西瓜书。间隔与支持向量两个异类支持向量到超平面的距离之和称为间隔。位于虚线上的点称为支持向量。对偶问题自组织映射网络（SMO）简介：SOM网络将高维数据映射到低维空间中，一般是一维或者两维，并且映射过程中保持数据的拓扑结构不变，即高维空间中相似的数据在低维空间中接近。结构：SOM由两层神经元组成：输入层和输出层。输入层的每个神经元和输出层的所有神经元连接。输入层的神经元数量由输入空间决定。.

2021-07-28 16:29:53 2512

原创机器学习笔记（四）：西瓜书第5章——神经网络

目录神经元模型感知机与多层网络误差逆传播算法/反向传播算法/BP算法全局最小与局部最小其他神经网络深度学习课后习题答案神经元模型神经网络中最基本的成分是神经元模型，把许多个神经元按一定的层次结构连接起来就成了神经网络。输入-权重-神经元-阈值-“激活函数”-输出典型的神经元激活函数：阶跃函数、Sigmoid函数感知机与多层网络感知机由两层神经元组成，输入层.

2021-07-25 17:39:00 905

原创机器学习笔记（三）：西瓜书第4章——决策树

决策树学习的基本算法，可参看周志华老师的《机器学习》。1、2、3 基本流程、划分、剪枝决策树的结构：一个根结点若干个内部结点若干个叶结点根结点包含样本全集，其他每个结点则对应于一个属性测试，叶结点对应于决策结果。划分在决策树基本算法中，有三种情形会导致递归返回:(1)当前结点包含的样本全属于同一类别，无需划分;(2)当前属性集为空，或是所有样本在所有属性上取值相同，无法划分;(3)当前结点包含的样本集合为空，不能划分。除了这三种情形，我们一般需要对样...

2021-07-23 21:39:02 1161

原创《Social Attentional Memory Network: Modeling Aspect- andFriend-level Differences in Recommendation》

背景第一个是层面差异。一般来说，用户和他们的朋友在某些方面只有相同的偏好。众所周知，用户的偏好可以用来推断其朋友的偏好，反之亦然，这可以表示为一个影响向量。然而，对于一个朋友来说，用户可能最关注的是一个方面，而对于另一个朋友来说，用户可能最关注的是另一个方面。在图1中，我们展示了一个社会关系中常见的例子。用户A是用户B和用户C的朋友，但原因是不同的：用户A和用户B是朋友，因为他们都对电影感兴趣，而用户A和用户C是朋友，因为他们都喜欢篮球。在构建社会评价体系时，应考虑各方面的水平差异。第二个差异是对于

2021-07-21 19:13:25 406

原创使用词和图嵌入来衡量统一医学语言系统概念之间的语义相关性

文章：https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7566472/客观的该研究试图探索使用深度学习技术来衡量统一医学语言系统 (UMLS) 概念之间的语义相关性。材料和方法通过将词嵌入模型 BioWordVec 和各种 BERT 应用于通过连接 UMLS 术语形成的概念句子，为 UMLS 概念生成概念句子嵌入。图嵌入由图卷积网络和 4 个知识图嵌入模型生成，使用从 UMLS 层次关系构建的图。语义相关性是通过概念嵌入向量之间的余弦来衡..

2021-07-20 21:50:13 1240 2

原创 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xff in position 0: invalid start byte

知识点str与bytes,encode() 与 decode()Python的字符串类型是str，在内存中以Unicode表示，一个字符对应若干个字节。如果要在网络上传输，或者保存到磁盘上，就需要把str变为以字节为单位的bytes。Python对bytes类型的数据用带b前缀的单引号或双引号表示：x = b'ABC'要把bytes变为str，就需要用decode()方法：>>> b'ABC'.decode('ascii')'ABC'>>>

2021-07-20 11:26:52 16827

原创机器学习笔记（二）：第三章线性模型

这章节主要涉及以下内容：线性回归（line regression）线性回归试图学得 f=wx+b，使得f=y 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧式距离之和最小。对数几率回归（logit regression）这是一种分类学习方法这种方法的优点1:直接对分类可能性进行建模，无需事先假设数据分布，这样就避免了假设分布不准确所带来的问题。优点2:不仅预测出“类.

2021-07-19 21:30:52 1280 2

原创 AttributeError: module ‘gensim.utils‘ has no attribute ‘smart_open‘

通过查看文件“utils.py”，我发现关于 smart_open 的声明是from smart_open import open因此，我尝试改用utils.open()这正好解决了我的问题^-^

2021-07-16 21:12:31 1063

原创 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xff in position 0: invalid start byte

近期在使用python写一个脚本，在读取某文件时发生了UnicodeDecodeError，报错内容为UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte经过不断的查阅资料以及测试，最终解决了这个报错。解决方法：f = open('xxx.txt', 'r', encoding='utf-16').read()使用utf-16编码即可正常读取文件。当读取

2021-07-16 20:39:41 7494

原创 t-SNE：可视化效果最好的降维算法

PCA-主成分分析是降维领域最主要的算法。它最初是由皮尔逊（Pearson）在1901年开发的，许多人对此做了即兴创作。即使PCA是一种广泛使用的技术，但它的主要缺点是无法维护数据集的局部结构。为了解决这个问题，t-SNE出现了。1、什么是t-SNE？t-SNE的主要用途是可视化和探索高维数据。它由Laurens van der Maatens和Geoffrey Hinton在JMLR第九卷(2008年)中开发并出版。 t-SNE的主要目标是将多维数据集转换为低维数据集。相对于其他的降维算法，.

2021-07-15 21:11:16 1381

原创机器学习笔记（一）：基础术语、模型评估和选择

目录第1章绪论—基本术语（1）记录、示例、样本。（2）分类、回归（3）监督学习、无监督学习（4）泛化能力（5）归纳偏好（6）数据挖掘第2章模型评估和选择（1）过拟合与欠拟合（2）留出法（3）交叉验证法（3）自助法（4）调参与最终参数模型第1章绪论—基本术语（1）记录、示例、样本。每条记录是关于一个事件或对象的描述，例如对西瓜的描述中的一条记录：（色泽=青绿；根蒂=蜷缩；敲声=沉闷），称为一个示例或者样本，一组记录的集合，称...

2021-07-13 15:58:50 302

原创 GNN学习笔记：总结

1、图的数据结构在这一部分中，我们学习了图的表示、图的属性、图的种类、图结构数据上的机器学习以及应用神经网络于图时所面临的挑战。图由节点的集合和边的集合共同组成，节点表示实体，边表示实体间的关系。在图的属性部分，我们了解了节点的度、邻接节点、行走、路径、子图、连通图等的定义。2、环境配置与PyG中图与图数据集的表示和使用在这一部分，我们主要学习了学习程序运行环境的配置、PyG中图数据、数据集的表示及其使用。在“PyG中图的表示及其使用”部分，学习了Date对象的构建、Date属性的获取以及设置等

2021-07-11 00:28:05 396

原创 GNN学习笔记（八）：超大规模数据集类的创建、图预测任务实践

数据集规模超级大，我们很难有足够大的内存完全存下所有数据。因此需要一个按需加载样本到内存的数据集类。今天将学习为一个包含上千万个图样本的数据集构建一个数据集类。Dataset基类简介在PyG中，我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。继承torch_geometric.data.InMemoryDataset基类要实现的方法，继承此基类同样要实现，此外还需要实现以下方法： len()：返回数据集中的样本的数量。

2021-07-07 16:52:34 1777 1

原创 Python代码：Excel中“诊断”列中每种疾病出现次数统计

1、出现次数统计Excel中“诊断”列中每种疾病出现次数统计，代码如下所示：import pandas as pd df = pd.read_excel(r'要打开的数据的路径')df.info()#获取诊断下面所有信息，放置于list1all_list1=[]for i in df['诊断']: all_list1.append(i)#将诊断信息去重后放置于list1list1=[]for j in df['诊断']: if j not in list1: list

2021-07-06 14:51:52 742

原创英特尔MKL致命错误：无法加载libmkl_avx2.so或libmkl_def.s

方法一如果使用conda，请尝试使用以下两个命令：conda install nomkl numpy scipy scikit-learn numexprconda remove mkl mkl-service它应该能解决你的问题。亲测可用！！！方法二只是想注意到Anaconda4.0.0在默认情况下启用了mkl，它有这个问题。问题确实出在水蟒身上，因为它可以通过下面的简单python测试重现。实际问题是，Anaconda与mkl相连，但与libmkl_core.so无关，

2021-07-06 14:12:43 1836

原创 GNN学习笔记（七）：基于图神经网络的图表征学习方法

在此篇文章中我们将学习基于图神经网络的图表征学习方法，图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经典的图表征学习网络，我们将以它为例，将通过该网络的实现、项目实践、理论分析，三个层面来学习基于图神经网络的图表征学习方法。图表征网络的实现基于图同构网络的图表征学习主要包含以下两个过程：首先计算得到节点表征；其次对图

2021-07-05 09:27:03 2514

原创 GNN学习笔记（六）：Cluster-GCN：一种用于训练深度和大型图卷积网络的高效算法

引言普通的基于SGD的图神经网络的训练方法，存在着以下问题：问题1：计算成本较大问题。随着图神经网络层数增加，计算成本呈指数增长。问题2：内存消耗巨大问题。保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间。解决措施：方法1：无需保存整个图的信息和每一层每个节点的表征到GPU内存（显存）的方法。方法1存在的问题：可能会损失预测精度或者对提高内存的利用率并不明显。方法2：论文Cluster-GCN: An Efficient Algorithm for

2021-07-01 20:59:23 4286

原创强化学习思维导图

强化学习/RLDP算法model-basedMC算法model-freeTD算法model-free基于价值迭代的RLSARSA算法 on-policy TD Control Q-learning 问题1:面对动作数量较多，状态空间较大的问题，计算困难解决方法:DQN 算法存在的问题：Q值过高估计原因：你总是会选那个被高估的 Q 值，你总是会选那个 reward 被高估的动作当作这个 max 的结果去加上 rt 当..

2021-06-29 16:37:24 1208

原创强化学习总结（一）：算法考点总结（简答题）

DP算法MC算法蒙特卡罗就是说当得到一个MRP过后，我们可以从某一个状态开始，产生一个轨迹，得到一个奖励，当积累到一定的轨迹数量过后，直接用Gt除以轨迹数量，就会得到它的价值。TD算法SARSA算法Q-learning算法DQN算法初始化两个网络；与环境交互获得经验数据(st,at,rt,st+1)；将经验数据存储于buff中；从buff中采样一批数据；用目标网络计算目标（希望目标与Q值越接近越好）；更新一定次数之后，将Q估计设置为Q，这就是DQN。Dou...

2021-06-29 16:32:34 1081

原创考点总结：DQN

问题1：什么是DQN算法？DQN是指基于深度学习的Q-learning算法，主要结合了值函数近似(Value Function Approximation)与神经网络技术，并采用了目标网络和经历回放的方法进行网络的训练。首先，初始化两个网络Q估计、Q；接着，带有探索性的去获取一堆经验(st,at,rt,st+1)；然后，存储经验于buffer中；然后，从buffer中采样数据，计算目标 y=ri+maxaQˆ (si+1, a)；然后，更新Q值，让Q接近目标值，更新C次之后...

2021-06-28 20:23:13 535

原创强学学习总结（二）：简答题

请简述强化学习的特征请举例生活中强化学习的例子基于价值函数的迭代和基于策略函数的迭代的强化学习方法有什么区别？

2021-06-28 20:15:35 1558

原创 GNN学习笔记（五）：数据完全存于内存的数据集类、节点预测与边预测任务实践

对于占用内存有限的数据集，我们可以将整个数据集的数据都存储到内存里。PyG为我们提供了方便的构造数据完全存于内存的数据集类，简称为InMemory数据集类的方式。InMemoryDataset基类简介在PyG中，我们通过继承InMemoryDataset类来自定义一个数据可全部存储到内存的数据集类。class InMemoryDataset(root: Optional[str] = None, transform: Optional[Callable] = None, pre_transfo

2021-06-28 00:16:33 987

原创强化学习笔记：MDP 重点！重点！

Bellman Equation接下来我们来求解这个价值函数。首先我们用蒙特卡罗(Monte Carlo)的办法来计算它的价值函数。蒙特卡罗就是说当得到一个MRP过后，我们可以从某一个状态开始，把这个小船放进去，让它随波逐流，这样就会产生一个轨迹。产生了一个轨迹过后，就会得到一个奖励，那么就直接把它的折扣的奖励g算出来。算出来过后就可以把它积累起来，得到returnGt。当积累到一定的轨迹数量过后，直接用Gt除以轨迹数量，就会得到它的价值。Q函数的Bellman e...

2021-06-25 09:30:20 503

原创 GNN学习笔记（四）：图注意力神经网络（GAT）节点分类任务实现

目录0 引言1、Cora数据集2、citeseer数据集3、Pubmed数据集4、DBLP数据集5、Tox21 数据集6、代码嘚嘚嘚，唠叨小主，闪亮登场，哈哈，过时了过时了，闪亮登场换成大驾光临，哈哈，这样才颇有气势，哼哼...（唠叨小主哼哼了两声，对新改的词表示满意，微拉裙侧，留下了高跟鞋的声音...）0 引言近年来，人们对深度学习方法在图上的扩展越来越感兴趣。在多方因素的成功推动下，研究人员借鉴了卷积网络、循环网络和深度自动编码器的思想，定义和设计了用于处理图

2021-06-23 21:00:43 5774 2

原创 GNN学习笔记（三）：基于图神经网络的节点表征学习

haha，好久不见，唠叨小主现在游离于人世间，唠叨小主想不明白为何以前的刀剑变成了现在的键盘，唠叨小主如果要继续行走江湖的话，就必须得学点代码，毕竟以前唠叨小主拿着剑，策马扬鞭，便可行走天下，现在，不可以骑马，得开车，开车需要money，money的来源在于写代码，唠叨小主孤苦伶仃，码字如下：（悲情人设结束????）（步入主题）（有点神经质的唠叨小主带你解说今天的学习内容——节点表征（Node Representation））0、引言在图节点预测或边预测任务中，首先需要生成节点表征（Node Re

2021-06-23 17:26:44 1477 2

美国 130 家糖尿病医院数据集

空空如也