YENTERTAINR的博客

原创 记录安装anaconda，环境变量编辑不了，系统权限不足处理方法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。安装的anaconda显示到处都需要权限，包括配置环境变量都安装得七零八落，因此有必要改改系统权限。2、依次打开计算机配置——windows设置——安全设置——本地策略——安全选项。安装成功效果：Path路径可以编辑，其他文件夹没有遇到权限问题，包括虚拟机安装。4、鼠标右击“账户：管理员状态”，选择“属性”。5、勾选“已启用”，点击“确定”即可。3、找到“账户：管理员状态”。

原创 香港银行开户

香港银行开户

原创 大数据Spark范式

大数据Spark范式

原创 pandas sort_values失败，检查数据格式

1.检查需要做排序的那个列，他的值是否市数值类型，如果不是，改成数值类型就好了。

原创 Hadoop的streamingAPI与MapReduce[Python]

Hadoop的streamingAPI与MapReduce[Python]

原创 大数据mapper书写范式hdfs

mapper书写

原创 pandas的文本与序列化

pandas的文本与序列化

原创 bert文本分类微调笔记

【代码】bert文本分类微调笔记。

原创 安装torch113、cuda116并运行demo【Transformer】

安装torch113、cuda116并运行demo【Transformer】

原创 pandas sort_values失败，不成功

1.检查需要做排序的那个列，他的值是否市数值类型，如果不是，改成数值类型就好了。

原创 python队列、LSTM数据预处理

LSTM队列与数据预处理

原创 tushare单个股票过去五年的数据整理与预测

tushare单个股票过去五年的数据整理与预测

原创 01_股票数据采集_tushare采集数据，添加市盈率，换手率等数据到日线行情数据中

01_股票数据采集_tushare添加多个股票，并添加市盈率，换手率等信息

原创 cuda113 cudnn821 兼容 pytorch tensorlow的方案 pytorch1.10 tensor2.6.0

cuda11.3 cudnn8.2.1 兼容 pytorch1.10 tensorflow2.6.0

原创 list文本太长，内存不足，用yield解决

问题背景：list中有5kw个元素，hanlp最大一次可以处理的10w；说明，不要对next做for遍历，否则处理速度也是很慢的。

原创 安装transformers， cannot import name ‘CommitOperationAdd‘ from ‘huggingface_hub‘ (unknown location)

cannot import name 'CommitOperationAdd' from 'huggingface_hub' (unknown location)

原创 使用pandas的Transform函数打标签,删除指定数值所在行

使用transform打标签

原创 删除出现一次的DataFrame，保留重复数据

数据清洗，非重数据删除

原创 保存模型文件权限不足 PermissionError: [Errno 13] Permission denied

文件保存权限不足，python程序，模型保存，joblib

原创 1.jupyter notebook内核挂掉了，需要重启

原因：安装的tensorflow版本和conda的env有冲突，我的env是python36 正常情况之前安装的tensorflow1.4可以用，业务上用lstm的时候，重装成了2.0，也安装了keras 2.1.6，但是用不了，结果jupyter还挂了。测试方式：新开一个ipynb文件，import pandas 试试能否成功，如果成功，说明不是jupyter问题，2.2 重装jupyter，ipykernel等。2.1 我这里用不上，也做个参考。1，卸载tensorflow。

原创 导入10G数据的SQL脚本的MySQL5.7中

加载SQL脚本到MySQL5.7中

原创 使用np.argwhere()打标签问题记录与index 0 is out of bounds for axis 0 with size 0

存在空值现象占用，需要去除空值才能进行（本文解决方式）

原创 欧美时间类型按时间序列排序

时间数据处理，按时间排序

原创 win10 GTX 1650 版本517（需要降级到441.22） 安装Tensorflow-GPU

安装tensorflow-GPU笔记

原创 IT的D盘文件夹

IT文件夹

原创 No module named ‘selenium.webdriver‘； ‘selenium‘ is not a package

我的文件名是：selenium.py ，属于低级错误，希望以后不会犯这种错误。

原创 数据预处理，打标签

def units2digit( x:str ): return np.argwhere( units == x )[0][0]cols = ['col_name_01', 'col_name_02',]for col in cols: unique = data[col].unique() data[col] = data[col].map( units2digit )使用说明：字符串转成数字

原创 Linux 安装 pytorch(cuda=10.1）,自己记录个人安装关键步骤，不做学习参考。

安装命令：conda install pytorch1.7.0 torchvision0.8.0 torchaudio==0.7.0 cudatoolkit=10.1 -c pytorch -y1.修改/root/.bashrc中的环境配置：.bashrc文件只做了最后export的添加。# .bashrc# User specific aliases and functionsalias rm='rm -i'alias cp='cp -i'alias mv='mv -i'alias v

转载 数据结构第五课——顺序查找

文章目录顺序查找概念顺序查找学习链接来源：本系列文章主要是为复习自己的大学数据结构知识所发，学习链接来源在此，说明：本系列属于学习项目，如果涉嫌侵权，请联系我删除。概念‘’’什么是列表查找顺序查找二分查找查找：在一些数据元素中，通过一定的方法找出与给定关键字相同的数据元素的过程列表查找（线性表查找）：从列表中查找指定元素输入：列表、待查找元素输出：元素下标（未找到元素时，一般返回None或-1）内置列表查找函数：index()顺序查找（Linear Search）顺序查找

转载 数据结构第三课：递归

文章目录学习链接来源：1.1 两个特点：1.2 练习（下面那个func，是合法的）？1.2.1 先打印后递归1.2.2 先递归后打印1.3 递归的区别：练习题中第三和第四有如下区别：学习链接来源：本系列文章主要是为复习自己的大学数据结构知识所发，学习链接来源在此，说明：本系列属于学习项目，如果涉嫌侵权，请联系我删除。1.1 两个特点：1.调用自身2.结束条件1.2 练习（下面那个func，是合法的）？# =》 没有结束条件def func1(x): print(x) fu

转载 数据结构第二讲空间复杂度

空间复杂度：评估算法内存占用大小的式子空间复杂度的表示方式和时间复杂度表达方式完全一样1、算法使用了几个变量 =》 O(1)2、算法使用了长度为n的一维列表 =》 O(n)3、算法使用了m行n列的二维列表 =》 O(mn)一般来说，都是时间比空间重要所以会有空间换时间...

转载 数据结构第一课下半节O(log(n))

数据结构第一课下半节O(log(n))1.2 O( log(n) )while n > 1: print(n) n = n // 2'''上述 2**6 = 64 ==》 log(2)64 = 6这里时间复杂度记为 O( log(2)n ) 或者 O( log(n) )注意：只要代码出现循环减半，就一定出先 log(n)'''时间复杂度是用来估计算法运行时间的一个式子（单位）一般来说，时间复杂度高的算法比复杂度低的算法运行速度慢常见的时间复杂度（

转载 数据结构复习

数据结构第一课上半节O(1)和O(n)声明：个人学习，复现代码，不存在商业用途，如果涉嫌侵权，请作者联系我。1.1 时间复杂度O(1)和O(n)来源：时间复杂度学习链接Q2：下面四组代码，哪组代码运行时间最短：print( 'Hello World')for i in range(n): print('Hello World')for i in range(n): for j in range(n): print('Hello World')

原创 vstack和hstack以及concatenate处理三维图片

Vstack/Hstack和Concatenate在三维图片中的应用，以及维度的认识先写总结：采用 concatenate可以实现vstack和 hstack的效果。1.填坑背景：2. 完整代码2.1 高维数组拼接2.2 取出所有的带 1，2，3 的数2.3 还原成原数组2.4 高纬度拼接只能用concatenate 或者配合 reshape来用先写总结：采用 concatenate可以实现vstack和 hstack的效果。1.填坑背景：存在 hstack 和 vstack认知误差， 对人脸补全案例

原创 Cpython的GIL锁 多进程简单执行视图

文章目录CPython的 GIL锁， 说明：JPython没有这个问题，但是由于大多数开发基于CPython ，1.1 问题场景：1.2 常见迷惑点：1.3 来看看下面流程图：CPython的 GIL锁， 说明：JPython没有这个问题，但是由于大多数开发基于CPython ，进程执行视图。1.1 问题场景：有进程A 和 进程B 要进行作业， 但是由于python解析器处理问题时，有GIL锁，这个锁的是针对进程优先分配问题。1.2 常见迷惑点：如果不了解GIL 的管理机制， 有可能使得开发者会

原创 Pandas 获取DataFrame 的行索引和列索引

文章目录行索引：list(df.index)列索引：list(df.index)完整实验：df = pd.DataFrame(data = np.random.randint(0,100, size = (4,4)), columns = ['A', 'B', 'C', 'D'])df

原创 debug Pycharm 中dbug使用方式

原创 Python 实现的快速排序输入式和非输入式

基本知识补充：使用到的方法：len() 获取列表的长度pop()返回删除的的内容append(A) 参数A是 即将添加到列表的文本#直接调用方式def quick_sort(list1): # 递归退出条件 length = len(list1) if length <= 1: return list1 else: # 以最后一个数做基准值 pivot = list1.pop()

原创 为什么排序的要分稳定和不稳定

文章重点知识摘取，下述是学习参考文章得到的。不稳定的排序方式举例：以选择排序举例：序列5 8 5 2 9，我们知道第一遍选择第1个元素5会和2交换，那么原序列中2个5的相对前后顺序就被破坏了，所以选择排序不是一个稳定的排序算法。上述说明： 常说的排序指的是大小上的排序，但是如果相同大小还要排序吗？答案是肯定的，但是绝大部分情况不需要考虑，这种情况需要考虑：如果让你排名广告，但是权重都一样，不可能一个链接放两个商家的广告不是？如果把原先链接中已经有的广告的链接放到了后面去，是你家公司的广告被

原创 Python 选择排序两个for循环

文章目录1.code: 选择排序的表示方式:2.描述排序过程2.1 核心内容：2.2 循环遍历交换核心内容1.code: 选择排序的表示方式:def select_(list1): for i in range(len(list1)-1): for j in range(i+1,len(list1)-1): if list1[i] > list1[j]: list1[i],list1[j] = list1[j],l