- 博客(21)
- 收藏
- 关注
RSS订阅原创 spark商品协同过滤
思路首先，介绍一下传统的商品协同过滤思路：获取一段周期内用户-商品交互历史数据记录；根据交互历史记录，计算两两商品相似度，得到商品相似度矩阵；根据用户的历史交互商品列表，从商品相似度矩阵中查询每一个商品的相似商品列表，按照相似度排序（出现多次的得分相加），得到最终推荐结果。转换为spark的思想去考虑，则实现步骤应如下：获取一段周期内用户-商品交互历史RDD，(wid, gid)计算用户交互过的所有商品的两两相似度，得到 ((gid1, gid2), score)根据用户最近交互的n
2021-12-28 15:18:49
1927
1
原创 Pandas使用笔记
Pandas使用笔记基本操作读取采样创建DataFrameDataFrame遍历行保存使用pandas进行数据分析及可视化统计数据信息选取特定行、列查看数据是否有缺失对缺失值进行填充可视化参考文献基本操作读取从csv中读取数据import pandas as pddf = pd.read_csv("data.csv", encoding="utf-8")如遇到字符编码报错，更改encoding参数，中文可用“gbk”；pandas节约内存的一个标配函数 def reduce_mem(df):
2021-09-18 17:24:42
377
原创 腾讯2021届秋招-技术研究类笔试
5道编程，120分钟。第三题#coding=utf-8importsysimportmathforlineinsys.stdin:a=line.split()L=int(a[0])d=int(a[1])ifL==d:print(0)else:ans=math.log(L/d,math.e)+1print('%.4f'%ans)第二...
2020-09-06 22:34:42
896
1
原创 python 生成固定维度列表
今天在做一道动态规划题时 遇到一个问题 耗费了许多时间 最终发现是列表生成的问题涉及到python中 “深复制”和“浅复制”目的：生成一个2维列表 每一维包含9个元素L = [[0]*9]L = L*2最开始用上述代码生成 但只要后面对列表中某一行的元素进行修改 则会修改所有行如：for i in range(6): L[0][i] = 1上述代码本意为对L中第1行前6列元素赋值为一 但这样之后所有行都改变了。这是因为 "*" 操作符相当于"浅复制"的概念。只复..
2020-05-30 20:27:02
2057
原创 自动化学报latex模板使用说明
最近投稿自动化学报 用到了学报的latex模板 问题颇多 在此记录 希望能帮助到投稿该学报的人1. 需下载学报官网的CTex和字体，一步步安装好Ctex后，再将字体复制到 windows/fonts/ 目录下2. 学报的模板和CTex都是比较老的版本，对模板进行编译时有许多错误，按照学报下载页面的方法一步步尝试即可（ps. 其实我尝试了很多方法，都无法解决，最后还是换了台win7...
2020-03-02 15:00:54
4825
19
原创 pycharm远程调试tkinter代码，报错_tkinter.TclError: no display name and no $DISPLAY environment variable
错误：_tkinter.TclError: no display name and no $DISPLAY environment variable原因：远程调试未在桌面环境下进行。解决方法：手动指定显示设备。具体操作：首先，打开远程linux系统命令行，输入：printenv grep DISPLAY得到：localhost:11.0在创建tk.Tk()时...
2019-09-07 16:00:15
5887
5
原创 在远程服务器上离线配置python虚拟环境
服务器系统：CentOS6.5，配置：CUDA8，cudnn5.1.16，TITAN X。目标环境：tensorflow-gpu、keras安装Anaconda首先，将下载好的Anaconda安装包上传到服务器，然后在服务器上进入安装包所在文件夹，运行bash命令安装。安装结束后，还需手动配置环境变量，否则运行python时，默认还是调用系统自带的python。sud...
2019-07-25 09:57:36
1641
原创 yolov3+keras学习中遇到的一些问题------(1)
近期跑github的keras yolov3代码，遇到了一些问题，此博客以记录。代码地址：https://github.com/qqwweee/keras-yolo3#usage在使用yolo_video.py检测视频时，最后会报错，且无法保存视频。报错如下：Traceback (most recent call last): File "yolo_video.py", line ...
2019-03-14 11:42:31
6557
9
原创 Ubuntu修改/etc/fstab 文件后系统无法启动
在网上查到 使用vim 修改/etc/fstab 文件可以自动挂载硬盘添加的信息为： UUID=XXX /disk ext4 defaults 0 1问题出在 最后那个 1 上！下面对/etc/fstab文件信息进行以下说明：显示格式如下：# /etc/fstab: static file system information. # # Use 'blkid' to ...
2018-12-01 11:20:27
6206
原创 Tensorflow object detection API 搭建目标检测环境
DependenciesTensorflow Object Detection API depends on the following libraries:Protobuf 3.0.0 Python-tk Pillow 1.0 lxml tf Slim (which is included in the "tensorflow/models/research/" checkout...
2018-10-29 21:20:53
470
原创 Tensorflow学习笔记（1）--基本流程，会话控制，变量，占位符
import tensorflow as tf目标函数：y = 0.1 * x + 0.3假设函数：y = Weights * x + biases预期结果：Weight接近0.1 biase接近0.3###creat tensorflow structure start###Weights = tf.Variable(tf.random_uniform([1], -0.1, 1.0))#生成变...
2018-06-26 10:20:35
326
原创 分类器性能评估
eg LinearSVClsvc = LinearSVC()#进行模型训练lsvc.fit(X_train, y_train)#预测y_predict = lsvc.predict(X_test)#性能评估print('The Accuracy of Linear SVC is', lsvc.score(X_test, y_test))print(np.mean(y_predict...
2018-06-24 10:45:32
444
原创 python 将二维列表转换为一维列表
1.tkintera = [[1, 2], [3, 4]]from tkinter import _flattenlist(_flatten(a))2.itertoolsfrom itertools import chainlist(chain.from_iterable(l_subject))---->[1, 2, 3, 4]
2018-06-19 20:23:43
17676
2
原创 根据特征重要性进行特征选择
对钓鱼网页特征进行提取 使用随机森林进行分类 分类结果不够准确 前几天看书看到了根据特征重要性进行特征筛选 今天拿来试一下原本选择了11个特征进行了特征提取 feature_names = ['img_num', 'form_num', 'input_num', 'password_input','a_num', 'a_emp_num', 'css_num', 'js_num', 'a_s...
2018-06-02 15:36:26
10891
9
原创 scikit-learn中的线性回归
from sklearn import linear_model1.普通最小二乘法线性回归linear_regressor = linear_model.LinearRegressiong()2.岭回归岭回归器是引入正则化系数后的回归ridge_regressor = linear_model.Ridge(alpha = 0.01,fit_intercept = True,max_iter =...
2018-05-28 22:01:21
397
原创 关于逻辑回归向量化的一点总结
照斯坦福的机器学习课程用Octave敲了一下逻辑回归的算法 然后搬到python上各种出问题...感觉自己对向量化 还是理解不够彻底 又重新推导了一遍用的数据集是课程的作业 training data包含100条数据 两个特征（两门课程的分数） 一个类别（能否入学）#加载数据集data = np.loadtxt(path, dtype = float, encoding = 'utf-8',...
2018-05-26 15:58:21
1464
原创 Pandas基本操作.....loc函数
A B C D E F0 1.0 2013-01-02 1.0 3 test foo1 1.0 2013-01-02 1.0 3 train foo2 1.0 2013-01-02 1.0 3 test foo3 1.0 2013-01-02 1.0 3 train foo将第0行 第A列的值改...
2018-05-23 21:28:24
1366
原创 python中遇到的一些问题-----(1)print后pd.dataframe/np.array显示不完整
编译软件:sublime text3print后数据显示不完整很多列 用 ... 省略了unstack()是将矩阵分解的函数，使用data.unstack()后 数据可以完整输出，但是是这个格式↓
2018-05-23 09:55:25
3601
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人