- 博客(73)
- 收藏
- 关注
RSS订阅转载 pyautogui安装问题
转载：https://blog.csdn.net/IceelfLuo/article/details/107243988
2020-08-18 21:14:47
296
原创 python 利用timedelta计算时间的跨度
python可以用于计算相对于某一个时间/日期的前一段时间或者后一段时间的时间格式数据。主要用到 datetime 和 timedelta 模块。from datetime import datetime, timedelta计算前一天# 前一天date_1 = datetime.now()date_2 = date_1 + timedelta(days=-1)print(da...
2020-04-30 09:26:45
1662
原创 os中的splitext和split的区别
在使用Python的过程中，在处理字符串的时候会遇到split()和os.path.split()两个函数，他们的主要区别可以概括为一个从前往后搜索字符串，后者则是从后往前搜索 ‘.’（reverse search）。os.path.splitext()更多的运用在了搜索文件路径（path）和文件的扩展名（ext)，这两个组合在一起构成了完整的路径，如果使用正常的split()函数来获取扩展名，...
2020-04-22 11:49:51
1721
原创 问卷星的自动答题脚本
import timefrom datetime import datetimefrom random import randintfrom requests_html import HTMLSession# from spider_wjx.configs import (QUESTION_ID, QUESTION_URL, POST_URL_MAP, QUESTION_INFO, A...
2020-04-19 14:51:35
18828
6
原创 python对列表中的字典数据按某一元素进行排序
数据显示为:rows=[{'日期': '2018-09-04', '测试1': '50.00 %', '测试2': '100.00%'}, {'日期': '2018-09-05', '测试1': '100.00%', '测试2': '无执行'}, {'日期': '2018-09-06', '测试1': '100.00%', '测试2': '100.00%'}, {'日期': '2018-08-3...
2020-04-08 14:07:15
3535
原创 带小数点时间格式的转换（python）
import datetime, time#TODO 获取带小数点的时间#当前时间加3天t1 = datetime.datetime.now() + datetime.timedelta(days=3)print(t1)#TODO 将带小数点的时间字符串解析t2 = time.strptime("2020-03-22 11:19:41.463759", "%Y-%m-%d %H:%M...
2020-03-19 11:22:55
8015
原创 将markdown转换成html（python）
Python markdown 使用首先通过pip 安装python-markdown。pip install markdown安装完成后，使用其有两种方式，一是在命令行下使用markdown_py脚本进行转换：markdown_py README.md >> README.html另外一种使用方法，也就是我使用的方法：导入markdown模块。import markd...
2020-03-19 11:16:03
1310
原创 python 使用yield进行数据或文件的流式处理
demo：重写某个文件下的所有分发文件，要求：1、时间路经中的空格改为“T”2、所有日志内容的datetime字段带有6位毫秒，如果位数不足，可用0补齐3、所有日志内容的datetime字段都为UTC时间，且带“Z”后缀import osimport sysimport jsonfrom datetime import datetime, timedeltadef read_l...
2020-03-13 10:09:24
864
原创 通过ssh方式连接远程linux服务器和下载文件
前提是服务器端已经安装服务器端，端口为默认，未改动如果端口不是默认，则加上-P 端口如果用密钥，则加上-i 密钥文件免密连接服务器sudo ssh 用户名@ip地址sudo ssh ubuntu@192.168.0.200下载文件(scp命令不需要前面的登录服务器，直接在本地执行命令即可)sudo scp -r 用户名@ip地址:绝对路径 本地绝对路径sudo scp -r ...
2020-03-02 15:47:56
1115
原创 raise的简单使用
import tracebackdef master(): _,result_status,result_msg=output_event('1') print(_) print(result_status) print(result_msg)def output_eventhub(event): try: 1/0 exc...
2019-12-17 17:36:53
282
原创 git fork别人的项目之后 同步远程分支的方法
fork别人的项目clone到本地后，远程分支有修改，需要同步远程分支，使得本地代码与远程分支一致。1、git remote -v:orgin：为本地分支的upstream：为远程分支2、git remote add upstream <原作者项目的URL>（上一步操作没有upstream，则需要添加uptream）完成后，可以执行git remote -v确认。3、git...
2019-12-09 14:28:38
4110
原创 git用户名、密钥的设置
一 设置Git的user name和emailgit config --global user.name "xxx"git config --global user.email "xxx@xxx.com"查看设置的全局变量信息：git config --global --list查看系统configgit config --system --list二 生成SSH密钥过程...
2019-12-06 11:25:18
358
原创 git合并分支到origin master
假如我们现在在dev分支上，刚开发完项目，执行了下列命令git add .git commit -m ‘dev’git push -u origin dev然后我们要把dev分支的代码合并到master分支上 该如何？首先切换到master分支上git checkout master如果是多人开发的话 需要把远程master上的代码pull下来git pull origin mas...
2019-11-28 14:31:26
911
原创 命令行对gitlab的操作（clone到merge）
1、首先从主项目上fork一个自己的项目。2、从自己项目上获取clone链接地址。3、在想要存放的目录下执行 git clone <链接地址>4、查看日志git loggit log --online5、查看当前所在的分支git branch6、切换分支git checkout -b <分支名>7、查看状态（跟源文件有出入的文件）git st...
2019-11-28 10:22:18
1502
原创 python定时执行任务
1 time.sleepimport timefor i in range(5): print(i) time.sleep(10)2 用shedimport time import sched schedule = sched.scheduler ( time.time, time.sleep ) def func(string1,float1):...
2019-11-15 17:55:30
235
原创 python3使用pathlib替代os.path
路径管理库pathlib在python 3.4版本之后支持，它可以让我们采用面向对象的方式来处理路径，带来十分轻快简洁的体验。下面介绍一些os.path的常用场景，以及pathlib的替代方案。仅在第一个示例显示import的内容1.获取当前路径的绝对路径import os.pathfrom pathlib import Pathos.path.abspath(__file__)#...
2019-11-15 10:24:49
1433
原创 软件开发技术文档编写规范（转）
在公司期间，编写文档时的一通乱写，然后还被笑了。。。难顶在项目开发过程中，应该按要求编写好十三种文档，文档编制要求具有针对性、精确性、清晰性、完整性、灵活性、可追溯性。◇可行性分析报告：说明该软件开发项目的实现在技术上、经济上和社会因素上的可行性，评述为了合理地达到开发目标可供选择的各种可能实施方案，说明并论证所选定实施方案的理由。◇项目开发计划：为软件项目实施方案制订出具体计划，应该包括各...
2019-11-13 16:52:15
987
原创 pip is configured with locations that require TLS/SSL, however the ssl module in Python is not avail
linux中：在Ubuntu中安装Python 3.6和pip3的分步指南为Python和ssl安装必要的软件包：$ sudo apt-get install libreadline-gplv2-dev libncursesw5-dev libssl-dev libsqlite3-dev tk-dev libgdbm-dev libc6-dev libbz2-dev...
2019-11-13 16:03:42
225
原创 Azure Event Hub 入门篇（概念、体系结构、术语）
Azure Event Hub的官方介绍：Azure 事件中心是超大规模的遥测引入服务，可收集、传输和存储数以百万的事件从网站、应用和任何数据流引入云端大规模的遥测数据，进行流式处理和分析可以看出，Azure Event Hub是一个数据的云端接入服务。我们上面的博客中讲到的Azure IoT Hub中的数据，发送到云端之后，也是使用的Azure Event Hub作为数据接入服...
2019-10-31 16:36:59
4852
原创 Azure Event Hub完全入门指南
转需：https://www.cnblogs.com/mysunnytime/p/11634815.htmlEvent Hub事件中心本文的目的在于用最白的大白话，让你从“完全不懂”开始，理解什么是分布式大数据流平台Event Hub，并且理解它的关键概念，并且初步理解其收发数据API。定义，Event Hub是什么、产生的目的Event Hub是微软云服务Azure的一个产品，是分布式...
2019-10-31 15:32:54
2242
原创 大数据处理中的实时流式处理
大数据的实时流式处理问题的特点数据源源不断的到来；数据需要尽快的得到处理，不能产生积压；处理之后的数据量依然巨大，仍然后TB级甚至PB级的数据量；处理的结果能够尽快的展现；以上四个特点可以总结为数据的收集->数据的传输->数据的处理->数据的展现其中数据的处理一般涉及数据的聚合，数据的处理和展现能够在秒级或者毫秒级得到响应。针对这些问题目前形成了 Flume +...
2019-10-31 14:42:16
1847
原创 python中使用Azure Blob存储
##概述：Azure Blob Storage是在云上将非结构化数据存储为对象或者blob形式。Blob存储可以存任何形式的文本或二进制数据，比如：文档、媒体文件或者app（应用程序安装包）。Blob存储也可以当成对象存储。这篇文章将会演示使用Blob存储的常见场景。这个例子使用python写的，并且使用了Microsoft Azure Storage SDK for Python.这个场景包...
2019-10-23 16:31:17
1163
原创 ubuntu在vim里搜索关键字
在命令模式下敲斜杆( / )这时在状态栏（也就是屏幕左下脚）就出现了 “/” 然后输入你要查找的关键字敲回车就可以了。如果你要继续查找此关键字，敲字符 n 就可以继续查找了。...
2019-10-18 14:01:08
2115
1
原创 解决socket连接超时问题
最近两天 项目其中一台IM服务器的IM验证出现问题，进行用户IM注册时出现连接超时问题；重启服务后，可以进行用户的IM注册验证，没有出现超时问题；但是等到半个钟一个钟(时间不定)；结果还是会有连接超时问题，所有单单是重启解决不了问题，也不可能一有问题就去重启服务问题一：登录服务器后台，使用netstat -ant命令查看当前网络状态：（此图是禁用IPV6后截图）发现，输出中没有IM验证...
2019-10-18 11:14:34
9692
原创 shell脚本中让进程休眠的方法（sleep用法）
有时候写Shell的脚本，用于顺序执行一系列的程序。 有些程序在停止之后并没能立即退出，就例如有一个 tomcat 挂了，就算是用 kill -9 命令也还没瞬间就结束掉。这么如果 shell 还没等其退出就接着执行下一行，这么就出乱子了。 刚知道了原来 shell 也能有 sleep 的参数。复制代码代码如下:sleep 1 睡眠1秒sleep 1s 睡眠1秒sleep 1m 睡眠1分...
2019-10-18 11:09:37
3458
原创 pandas.DataFrame对行和列求和及添加新行和列
导入模块：from pandas import DataFrameimport pandas as pdimport numpy as np生成DataFrame数据df = DataFrame(np.random.randn(4, 5), columns=['A', 'B', 'C', 'D', 'E'])DataFrame数据预览： A B ...
2019-10-12 20:36:08
5347
原创 pandas ValueError: could not convert string to float: （dataframe string 转 float）（object 转 float）
问题：pandas 导入 csv文件之后，有部分列是空的，列的类型为object格式，列中单元格存的是string格式需求：把空的列（object）转化成浮点类型（float）方法：# 读取文件data = pd.read_csv("./data/data.csv", encoding='utf-8') # 前两列丢掉data = data.ix[:, 2:] # 找到列名，转化...
2019-10-12 20:32:19
3459
2
原创 机器学习的一些文章收集
https://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-integerDataFrame.iloc[:,0：1] : 选择第一列DataFrame.iloc[0：1,:] : 选择第一行增加一行/删除一行：https://blog.csdn.net/luoganttcc/article/details/7757...
2019-10-12 20:30:11
147
原创 python 把多个DataFrame合并成一个DataFrame—merge
pandas提供了各种工具，在连接/合并类型操作的情况下，可以方便地将序列、数据帧和面板对象与各种索引集逻辑和关系代数功能组合在一起。1. mergepd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort...
2019-10-12 20:21:43
7873
1
原创 pip使用镜像下载
pip下载速度过慢，可以使用镜像这里使用国内镜像：https://pypi.tuna.tsinghua.edu.cn/simple使用镜像分为两种：暂时和永久1、暂时在使用pip的时候加参数-i， i是你要下载的包名如下：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas2、永久windows，在user目录...
2019-10-09 12:29:43
989
原创 python的try except异常的捕获方式
有两种：1、def test(arr): try: a = int(arr) print(a) except Exception as e: print('error', e) test('adff')这种捕获方式有个问题，那就是只打印最简略的错误信息：error invalid literal for i...
2019-09-30 17:54:56
537
原创 下载安装运行sentry（初学）
1、 首先注册新账户，地址：https://sentry.io2、安装SDK，sentry通过在应用程序运行时中使用SDK来捕获数据使用pip安装：pip install --upgrade sentry-sdk==0.10.23、配置SDK在sentry中完成项目设置后，将获得一个我们称之为DSN或数据源名称的值，其由协议、公钥、服务器地址和项目表示符组成。在应用程序中导入并初始化...
2019-09-30 10:09:49
824
原创 (ubuntu) pyenv实现python多版本控制
安装pyenvgit clone git://github.com/yyuu/pyenv.git ~/.pyenvecho 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bashrcecho 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bashrcecho 'eval "$(pyenv ...
2019-09-27 16:25:39
132
原创 安装 aconda 后Linux的终端界面前部出现（base）字样
问题原由：在linux中安装anacanda并且在安装过程中是否把anaconda的bin添加到用户的环境变量中，选择yes这导致了在终端界面前部出现(base)字样原因：.bashrc中已经创建解决方法：1.打开一个终端 ，输入命令：gedit ～/.bashrc2.在 .bashrc文件最后面添加命令：conda deactivate再重新打开终端即可消除base字样若在终...
2019-09-25 10:52:51
1283
原创 linux下根据根据进程号查端口、根据端口号查进程号以及一些对端口的操作汇总
根据端口查进程：lsof -i:portnetstat -nap | grep port根据进程号查端口：lsof -i|grep pidnetstat -nap | grep pid根据进程名查找pid、port：ps -ef |grep tomcatps -ef |grep port(根据port查找相关进程)ps -ef |grep pid(根据pid查找相关进程)查看防...
2019-09-25 09:44:54
4210
原创 docker安装运行redis
ubuntu环境查询镜像：i-qinchen@RENTAL-PB300AA:~$ docker search redis[sudo] i-qinchen 的密码： NAME DESCRIPTION STARS OFFICIAL ...
2019-09-23 14:27:04
470
原创 ubuntu执行apt-get update报错： 错误:14 http://cn.mirrors.ustc.edu.cn/ubuntu bionic InRelease
参考：https://blog.csdn.net/BigData_Mining/article/details/87867979原因：在刚安装好的Ubuntu系统的时候，在进行软件更新的时候会发现速度非常的慢，这是因为软件源使用的是国外源的原因。解决方案：1、使用国内的软件源在软件下载速度方面相对比较快，找到软件源文件sources.list的位置2、在更新软件源之前建议先把原来的软件...
2019-09-20 10:39:31
3029
1
原创 Docker: Docker Compose入门学习
参考：https://www.jianshu.com/p/658911a8cff3Docker Compose 概述与安装？前面我们使用 Docker 的时候，定义 Dockerfile 文件，然后使用 docker build、docker run 等命令操作容器。然而微服务架构的应用系统一般包含若干个微服务，每个微服务一般都会部署多个实例，如果每个微服务都要手动启停，那么效率之低，维护量之...
2019-09-19 10:55:40
133
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人