清风冷吟-CSDN博客

介绍最后一版，支持阻塞的任务，但需要线程池进行支持，阻塞任务会被放置在线程池中执行。支持动态添加任务支持停止事件循环支持最大协程数：maxsize支持进度条实时获取剩余协程数支持阻塞协程，需要线程进行支持，注意设置线程池：pool_maxsizeasyncPool.py# -*- coding:utf-8 -*-import asyncioimport aiohttpimport timeimport queuefrom concurrent.futures import T

2020-12-20 16:47:51 1829 1

原创 python asyncio协程动态添加任务、协程池2

文章目录asyncio 协程介绍:demoasyncio 协程介绍:动态添加任务：方案是创建一个线程，使事件循环在线程内永久运行设置守护进程，随着主进程一起关闭自动停止协程以及线程可进行任务阻塞至完成协程池asyncio.Semaphore() 进行控制maxsize 设置最大并发数demo"""asyncio 协程介绍: - 动态添加任务： - 方案是创建一个线程，使事件循环在线程内永久运行 - 设置守护进程，随着主进程一起

2020-12-18 22:04:18 4159 1

原创 go goroutine池的使用

文章目录简介demo简介使用goroutine池管理，防止线程过多导致cpu、内存爆满使用网络库，批量访问网络资源实现线程阻塞，等待goroutine 全部执行完毕demopackage mainimport ( "fmt" "github.com/panjf2000/ants/v2" "golang.org/x/net/publicsuffix" "io/ioutil" "log" "net" "net/http" "net/http/cookiejar" "strc

2020-12-06 15:30:58 633

原创 python asyncio协程动态添加任务、协程池

文章目录asyncio 协程介绍:demoasyncio 协程介绍:动态添加任务：方案是创建一个线程，使事件循环在线程内永久运行设置守护进程，随着主进程一起关闭自动停止任务阻塞任务完成协程池队列自带阻塞机制，当队列满了后会阻塞，因此可以取代 asyncio.Semaphore()demoimport asyncioimport aiohttpimport timeimport nest_asyncioimport queuefrom threading impo

2020-12-06 15:26:30 2984 4

原创 Cython 直接编译为可执行文件

文章目录简介cython代码：demo.pyx转为c代码c代码查看以及修改编译为可执行文件依赖文件最终文件简介cython代码直接编译为demo.c，然后进而编译为可执行程序；适用于linux，windows，其他的未测试。cython代码：demo.pyx# cython: language_level=3import sysimport osdef main(): base = os.path.realpath(sys.argv[0]) sys.path.append

2020-10-14 18:46:21 2899

原创 gocolly-登录(5)

文章目录简介demo简介模拟账号密码登录cookie登录以及字符串cookie登录csrf_token 处理demopackage mainimport ( "fmt" "github.com/gocolly/colly" "github.com/gocolly/colly/extensions" "log" "net/http" "os" "strings" "time")/*请求执行之前调用 - OnRequest响应返回之后调用 - OnRespon

2020-10-10 12:31:42 2283

原创 gocolly-字符串cookies处理(4)

文章目录简介demo简介这一章节专门处理cookies,为下一章做准备将字符串cookie转换为:[]*http.Cookiedemopackage mainimport ( "fmt" "net/http" "strings")// set cookies rawfunc setCookieRaw(cookieRaw string) []*http.Cookie { // 可以添加多个cookie var cookies []*http.Cookie cookieLi

2020-10-10 12:28:39 2611

原创 gocolly-OnResponse的使用(3)

文章目录介绍demo介绍本章节使用OnResponse进行返回网页数据使用xpath定位数据;推荐htmlquerydemopackage mainimport ( "fmt" "github.com/antchfx/htmlquery" "github.com/gocolly/colly" "github.com/gocolly/colly/extensions" "gopkg.in/xmlpath.v2" "log" "os" "strings" "time")

2020-10-10 12:23:31 1671

原创 gocolly-结构体的使用(2)

文章目录介绍demo介绍本章节搭配结构体的使用,使用类似于类一样的体验;OnHTML获取网页信息;实现翻页效果demopackage mainimport ( "fmt" "github.com/gocolly/colly" "github.com/gocolly/colly/extensions" "os" "strings" "time")/*请求执行之前调用 - OnRequest响应返回之后调用 - OnResponse监听执行 selector -

2020-10-10 12:04:12 536 1

原创 gocolly-基本使用(1)

文章目录介绍demo介绍章节以案例为主,搭载少量的解说.本章节介绍基本的使用,获取网页的信息.请求执行之前调用 - OnRequest响应返回之后调用 - OnResponse监听执行 selector - OnHTML监听执行 selector - OnXML错误回调 - OnError完成抓取后执行，完成所有工作后执行 - OnScraped取消监听，参数为 selector 字符串 - OnHTMLDetach取消监听，参数为 selector 字符串 - OnX

2020-10-10 11:56:53 1709

原创 UOS 部署文档

UOS SP1 自动部署之部署文档UOS SP1 自动部署之部署文档开启权限激活-试用期激活登陆获取root权限-开启开发者模式更改源国内源优先级docker 源更新源双系统时间不一致终端打开文件：oh-my-zsh下载安装使用zsh替换bash（需要注销）查看当前shell还原bash(需要重启)zsh 主题风格配置新增配置激活配置vim 主题风格配置简介添加配置文件激活配置python 高速源...

2020-08-18 22:16:48 1832

原创 TensorFlow2-前向传播(张量)-实战(10)

文章目录前向传播(张量)-实战What we have learnedRecaptf.GradientTape()前向传播(张量)-实战What we have learnedcreate tensor 创建张量indexing and slices 索引和切片reshape and broadcasting 重塑与传播math operations 数学运算Recap???????????? = ????????????????{????????????????{??????

2020-08-18 22:07:20 212

原创 TensorFlow2-数学运算(9)

文章目录数学运算运算符Operation type 操作类型+-*/%tf.math.log tf.elog2, log10?pow, sqrt@ matm同数据形状不同数据形状With broadcastingRecap 扼要重述Y = X @ W + bout = relu(X @ W + b)数学运算运算符±*/**, pow, squaresqrt//, %exp, log@, matmullinear layerOperation type 操作类型element-

2020-08-18 22:05:38 380

原创 TensorFlow2-Broadcasting(8)

文章目录BroadcastingKey ideaHow to understand?Why broadcasting?Broadcastable? 可广播?Situation 1:Situation 2Situation 3It's efficient and intuitive!隐式扩张显示扩张Broadcast VS TileBroadcasting作用：利用广播将原始矩阵成倍增加，广播是使数组具有兼容形状以进行算术运算的过程。向量维度扩张如果对于每个尺寸对，两个形状是相等的或其中之一是一个

2020-08-18 22:04:20 407

原创 TensorFlow2-维度变换(7)

文章目录维度变换简介ViewReshapeReshape is flexib 重塑是灵活的Reshape could lead to potential bugs!tf.transpo 矩阵转置[b,h,w,c]→[b, 3, h, w]Squeeze VS Expand_dimsExpand dimSqueeze dim维度变换简介shape, ndimreshapeexpand_dims/squeezetransposebroadcast_toView图片信息 [b,h,w][

2020-08-18 22:01:02 703

原创 TensorFlow2-索引与切片(6)

文章目录索引与切片Indexing 索引Basic indexingNumpy-style indexingstart:endIndexing by 综合使用后置切片前置切片前后切片Indexing by ::::-1 倒序... 省略号的方式Selective Indexing 选择性索引tf.gathertf.gather_ndtf.gather_nd更复杂的使用方式tf.gather_ndtf.boolean_mask索引与切片Indexing 索引Basic indexing[idx][

2020-08-18 21:59:24 707

原创 TensorFlow2-创建Tensor(5)

文章目录创建TensorFrom Numpy,Listnumpy创建数据并转为Tensorlist 创建数据并转为Tensortf.zerostf.zeros_liketf.onestf.fill(自定义填充)tf.random.normal(服从指定正态分布的序列)tf.random.uniform(均匀分布)Random Permutation(随机排列)tf.random.constantTypical Dim Data(典型尺寸数据)Scalar 标量LOSSVectorMatrixDim=3 Te

2020-08-18 21:56:12 1336

原创 TensorFlow2-数据类型(4)

数据类型常见数据仓listnp.arraytf.Tensorscalar:标量、0维：1.1vector：[1.1], [1.1,1.2,…]matrix: [[1,2,3],[2,4,5],[23,45]]tensor: rank(维度) > 2常见数据类型int,float,doubleboolstring常见数据类型使用import tensorflow as tfimport numpy as np# 老版本：常量,数值不能改变# 新版本是普通

2020-08-18 21:54:21 823

原创 TensorFlow2-手写数字问题体验(3)

import osimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layers, optimizers, datasets# 只使用cpuos.environ["CUDA_VISIBLE_DEVICES"] = "-1"# 设置 TensorFlow 的日志级别,避免输出过多提示信息os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'# 使用 ker

2020-08-18 21:51:48 257

原创 TensorFlow2-回归问题实战(2)

import numpy as np# y = wx + bdef compute_error_for_line_given_points(b, w, points): totalError = 0 for i in range(0, len(points)): x = points[i, 0] y = points[i, 1] # computer mean-squared-error totalError += (y

2020-08-18 21:39:14 340

原创 TensorFlow2-开发环境安装(1)

文章目录开发环境安装深度学习框架介绍学习建议开发环境安装CUDA安装python虚拟环境安装安装虚拟环境包编辑环境变量使环境变量生效创建并进入虚拟环境创建虚拟环境切换虚拟环境退出虚拟环境列出删除安装TensorFlow和torch为什么使用TensorFlowTensorFlow GPU与CPU运算TensorFlow2 自动求导TensorFlow2 与torch 简单语法比较开发环境安装深度学习框架介绍Scikit-learnMachinelearning，No GPUCaffe2

2020-08-18 21:36:57 611

原创渗透测试-主动信息收集(3)

文章目录渗透测试-主动信息收集(3)主动信息收集发现发现--二层发现（数据链路层）ArpingNmap(很强大)NetdiscoverScapy发现--三层发现（网络层）PingScapyNmapFpingHping发现--四层发现（传输层）TCPUDPNmapHping端口扫描UDP端口扫描Scapy UDP ScanNmapTCP端口扫描隐蔽端口扫描ScapyNmapHping3全连接端口扫描ScapyNmapDmitryNC僵尸扫描ScapyNmap服务扫描BannerNCPython socke

2020-08-11 14:16:20 1760

原创渗透测试-信息收集(2)

渗透测试-信息收集(2)信息收集被动信息收集信息收集内容信息用途信息收集-DNS信息收集-DIGDNS区域传输DNS字典爆破DNS注册信息搜索引擎搜索信息SHODANGOOGLE搜索YANDEX用户信息MELTAGO其他路径个人专属的密码字典METADATARECON-NG渗透测试-信息收集(2)信息收集被动信息收集公开渠道可获得的信息与目标系统不产生直接交互尽量避免留下一切痕迹OSINT美国军方：https://fas.org/北大西洋公约组织：http://information.

2020-08-11 14:14:35 800

原创渗透测试-环境(1)

渗透测试-环境(1)代理实验环境linux虚拟机（ether pad）测试用虚拟机系统Ubuntu:Metasploitable2模拟真实网络M0n0wall防火墙背靠背防火墙基本工具使用NC/ncatWiresharkTcpdump过程文档记录Dradiskeepnotetruecrypt渗透测试-环境(1)代理TORGoAgent Gtk实验环境linux虚拟机（ether pad）http://www.turnkeylinux.org测试用虚拟机系统Ubuntu:下载Ubunt.

2020-08-11 14:13:02 1057

原创 Manjaro 自动化部署

文章目录Manjaro 自动化部署工具介绍修改系统语言更改源国内源中文社区仓库源更新添加AUR源yay 用户yay 配置文件路径yay 查看配置yaourt 用户(废弃)再次更新安装Qt搜狗拼音（需要重启或注销）安装配置：生效报错snapd 使用安装（一般直接在自带软件开启即可）启动服务开机自启使用报错双系统时间不一致终端打开文件：oh-my-zsh(自带)下载安装使用zsh替换bash（需要注销）查看当前shell还原bash(需要重启)zsh 主题风格配置新增配置激活配置vim 主题风格配置简介添加配置

2020-07-27 16:53:02 3360

原创 Go-Qt5开发之QUiLoader加载UI(43)

@[TIOC]Go-Qt5开发之QUiLoader加载UI案例介绍直接使用QUiLoader加载untitled.ui文件，加速开发速度。demo.gopackage mainimport ( "fmt" "github.com/therecipe/qt/core" "github.com/therecipe/qt/gui" "github.com/therecipe/qt/...

2020-04-28 18:34:21 881

manjaro_auto.zip

Tensorflow MNIST 数据集打包

debtap 高速仓库软件同步包

空空如也