Wang的专栏

到目前，GPT只能去接收文本的输入，但是在现实的生活当中，会有语音的需求GPT也有相关的能力接入，我们就需要一个能够将语音内容转换成文本的能力当然其他第三方的软件或者接口也是支持这个功能在 Open AI 有一个语音转文本的模型叫做 whisper在 Open AI 它的官方网站当中，在左侧可以看到有一个 Audio 关于音频的API文档: https://platform.openai.com/docs/api-reference/audio/create-transcription。

GPT是基于大模型去进行的机器学习的训练，对于机器学习相关的概念它是比较了解的，比如: 文本的分类, 文本的情感分析等等，相关的机器学习的功能,GPT如何支持？是否有相关接口供我们调用?

借助 logit_bias 参数 以及 moderation 接口 来进行文本的审核

分书问题1 ) 问题描述有编号分别为 0、1、2、3、4 的五本书，准备分给A、B、C、D、E五个人。请你写一个程序，输出所有的分书方案，要求每个分书方案都能让每个人都皆大欢喜(即每人都分到感兴趣的书)。假定这5个人对5本书的阅读兴趣如下表: 备注：图片托管于github，请确保网络的可访问性 2 ) 分析初步分析上面的这个阅读兴趣表格可以用一个二维数组描述int like[5][5] = { {0, 0, 1, 1, 0}, {1

栈排序1 ） 栈结构 遵循LIFO原则，first in last out2 ) 排序这里通过插入排序来分析通过cpp方式实现// 这里使用万能头#include <bits/stdc++.h>using namespace std;stack<int> sorting(stack<int>);int main() { ...

Jupyter的安装和启动Jupyter官网：http://jupyter.org/安装：$ pip3 install jupyter启动：$ jupyter notebookJupyter的一些注意事项和常用快捷键1 ) 注意事项代码执行顺序：注意到左侧的 In [1] 这种，[]中的是执行顺序它不一定是从上往下执行的尽量避免执行顺序和从上到下的次序不一致，以免再次加载(...

视觉算法开发的基本步骤任务要求 检测图中所有米粒计算米粒面积、直径的直方图和方差解决思路图像采集(取到图像)在示例只需要读一幅图片对于笔记本自带的摄像头，opencv提供支持，得到当前视频，返回当前帧工业摄像机比较麻烦, 通常不支持windows自带的支持流媒体的摄像头, 需要摄像头本身提供的sdk单独做一个程序, 采集图像图像预处理滤波，缩放，增强等...

概述图像分割是视觉中非常重要的一个内容我们人类在看周围世界的时候, 首先会将视野中的目标分成一个一个不同的焦点, 进一步再对每一个目标进行详细的分析模拟人类视觉，计算机视觉也要对图像中不同的目标一个一个的进行分割出来图像直方图(灰度直方图) 在左上角的图像每一个像素格分别对应了该像素的对应灰度，在这里我们只考虑灰度图像每个像素对应的灰度幅值是0~255之间，我们可以围...

边缘检测基本思想边缘是图像最重要的一类特征在生活中速写就是用铅笔勾勒出图像的边缘信息，我们通过速写识别作画的内容，也就是说边缘能够提供图像中特别重要的信息四类不同的边缘 第一层是图像的变化趋势第二层是灰色的函数趋势第三层是对这个函数一阶微分第四层是对这个函数二阶微分边缘检测的本质是微分实际中常用差分，x方向和y方向图像边缘检测 - 基本算子Robert算子...

项目使用技术基于Python语言，版本：>=3.5及以上。使用Django框架，版本：1.11.11的LTS版本。MySQL数据库连接数据库：pymysql=0.8.0图像处理： Pillow=5.0.0Web前端技术：HTML、CSS、JavaScript和Jquery等项目的目录结构本次项目共计四个应用：myadmin、web、common和ueditor/d_sh...

概述需要根据《项目建议书》、《需求说明书》、界面原型、各种标准规范对数据库进行设计, 我们目前先参考这一设计图 结构设计1 ） 找实体实体是实体-关系模型的基本对象, 是现实世界中各种事物的抽象。凡是可以相互区 开并可以被识 的事、物、概念等对象均可认为是实体。基本的实体列表如下:会员类别商品订单订单详情收货地址商品评论商品图片友情链接站内公告…...

照明模型光通量人能够看到周围的世界有2个部分构成：外在光源、光源物体表面的情况光通量是指人眼所能感觉到的辐射功率，它等于单位时间内某一波段的辐射能力和该波段的相对视见率的乘积以符号表示，单位是lm(流明)1lm = 0.00146瓦不同光源的典型值 光源 光通量 说明 太阳 ...

关于人工智能人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。计算机视觉是人工智能的一个分支，它研究如何使人工系统从图像或多维数据中“感知”的科学。人类技术发展历史人类历史就是一部技术发展的历史，经历了这么几个阶段：1万年前人类开始种植粮食，进入农业阶段十七世纪后期的工业革命，大规模的机器生产代替手工作坊，解放了人类的双手和...

关于各个软件环境python是深度学习使用的一门语言，封装比较高级，语言表达很简洁，实现复杂网络模型的时候比较易读，所以不用偏底层的c++语言, 目前选择的版本是3.6或3.7opencv是python的一个库, 什么是库呢？库是集合了同一类函数的集合。opencv就是图像处理, 视频处理的库anaconda 可以理解为一种容器，可以和docker做下对比, 在我们系统上有很多软件会因不同...

静态文件项目中的CSS、图片、js都是静态文件备注：本文基于django版本1.11展开, 技术栈会有所升级, 仅供参考！1 ） 配置静态文件在settings 文件中定义静态内容STATIC_URL = '/static/'STATICFILES_DIRS = [ os.path.join(BASE_DIR, 'static'),]在项目根目录下创建stat...

上传图片当Django在处理文件上传的时候，文件数据被保存在request.FILESFILES中的每个键为<input type="file" name="" />中的name注意：FILES只有在请求的方法为POST 且提交的<form>带有enctype="multipart/form-data" 的情况下才会包含数据。否则，FILES 将为一个空的类似于字...

Template模板作为Web 框架，Django 需要一种很便利的方法以动态地生成HTML。最常见的做法是使用模板。模板包含所需HTML 输出的静态部分，以及一些特殊的语法，描述如何将动态内容插入。备注：本文基于django版本1.11展开, 技术栈会有所升级, 仅供参考！模板引擎配置模板引擎使用该TEMPLATES设置进行配置。这是一个配置列表，每个引擎一个。默认值为空。在 ...

Django的视图层(View)Django框架中的视图（View）是用来负责处理用户请求和返回响应的逻辑程序视图（View）简而言之就是一个Python的函数或方法，接受处理Web请求。视图的响应可以是网页的HTML内容，重定向或404错误，XML文档或图像。视图的代码按惯例是放置一个名为views.py的文件中，此文件放在项目或应用程序目录中。（其实视图文件名可以自己定义）备注：本...

Model模型模型是你的数据的唯一的、权威的信息源。它包含你所储存数据的必要字段和行为。通常，每个模型对应数据库中唯一的一张表。每个模型都是django.db.models.Model的一个Python 子类。模型的每个属性都表示为数据库中的一个字段。Django 提供一套自动生成的用于数据库访问的API；这极大的减轻了开发人员的工作量，不需要面对因数据库变更而导致的无效劳。备注：...

概述一个干净优雅的URL方案是高质量Web应用程序中的一个重要细节。Django可以让你自己设计URL，无论你想要什么，没有框架限制。要为应用程序设计URL，您可以非正式地创建一个名为URLconf（URL配置）的Python模块。这个模块是纯Python代码，是一个简单的Python模式（简单的正则表达式）到Python函数（您的视图）之间的映射。Django处理请求当用户从D...

进入我们的项目Django-1.11.11假设在创建之初, 我们通过此命令来创建: $ django-admin startproject DjangoApp后期将最外层目录修改为了: Django-1.11.11根据我们使用的Django版本的文档运行开发服务器$python3 manage.py runserver这样只能本机调试访问$python3 manage...

docker多容器的应用1 ） 任务使用python写个web页面，将数据存放于redis在docker开发中，我们应该遵循每个容器只做一件事情的原则在这一任务中我们使用两个容器：一个用于运行python代码, 另一个跑redis数据库2 ） 准备redis容器在hub.docker.com中查阅关于redis的镜像信息，可以找到alpine版本的拉取镜像, $ docker ...

连接服务器的远程终端工具SecureCRT 收费Xshell 收费mtputty 免费(windows下的putty的外壳程序，下载后放入putty同级，可以对多台服务器进行有效管理)测试服务器代码的部署代码完成后，需要进行测试, 就需要将我们的代码部署到测试服务器上！测试服务器上创建一个git仓库，同步最新的项目代码!每次需要测试时, 通过代码更新, 将最新代码同步即可!...

概述在部署一台新服务器的时候，总是要安装各种各样的软件：mysql,nginx,python等，如果要避免重复劳动批量化部署多台服务器，那么我们就要编写自动化运维脚本, 让我们的安装和配置工作都能自动的完成。编写自动化安装程序安装软件一般有两种方式：二进制包(简单需要下载后手动安装)、源码编译(麻烦)我们以源码编译的方式来实现脚本编写源码编译的方式安装步骤以编译安装Nginx为例...

概述在项目上线后，总有很多不确定的因素存在，例如并发高，代码逻辑错误等, 这些异常往往会导致很严重的后果，造成服务中断, 需要尽早的发现问题, 所以对服务器各方面的监控就变得尤为重要我们需要使用程序自动监控服务器状态，并且在出现异常后主动告诉我们。自动监控CPU、内存使用率创建文件监控文件monitor.py, 这里的一些方法都是类方法，可以直接调用，不需要实例化import psu...

常用模块psutil用它来获取系统信息IPy高效处理ip地址相关的功能dnspython实现是dns的服务监控可以实现域名解析，对域名的A记录，NS记录进行相应的查询等解析结果的校验系统信息的获取在Windows系统中可以通过任务管理器来获取系统的时时状态在linux服务器中如何获取呢？可以使用top命令可以看到CPU、内存、进程等信息可以...

什么是消息队列在项目架构中消息队列(Message queue) 简称 MQ, 应用场景非常多, 它是一个异步框架。一般项目做大了之后，会将http-server中的一些业务逻辑放到MQ中, 后端独立处理这些消息。消息队列的场景1 ） 同步业务处理存在的问题拿用户注册来说，首先要进行数据库操作，之后可能会发短信，发邮件等，之后再通知注册成功，而每一步花费时间会非常多，如果按照正常流程...

概述在我们把系统做好反向代理和负载均衡之后, 还有一个性能问题没有解决，就是我们的数据库，此时如果并发量大了，数据库将是一个很大的瓶颈。假如我们有一台4核8G的服务器, 它能承受的并发数通常也就在2000左右。以电商系统为例, 如果所有的商品信息都是直接从数据库中读取, 首先挂掉的将会是我们的数据库。为了解决这个问题，在DB层和业务逻辑层之间, 会加入一层缓存, 利用缓存可以很好分担数据库的压力...

性能测试概述我们的项目不仅仅要考虑功能同时需要关注性能需要考虑并发访问时服务器会出现什么样的输出关于性能测试需要考虑几点吞吐率(Requests per second)反映了服务器的并发处理能力比如在50个并发下，服务器每秒钟能处理多少请求并发连接数(The number of concurrent connections)表示服务器在同一时间能够承受多少并发的请求...

检查服务器软件环境$apt update 安装软件之前的通用操作$python3 -V 检查是否安装python3$pip3 -V 检查是否安装pip3$apt install python3 如果没有，则执行安装$apt install python3-pip 如果没有，则执行安装$pip3 install django 安装django框架使用django创建一个简单的项目...

概述用程序识别极验滑动验证码的验证，包括分析识别思路、识别缺口位置、生成滑块拖动路径、模拟实现滑块拼合通过验证等步骤。准备工作使用Python库是Selenium，浏览器为Chrome。请确保已安装Selenium库和ChromeDriver浏览器驱动。关于极验滑动验证码：极验滑动验证码官网为：http://www.geetest.com/验证方式为拖动滑块拼合图像，若图像完全拼合...

用API爬取天气预报数据案例阅读前特殊说明由于和风天气预报属第三方服务提供商，API地址，文档以及技术架构等可能会因时间而更改，由此可能会造成博文出现错误，因此本文仅供阅读参考具体使用请具体参考官方文档API的数据获取是爬虫中最简单的一个环节注册免费API和阅读文档本节通过一个API接口(和风天气预报)爬取天气信息，该接口为个人开发者提供了一个免费的预报数据（有次数限制）首先访...

概述App的爬取相比Web端爬取更加容易，反爬中能力没有那么强，而且响应数据大多都是JSON形式，解析更加简单。在APP端若想查看和分析内容那就需要借助抓包软件，常用的有：Filddler、Charles、mitmproxy、Appium等。mitmproxy是一个支持HTTP/HTTPS协议的抓包程序，类似Fiddler、Charles的功能，只不过世它通过控制台的形式操作。Appiu...

分布式爬虫原理概述Scrapy框架虽然爬虫是异步多线程的，但是我们只能在一台主机上运行，爬取效率还是有限。分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，将大大提高爬取的效率。分布式爬虫架构1 ） Scrapy单机架构回顾Scrapy单机爬虫中有一个本地爬取队列Queue，这个队列是利用deque模块实现的。如果有新的Request产生，就会放到队列里面，随后Reque...

代理服务我们在做爬虫的过程中经常最初爬虫都正常运行，正常爬取数据，一切看起来都是美好，然而一会儿功夫就出现了错误。如：403 Forbidden错误，“您的IP访问频率太高”错误，或者跳出一个验证码让我们输入，之后解封，但过一会又出现类似情况。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问...

Selenium库的介绍Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击，下拉，等操作Selenium可以获取浏览器当前呈现的页面源代码，做到可见既可爬，对应JavaScript动态渲染的信息爬取非常有效官方网址：http://www.seleniumhq.org官方文档：http://selenium-python.readthedocs.io中文文档...

本项目通过Scrapy框架的爬虫实战案例来巩固该项技术栈，并用于日后回忆和反思

概述我们通过一个案例来梳理使用scrapy框架抓取数据入库以及下载图片媒体文件的整个流程任务爬取csdn学院中的课程信息（人工智能相关的）https://edu.csdn.net/courses/o5329/p1 （第一页）https://edu.csdn.net/courses/o5329/p2 （第二页）备注：页面以及代码可能因时间和技术迁移而失效，此处只做学习研究和分享创建...

ItemPipeline的介绍当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。每个item pipeline组件(有时称之为“Item Pipeline”)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。...

Scrapy框架中的Settings 常见配置Scrapy设置(settings)提供了定制Scrapy组件的方法。可以控制包括核心(core)，插件(extension)，pipeline及spider组件。 相关参考文档内置设置摘录BOT_NAME默认: ‘scrapybot’当使用 startproject 命令创建项目时其也被自动赋值。CONCURRENT_ITEM...