CyrusMay-CSDN博客

原创可视化篇（二）———使用matplotlib绘制常用3D图形及案例

可视化篇（一）———使用matplotlib绘制常用3D图形及案例摘要（一）添加matplotlib 3D模块（二）3d图中绘制曲线（三）3d图中绘制散点图（四）3d图中绘制线框图（五）3d图中绘制曲面图（六）3d图中绘制三角表面图（七）3d图中绘制等高线（八）3d图中绘制条形图摘要本文通过学习matplotlib绘制3d图形的官方文档，总结了常用的3d图形，以及针对每类图形，通过一个小案例进...

2020-05-07 19:15:02 21295 18

原创 BERT网络的原理与实战

BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的预训练语言模型，由Google在2018年提出。BERT可以在大规模的未标注文本上进行预训练，然后在各种下游NLP任务上进行微调，取得了很好的效果。BERT的主要贡献在于将双向预训练引入了Transformer架构中，使得模型能够更好地理解上下文信息，从而在下游任务中表现更加出色。本文将介绍BERT网络的原理与实战，包括预训练和微调两个部分。

2023-05-24 21:50:14 2237 3

原创 Transformer网络原理与实战

Transformer网络是一种基于自注意力机制的神经网络，由Google于2017年提出，并被广泛应用于自然语言处理、语音识别、图像生成等领域。相对于传统的循环神经网络和卷积神经网络，Transformer网络具有更好的并行性和更高的计算效率，在处理长文本时表现更加出色。Transformer网络的核心思想是利用自注意力机制来实现序列建模。该模型的输入和输出都是序列，它可以将源序列和目标序列分别映射到一个连续的向量空间中，并使用自注意力机制来计算输入序列中各个位置之间的依赖关系，从而实现对序列的建模。

2023-05-23 21:07:58 2970

原创 XGBoost算法原理与实战

XGBoost全名叫做eXtreme Gradient Boosting，是一种基于GBDT的高效、灵活、可扩展的梯度提升算法。近年来，在各种数据科学竞赛中，XGBoost屡创佳绩，成为众多数据科学家和算法工程师的新宠。本文将从原理和实战两个方面，带领大家深入了解XGBoost。

2023-05-22 23:16:53 976 1

原创 Soft Actor-Critic(SAC算法)

经过不断地soft policy evaluation和policy improvement，最终policy会收敛至。当|A|

2022-09-06 20:34:05 2933

原创强化学习—— Twin delay deep deterministic policy gradient(TD3算法)

所以动作价值的估计函数学习的目标是累计回报与TD error之差的期望。-------- 从replay buffer中随机采样一个batch。使用了两个动作价值网络和一个策略网络，对应于三个Target 网络。---------------- 更新Target network。--------将transition。初始化replay buffer。初始化Target网络中的参数。--------更新价值网络。，并随机初始化其中的参数。--------得到奖励。，并得到下一时刻的状态。

2022-08-23 21:57:00 1321

原创 linux - vi / vim 编辑器

退出编辑1模式 ESC。

2022-08-19 21:34:10 400

原创 Linux（一）—— 文件系统

用户所需要的所有应用程序和数据（用户级的东西）

2022-08-08 23:35:23 558

原创 Pytorch —— 分布式模型训练

在每个节点上都执行一次。

2022-07-29 21:43:28 837

原创强化学习—— Trust Region Policy Optimization (TRPO算法)

TRPO

2022-07-14 21:34:25 552

原创 Pytorch（六） —— 模型调优tricks

Pytorch

2022-07-03 20:51:14 700 3

原创 Ubuntu系统使用

Ubuntu使用

2022-07-03 18:10:26 1318

原创 Pytorch（四）——数据加载及预处理

pytorch

2022-06-30 17:13:48 817 1

原创 Pytorch（四） —— 可视化工具 Visdom

pytorch

2022-06-29 15:47:46 504

原创 Pytorch（三） —— 函数优化

pytorch

2022-06-29 13:52:10 381

原创 Pytorch（二） —— 激活函数、损失函数及其梯度

δ(x)=11+e−xδ′(x)=δ(1−δ)\delta(x)=\frac{1}{1+e^{-x}}\\\delta'(x)=\delta(1-\delta)δ(x)=1+e−x1δ′(x)=δ(1−δ)tanh(x)=ex−e−xex+e−x∂tanh(x)∂x=1−tanh2(x)tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}\\\frac{\partial tanh(x)}{\partial x}=1-tanh^2(x)tanh(x)=ex+e−xex−e−x∂x∂

2022-06-28 17:14:55 830

原创 Pytorch（一） —— 基本语法

pytorch的基本语法和常用方法

2022-06-25 17:55:21 1499

原创 Tensorflow（三十四） —— GRU

Tensorflow（三十四） —— GRUimport tensorflow as tf from tensorflow import kerasimport numpy as nptf.compat.v1.disable_eager_execution()# 加载数据集total_words = 10000(x_train,y_train),(x_test,y_test) = keras.datasets.imdb.load_data(num_words=total_words)p

2022-04-18 11:33:46 1222 1

原创 Tensorflow（三十三） —— LSTM

Tensorflow（三十三） —— LSTMLSTM(Long Short-Term Memory)LSTM(Long Short-Term Memory)import tensorflow as tffrom tensorflow import kerasimport matplotlib.pyplot as pltimport pandas as pdfrom tensorflow.keras.preprocessing.sequence import pad_sequences

2022-04-18 11:33:31 1583

原创 Tensorflow（三十二） —— 梯度爆炸

Tensorflow（三十二） —— 梯度爆炸解决方案解决方案import tensorflow as tffrom tensorflow import keras# solve gradient explodingwith tf.GradientTape() as tape: logits = model(x) loss = tf.losses.categorical_crossentropy(y,logits,from_logits=True)grads = tape.

2022-04-18 11:33:19 342

原创 Tensorflow（三十一） —— RNN

Tensorflow（三十一） —— RNNimport tensorflow as tffrom tensorflow import keras# ***************** 1、input dim & hidden dimcell = keras.layers.SimpleRNNCell(64) # 4为隐含层神经元数量cell.build(input_shape = [None,6])print(cell.trainable_variables[0].shape,\

2022-04-18 11:33:00 392

原创 Tensorflow（三十） —— ResNet

Tensorflow（三十） —— ResNetimport tensorflow as tffrom tensorflow import keras# 定义一个basic blockclass BasicBlock(keras.layers.Layer): def __init__(self,input_filters,filters,stride = 1): super(BasicBlock,self).__init__() self.conv1 =

2022-04-18 11:32:19 950 2

原创 Tensorflow（二十九） —— 卷积神经网络（CNN）

Tensorflow（二十九） —— 卷积神经网络（CNN）1. layers.BatchNormalization2. 实战1. layers.BatchNormalizationimport tensorflow as tffrom tensorflow.keras import layers,optimizersimport matplotlib.pyplot as plt# ************************ layers.BatchNormalizationx = t

2022-04-18 11:32:04 1061

原创 Tensorflow（二十八） —— 卷积神经网络（CNN）

Tensorflow（二十八） —— 卷积神经网络（CNN）1. layers.Conv2D2. weight & bias3. nn.conv2d (需要自己维护)4 池化与采样5 CIFAR100实战(13层网络结构)1. layers.Conv2D# ************************* layers.Conv2Dx = tf.random.normal([1,32,32,3])layer = keras.layers.Conv2D(4,kernel_size = 5

2022-04-18 11:31:49 880

原创 Tensorflow（二十七） —— 过拟合与欠拟合

Tensorflow（二十七） —— 过拟合与欠拟合1. 过拟合检测2. k折交叉验证3. 过拟合的解决方案3.1 正则化3.2 动量与学习率3.3 early stopping / Dropout / stochastic gradient descent1. 过拟合检测# ************************* 1、how to detect overfitting# 1.1 splitting(x,y),(x_test,y_test) = keras.datasets.mnis

2022-04-18 11:31:33 600

原创 Tensorflow（二十六） —— 模型加载与保存

Tensorflow（二十六） —— 模型加载与保存1. 训练测试模型2. save the weights3. 保存整个模型状态4. 工业环境布置1. 训练测试模型import tensorflow as tffrom tensorflow.keras import Sequential,optimizers,layers,datasets# 训练测试模型gpus = tf.config.experimental.list_physical_devices('GPU')tf.config.

2022-04-18 11:31:19 965

原创 Tensorflow（二十五） —— 自定义层与网络结构

Tensorflow（二十五） —— 自定义层与网络结构1. 自定义Dense案例2. 自定义model实例1. 自定义Dense案例# 自定义Dense案例class MyDense(keras.layers.Layer): def __init__(self,inp_dim,outp_dim): super(MyDense,self).__init__() self.kernel = self.add_weight("w",[inp_dim,outp_d

2022-04-17 13:23:38 902

原创 Tensorflow（二十四） —— keras实用API

Tensorflow（二十四） —— keras实用API1. Metrics2. compile & fit3. evaluate4. predict & predict_classes1. Metricsimport tensorflow as tffrom tensorflow.keras import optimizers,layers,Sequential,metrics,datasets# ************** Metrics1、build a meter

2022-04-17 13:23:25 696

原创 Tensorflow（二十三） —— TensorBoard

Tensorflow（二十三） —— TensorBoard1. install2. 使用步骤3. 实战1. installpip install tensorboard2. 使用步骤# ************** step1、cmd ==> tensorboard --logdir logs（文件夹名）2、open url ==> http://localhost:60063、build summary: current_time = datetime.datet

2022-04-17 13:23:12 316

原创 Tensorflow（二十二） —— 函数优化

Tensorflow（二十二） —— 函数优化import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt from matplotlib import cmdef my_func(x): return (x[0]**2 + x[1]-11)**2 + (x[0] + x[1]**2 - 7)**2x = np.linspace(-6,6,500)y = np.linspace(-6,6,500)

2022-04-17 13:22:52 267

原创 Tensorflow（二十一） —— 单输出和多输出感知机及其梯度

Tensorflow（二十一） —— 单输出和多输出感知机及其梯度1. 单输出感知机2. 多输出感知机1. 单输出感知机# ***************** 单输出感知机x = tf.random.normal([1,3])y = tf.convert_to_tensor([1])w = tf.ones([3,1])b = tf.ones(1)with tf.GradientTape() as tape: tape.watch([w,b]) logits = tf.nn

2022-04-17 13:22:32 370

原创 Tensorflow（二十） —— 激活函数及其梯度

Tensorflow（二十） —— 激活函数及其梯度1. sigmoid / logistic2. Tanh 在RNN中用得多3. relu函数1. sigmoid / logistic"""该函数的致命缺陷：梯度长时间得不到更新"""x = tf.Variable(tf.linspace(-10.,10.,100))with tf.GradientTape() as tape: y = tf.nn.sigmoid(x)[dy_dx] = tape.gradient(y,[x])

2022-04-17 13:22:08 379

原创 Tensorflow（十九） —— 梯度下降简介

Tensorflow（十九） —— 梯度下降简介1. Auoto Grad2. 一阶导数3. GradientTape(persistent = True)4. 计算二阶导数1. Auoto Grad# ****************** Auoto Gradwith tf.GradientTape() as tape: build computation graph loss = f(x)[w_grad] = tape.gradient(loss,[w])2. 一阶导数

2022-04-17 13:21:53 384

原创 Tensorflow（十八） —— 误差计算

Tensorflow（十八） —— 误差计算1. 主要方式2. MSE3. cross entropy loss4. MSE的缺点5. 直接对logits计算交叉熵损失函数1. 主要方式1、MSE2、cross entropy loss3、Hinge lossΣmax(0,1-y*h(x))2. MSE# ******************* MSEy = tf.constant([0,1,3,2,1])y = tf.cast(tf.one_hot(y,depth = 4),dtyp

2022-04-17 13:21:38 350

原创 Tensorflow（十七） —— 网络的输出方式

Tensorflow（十七） —— 网络的输出方式1. 主要方式2. y∈[0,1] sigmod3. y∈[0,1] Σy = 1 softmax4. y∈[-1,1] tanh1. 主要方式1、y∈R2、y∈[0,1]3、y∈[0,1] Σy = 14、y∈[-1,1]2. y∈[0,1] sigmod# ************ y∈[0,1] sigmoda = tf.linspace(-6.,6.,10)b = tf.sigmoid(a)print("a:",a.nump

2022-04-17 13:21:09 646

原创机器学习 —— sklearn实现神经网络并用于手写数字识别

机器学习 —— sklearn实现神经网络并用于手写数字识别from sklearn.neural_network import MLPClassifier"""Multilayer Perception 多层感知器"""from sklearn.preprocessing import StandardScalerfrom sklearn.datasets import load_digitsfrom sklearn.metrics import classification_repor

2022-04-17 13:20:34 1344

原创 Tensorflow（十六） —— 全连接层

Tensorflow（十六） —— 全连接层1. 全连接层2. Multi Layers1. 全连接层import tensorflow as tffrom tensorflow import keras# **************** fully connected layersx = tf.random.normal([1000,784])net = keras.layers.Dense(512)out = net(x)print("out:",out.shape)prin

2022-04-16 14:10:46 2292

原创 Tensorflow（十五） —— Tensor数据加载实战

Tensorflow（十五） —— Tensor数据加载实战1. 解决tensorflow输出无关信息问题2. 加载数据并转换类型3. 数据分割成不同batch4. 定义权值和偏置为：Tensor类型的Variable5. 参数训练1. 解决tensorflow输出无关信息问题import tensorflow as tfimport os from tensorflow.keras import datasetsfrom tensorflow import keras# 解决tensorf

2022-04-16 14:08:25 623 2

原创 Tensorflow（十四） —— 数据集加载

Tensorflow（十四） —— 数据集加载1. 主要方法2. keras.datasets3. mnist4. cifar10/1005. imdb6. tf.data.Dataset.from_tensor_slice7. db.shuffle8. db.map9. db.batch10. db.repeat11. 实例1. 主要方法1、keras.datasets2、tf.data.Dataset.from_tensor_slicesshufflemapbatchrepeat2.

2022-04-16 14:05:01 1023

原创 Tensorflow（十三） —— Tensor的进阶操作方法

Tensorflow（十三） —— Tensor的进阶操作方法1. 主要方法2. tf.where(tensor)3. tf.where(condition,A,B)4. tf.scatter_nd5. meshgrid方法6. 绘制等高线图1. 主要方法1、where 取出元素为True的坐标2、scatter_nd3、meshgrid2. tf.where(tensor)# ************** tf.where(tensor)"""可结合gather_nd操作"""a

2022-04-16 13:59:14 495

自组织映射网络 ——python实现SOM（用于聚类）

SOM（Self Organizing Maps ）的目标是用低维目标空间的点来表示高维空间中的点，并且尽可能保持对应点的距离和邻近关系（拓扑关系）。该算法可用于降维和聚类等方面，此代码主要用于实现聚类。

2021-01-13

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）python实现代码

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）为一种基于密度的聚类算法，它不仅可以找出具有任何形状的簇，而且还可以用于检测离群值。其基本思想为数据点分布紧凑的应被划分为一类，而周围未分布有或仅有极少数点的数据点则有可能为离群值。本文通过python实现了该聚类方法，并将代码进行了封装，方便读者调用。

2020-12-21

windows installer clean up.zip

此小插件可以深度卸载windows操作系统上的软件，特别适用于office卸载残留而导致的装不上新版本office的问题。

2020-09-10

python实现BP神经网络的代码

通过python实现了BP神经网络的搭建，只需要指定各层神经元个数、各层的激活函数，即可轻松搭建你的神经网络啦，并且封装有predict、predict_label等方法，方便直接调用模型进行预测！

2020-05-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人