ViT（Vision Transformer）原理及基于pytorch构建和训练视觉Transformer实例（ViTransformer）

scient

scient一个用python实现科学计算相关算法的包，包括自然语言、图像、神经网络、优化算法、机器学习、图计算等模块。

scient源码和编译安装包可以在Python package index获取。

The source code and binary installers for the latest released version are available at the [Python package index].

https://pypi.org/project/scient

可以用pip安装scient。

You can install scient like this:

pip install scient

也可以用setup.py安装。

Or in the scient directory, execute:

python setup.py install

scient.neuralnet

神经网络相关算法模块，包括attention、transformer、bert、lstm、resnet、crf、dataset、fit等。

scient.neuralnet.transformer

transformer模块，实现以多头注意力机制为基础的transformer模型，包括Transformer、ViTransformer、Former、Encoder、Decoder。

scient.neuralnet.transformer.ViTransformer

应用于图像的transformer模型Vision Transformer。

scient.neuralnet.transformer.ViTransformer(n_class,patch_size=16,in_channels = 3,in_shape=(224,224),embed_size=768,
                 n_head=8,n_encode_layer=6,n_decode_layer=6,ff_size=2048,dropout=0.1,quantile=None,
                 eps:float=1e-9)

Parameters

n_class=1000 int 分类数，ViTransformer预训练任务为图像分类
patch_size=16 int 或 (int,int)，patch大小
in_channels = 3 int 图像通道数
in_shape=(224,224) 图像高宽
embed_size=768 int embedding向量长度
以下为transformer参数
n_head:int=8 int 多头注意力head数量
n_encode_layer:int=6 encoder层数
n_decode_layer:int=6 decoder层数
ff_size:int=2048 feed forward 参数
dropout:float=0.1
quantile=