Vision Transformer 【python|ViT结构】图像输入尺寸为 [ N , C , H , W ] [N, C, H, W] [N,C,H,W]， C C C通常为3，为了构建为 T r a n s f o r m e r Transformer Transformer需要的输入，将输入图像切分为 p h ? p w ? C p_h * p_w * C ph??pw??C尺寸的 n n n个小图块，合计切出 h ? w h*w h?w个小图块。
# reshape and flatten
[N, C, H, W] => [N, h*w, p_h * p_w * C] => [N, h*w, dim] # h = H // p_h, w = W // p_w, input flattened feature to nn.Linear, map into dim dimenstion.
# concat cls_tokens and add positional embedding
cls_token = nn.Parameter(torch.randn(1, 1, dim))
cls_token = repeat(cls_token, '() n d -> b n d', b=b)
pose_embedding = nn.Parameter(torch.randn(1, num_patches + 1, dim)
[N, n, dim] => [N, n + 1, dim] => [N, n + 1, dim] # n = h * w, cls_tokens -> positional embedding.
经过 n n n个 e n c o d i n g ?? l a y e r s encoding\; layers encodinglayers构建成的 T r a n s f o r m e r Transformer Transformer提取特征后，输入到 M L P ?? h e a d MLP\; head MLPhead 模块
[N, n + 1, dim] => [N, num_classes]
T r a n s f o r m e r Transformer Transformer的 e n c o d i n g ?? l a y e r encoding\; layer encodinglayer模块的结构如下：
encoding layer = MSA + MLP
MSA: Multi-headed Self-Attention
MLP: Multi-Layer Perceptron
文章图片
注意力模块如下：
文章图片
多层注意力由多个单一的注意力模块提取信息后，concat到一起。
文章图片
推荐阅读
- python学习|利用python爬虫技术获取每天每场的每位球员NBA数据以及每日范特西评分
- CV|2. vit——vision transformer
- python爬虫实操|python爬虫实操|爬取nba中国官网球员数据
- 超级实习生|2022年校招互联网大厂薪酬状况如何（“白菜”总包接近40W是真是假？）
- 超级实习生|简历空白怎么办（计算机专业应届生和在校生怎么写简历？）
- 二叉树(Binary|LeetCode 337. House Robber III - 二叉树系列题25
- Python中转换数据类型的函数
- Python中常用数据类型转换函数的使用方法和步骤
- Pycharm交互式开发环境的使用方法