视觉编码器的发展
本篇主要总结一下当前视觉模型的发展，算是一个论文汇总，主要包含: EVA,PAINTER,VIT22B,MAE,SWIN-T等模型 默认对Vit已经有所了解了。 EVA 论文地址：https://arxiv.org/abs/2211.07636 关键词：简单，高效，无需图文对数据 想干什么：训练一个视觉大模型…
阅读全文文章标签
标签：深度学习
浏览带有这个标签的已发布技术文章。
Loss-softmax-based
本篇主要记录 一下softmax-loss以及相关变体，该loss的发展主要有人脸识别领域推进，本篇中主要借鉴人脸是识别中的相关Loss。 Reference 人脸识别损失函数简介与Pytorch实现：ArcFace、SphereFace、CosFace 人脸识别中Softmax-based Loss的演化史…
阅读全文
深度学习-ConvNet-SENet
本篇主要记录一下2017年ILSVR竞赛的冠军-SENet，这是一种网络的block结构，可以有效的结合到InceptionNet，Resnet中。 Block结构 网络结构如上图所示，图中参数解释： $F{tr}$--标准卷积操作…
阅读全文
深度学习-ConvNet-Shufflenet
本篇主要分析轻量化Conv-ShuffleNet ShuffleNetV1 ShuffleNet是$2017$年由Facebook提出的，它的主要竞争对手是Google提出的MobilenetV1，上图作者在论文中与MobileNetV1在ImageNet的的对比。 Overview…
阅读全文
深度学习-ConvNet-EfficientNet
上图为不同模型的参数量和模型ACC曲线，可以看到和EfficientNet对比的网络包含ResNet，SENet，GPipe，Inception，NASNet，DenseNet等目前的主流网络，并且处于领先位置。 Overview 开篇明义，整篇论文一直围绕着下面这张图在进行的 Flops-Acc曲线…
阅读全文
深度学习-ConvNet-MobileNetV1-V3
本篇主要对目前流行的移动端轻量化网络MobileNet进行分析。 最近一段时间由于工作需要，想要将服务端的模型迁移到移动端，突然发现一个尴尬的现实，服务端的大模型在移动端是很难跑起来的。随着5G技术的到来，端上设备越来越强悍，将模型做到移动端是一个很显然的大趋势。目前的移动端模型 (…
阅读全文
深度学习-NLP-BERT
BERT全名为(Bidirectional Encoder Representations from Transformers), 在NLP领域作为Word2vec的替代者，将NLP中的$11$项任务精度向前大大推进，作为一名算法工程师，非常有必要好好研究一下。 BERT的背景和特点 背景 …
阅读全文
深度学习-Normalization
在深度学习领域，往往需要处理复杂的任务场景，一般使用较深层数的模型进行网络设计，这就涉及到复杂困难的模型调参：学习率的设置，权重初始化的设置以及激活函数的设置等。深度学习之所以难以训练，一个重要的原因在神经网络中层与层之间存在着极强的关联性，并且目前绝大部分使用的都是基于梯度下降的方法进行反向传播训练，当网络的底层发…
阅读全文
深度学习-对抗生成网络
GAN(Generative Adversary Networks)的思想是是一种二人零和博弈思想（two-player game），博弈双方的利益之和是一个常数，比如两个人掰手腕，假设总的空间是一定的，你的力气大一点，那你就得到的空间多一点，相应的我的空间就少一点，相反我力气大我就得到的多一点，但有一点是确定的就是…
阅读全文
深度学习-TextDetection
本文主要对常用的文本检测模型算法进行总结及分析，有的模型笔者切实run过，有的是通过论文及相关代码的分析，如有错误，请不吝指正。 一下进行各个模型的详细解析 CTPN 详解 代码链接：https://github.com/xiaofengShi/CHINESE-OCR…
阅读全文