截止2022多模态进展
从2020年8月左右开始接触多模态，当时也是业界多模态刚起步的阶段，到现在为止，经过了两年半左右的时间，多模态也经历了一系列的发展和工业界应用，这里进行一下总结回顾。 首先说，什么是多模态，目前在学术界和工业界更多还是说的图文多模态，那么在模型的角度上，要做的就是如何将图像和文本编码到一起。由此，多模态被拆分出来这么…
阅读全文文章分类
分类：深度学习
浏览这个分类下已发布的技术文章。
Loss-IOUs
在目标检测领域，为了判断预测框和gt之间的重叠程度，一般情况下使用iou来表示，本篇主要分析IoU以及相关改进，主要涉及iou，giou，diou，ciou。 IoU IoU是Intersection over Union的缩写，顾名思义，交并比。 优点…
阅读全文
Loss-softmax-based
本篇主要记录 一下softmax-loss以及相关变体，该loss的发展主要有人脸识别领域推进，本篇中主要借鉴人脸是识别中的相关Loss。 Reference 人脸识别损失函数简介与Pytorch实现：ArcFace、SphereFace、CosFace 人脸识别中Softmax-based Loss的演化史…
阅读全文
深度学习-ConvNet-SENet
本篇主要记录一下2017年ILSVR竞赛的冠军-SENet，这是一种网络的block结构，可以有效的结合到InceptionNet，Resnet中。 Block结构 网络结构如上图所示，图中参数解释： $F{tr}$--标准卷积操作…
阅读全文
深度学习-ConvNet-Shufflenet
本篇主要分析轻量化Conv-ShuffleNet ShuffleNetV1 ShuffleNet是$2017$年由Facebook提出的，它的主要竞争对手是Google提出的MobilenetV1，上图作者在论文中与MobileNetV1在ImageNet的的对比。 Overview…
阅读全文
深度学习-ConvNet-EfficientNet
上图为不同模型的参数量和模型ACC曲线，可以看到和EfficientNet对比的网络包含ResNet，SENet，GPipe，Inception，NASNet，DenseNet等目前的主流网络，并且处于领先位置。 Overview 开篇明义，整篇论文一直围绕着下面这张图在进行的 Flops-Acc曲线…
阅读全文
深度学习-ConvNet-MobileNetV1-V3
本篇主要对目前流行的移动端轻量化网络MobileNet进行分析。 最近一段时间由于工作需要，想要将服务端的模型迁移到移动端，突然发现一个尴尬的现实，服务端的大模型在移动端是很难跑起来的。随着5G技术的到来，端上设备越来越强悍，将模型做到移动端是一个很显然的大趋势。目前的移动端模型 (…
阅读全文
深度学习-NLP-BERT
BERT全名为(Bidirectional Encoder Representations from Transformers), 在NLP领域作为Word2vec的替代者，将NLP中的$11$项任务精度向前大大推进，作为一名算法工程师，非常有必要好好研究一下。 BERT的背景和特点 背景 …
阅读全文
深度学习-OCR-从零开始
本篇详细说明了OCR的应用，技术实现，当前相关进展等，不定时补充更新。 本篇博客最初想写成一本掘金小册，可是掘金的那边看了我的提纲说太难了，应该没什么受众，额......，那我就自己写一下记录下来，不会太讲究斟词酌句了，希望见谅。…
阅读全文
深度学习-Normalization
在深度学习领域，往往需要处理复杂的任务场景，一般使用较深层数的模型进行网络设计，这就涉及到复杂困难的模型调参：学习率的设置，权重初始化的设置以及激活函数的设置等。深度学习之所以难以训练，一个重要的原因在神经网络中层与层之间存在着极强的关联性，并且目前绝大部分使用的都是基于梯度下降的方法进行反向传播训练，当网络的底层发…
阅读全文
深度学习-对抗生成网络
GAN(Generative Adversary Networks)的思想是是一种二人零和博弈思想（two-player game），博弈双方的利益之和是一个常数，比如两个人掰手腕，假设总的空间是一定的，你的力气大一点，那你就得到的空间多一点，相应的我的空间就少一点，相反我力气大我就得到的多一点，但有一点是确定的就是…
阅读全文
深度学习-NLP-Attention_is_all_you_need
Transformer是在2017年的Google发布的论文《Attention is all you need》中提出，主要用于解决RNN相关网络无法捕获序列的长期依赖，以及网络无法并行化的问题，其网络结构示意图如下 从示意图中可以看出在Transformer中包含多个组件，分别为Multi-Head…
阅读全文
深度学习-CTC算法原理
本来以前深入看过CTC的相关论文，前段时间有人问我相关算法原理，瞬间懵逼，以前看过的东西愣是一点没记起来，这就很尴尬了，本人在ocr任务的文字识别中还用过相关的解码方式，一定要搞明白为什么这种方法是可行的。在这里对CTC进行分析和总结，还是验证是否掌握的最好方法就是看能否做到有效的输出，主要参考论文和相关讲解博客。…
阅读全文
深度学习-TextDetection
本文主要对常用的文本检测模型算法进行总结及分析，有的模型笔者切实run过，有的是通过论文及相关代码的分析，如有错误，请不吝指正。 一下进行各个模型的详细解析 CTPN 详解 代码链接：https://github.com/xiaofengShi/CHINESE-OCR…
阅读全文
深度学习-OCR_Overview
本篇涉及使用深度学习的方法实现字符识别的任务，该任务与计算机视觉领域内的图像描述任务(ImageCaption)相似，对于图像描述任务，输入为图像，输出为对该图像的描述；而对于OCR任务，输入的图像为包含文字或字符的图片，而输出为这张图片中的文字或字符。…
阅读全文
深度学习-PythonTutorial_LSTM_GRU_Attention_LNLSTM_LNGRU
本篇主要涉及LSTM,GRU以及seq2seqattention的原理以及非调用API方式的代码实现，此外，还实现了LSTM和GRU的层归一化代码，主要是为了更好的理解相关模型的算法，并且可以将之作为脚手架代码进行更多的应用。转载请表明出处。 RNN…
阅读全文
深度学习-计算机视觉CNN
本篇主要分析CV领域的主要代表性CNN网络结构，这些网络结构一般是在图像识别的任务上开发设计的，并迁移应用到其他的计算机视觉任务上。 对于计算机视觉而言，从简单到复杂一般包括： 图像识别 目标检测 图像分割 图像翻译/描述…
阅读全文
深度学习-目标检测
目标检测为计算机视觉领域内的相关任务，输入一张图片，输出图片中物体所在位置及物体的名称。是一个典型的多任务模型。 深度学习目标检测技术近年来发展迅速并且取得的成果相当棒，从最早的RCNN到Fast，Faster再到后来的SSD,YOLO等相关算法，不同的算法在目标检测识别正确率和运行速度之间在不算提升。…
阅读全文