视觉编码器的发展
本篇主要总结一下当前视觉模型的发展，算是一个论文汇总，主要包含: EVA,PAINTER,VIT22B,MAE,SWIN-T等模型 默认对Vit已经有所了解了。 EVA 论文地址：https://arxiv.org/abs/2211.07636 关键词：简单，高效，无需图文对数据 想干什么：训练一个视觉大模型…
阅读全文文章标签
标签：多模态
浏览带有这个标签的已发布技术文章。
[论文精读]MAE-如何在CV任务中进行MASK
恺明大神在2021年的时候发布了论文MAE(Masked Autoencoders Are Scalable Vision Learners)，给大家指出了如何在cv预训练任务中设计无监督任务。 ------ 受知乎大佬李rumor启发，重新堵了vision…
阅读全文
[论文精读]BLIP-多任务结构统一与数据筛选策略
2022年多模态领域的一篇很棒的工作，由ALBEF原班人马打造，结合了ALBEF和VLMO的共同优点，提出了统一结构的多阶段多模态模型，此外提出了一套可行的基于caption-filter的数据筛选self-training策略，值得一读。…
阅读全文
截止2022多模态进展
从2020年8月左右开始接触多模态，当时也是业界多模态刚起步的阶段，到现在为止，经过了两年半左右的时间，多模态也经历了一系列的发展和工业界应用，这里进行一下总结回顾。 首先说，什么是多模态，目前在学术界和工业界更多还是说的图文多模态，那么在模型的角度上，要做的就是如何将图像和文本编码到一起。由此，多模态被拆分出来这么…
阅读全文