[Survey]PromptEngineering
1. 什么是PromptEngineering 所谓prompt工程，就是让LLM模型清晰准确的知道你要干什么，引导模型充分的发掘它的能力上限，类比到人与人之间，就是提升沟通的效率。OpenAI提出了prompt工程的6条原则[1]，在这篇文档里，按照个人的理解，将这部分按照适用场景分成用户和开发者两个部分，一共6条…
阅读全文技术档案
全部文章归档
按发布时间倒序浏览已发布的中文技术文章。
[论文阅读]streaming-llm:解决长文本的kv-cache问题
论文地址：https://arxiv.org/pdf/2309.17453.pdf 代码地址：https://github.com/mit-han-lab/streaming-llm 在LLM的训练和推理过程中，transformer的kv-cache一直是个非常头痛的问题，因为attention的计算机制，kv-c…
阅读全文
[论文阅读]Gist-token:将instruction压缩到虚拟token
论文链接：https://arxiv.org/pdf/2304.08467v1.pdf 压缩instruction部分的token长度 主要做什么事情 LLM的指令微调数据输入的格式是（instruction,query,answer）格式，分别使用t,x,y指代，在这种格式下目前的训练策略…
阅读全文
AIGB
ALTCLIP 目的：多语言版本多模态文本模型，主要想得到 text encoder，image encoder固定 论文：https://arxiv.org/abs/2211.06679 做法： 两阶段训练 阶段1： 目的：XLMR在保持多语言能力的同时，从CLIP中获取两种语言的文本-图像对齐能力…
阅读全文
视觉编码器的发展
本篇主要总结一下当前视觉模型的发展，算是一个论文汇总，主要包含: EVA,PAINTER,VIT22B,MAE,SWIN-T等模型 默认对Vit已经有所了解了。 EVA 论文地址：https://arxiv.org/abs/2211.07636 关键词：简单，高效，无需图文对数据 想干什么：训练一个视觉大模型…
阅读全文
[论文精读]MAE-如何在CV任务中进行MASK
恺明大神在2021年的时候发布了论文MAE(Masked Autoencoders Are Scalable Vision Learners)，给大家指出了如何在cv预训练任务中设计无监督任务。 ------ 受知乎大佬李rumor启发，重新堵了vision…
阅读全文
[论文精读]BLIP-多任务结构统一与数据筛选策略
2022年多模态领域的一篇很棒的工作，由ALBEF原班人马打造，结合了ALBEF和VLMO的共同优点，提出了统一结构的多阶段多模态模型，此外提出了一套可行的基于caption-filter的数据筛选self-training策略，值得一读。…
阅读全文
截止2022多模态进展
从2020年8月左右开始接触多模态，当时也是业界多模态刚起步的阶段，到现在为止，经过了两年半左右的时间，多模态也经历了一系列的发展和工业界应用，这里进行一下总结回顾。 首先说，什么是多模态，目前在学术界和工业界更多还是说的图文多模态，那么在模型的角度上，要做的就是如何将图像和文本编码到一起。由此，多模态被拆分出来这么…
阅读全文
深度学习-None_Metric
最近和同学@liguoqing.sant有聊到图像检索相关方面的工作，主要是这么一篇论文 Learning Non-Metric Visual Similarity for Image Retrieval，本篇文章主要结合个人理解来记录一下这篇论文。…
阅读全文
Loss-IOUs
在目标检测领域，为了判断预测框和gt之间的重叠程度，一般情况下使用iou来表示，本篇主要分析IoU以及相关改进，主要涉及iou，giou，diou，ciou。 IoU IoU是Intersection over Union的缩写，顾名思义，交并比。 优点…
阅读全文
Loss-softmax-based
本篇主要记录 一下softmax-loss以及相关变体，该loss的发展主要有人脸识别领域推进，本篇中主要借鉴人脸是识别中的相关Loss。 Reference 人脸识别损失函数简介与Pytorch实现：ArcFace、SphereFace、CosFace 人脸识别中Softmax-based Loss的演化史…
阅读全文
AwesomesErrors
本篇主要记录深度学习过程中遇到的各种bug，error以及对应的解决方法。 WARNING:root:NaN or Inf found in input tensor. 这个报错一版搜索的时候出现的是网络训练的时候Loss变为Nan的解决办法，通用的有四种 降低学习率 加入正则化 进行梯度截断 检查数据…
阅读全文
深度学习-ConvNet-SENet
本篇主要记录一下2017年ILSVR竞赛的冠军-SENet，这是一种网络的block结构，可以有效的结合到InceptionNet，Resnet中。 Block结构 网络结构如上图所示，图中参数解释： $F{tr}$--标准卷积操作…
阅读全文
深度学习-ConvNet-Shufflenet
本篇主要分析轻量化Conv-ShuffleNet ShuffleNetV1 ShuffleNet是$2017$年由Facebook提出的，它的主要竞争对手是Google提出的MobilenetV1，上图作者在论文中与MobileNetV1在ImageNet的的对比。 Overview…
阅读全文
深度学习-ConvNet-EfficientNet
上图为不同模型的参数量和模型ACC曲线，可以看到和EfficientNet对比的网络包含ResNet，SENet，GPipe，Inception，NASNet，DenseNet等目前的主流网络，并且处于领先位置。 Overview 开篇明义，整篇论文一直围绕着下面这张图在进行的 Flops-Acc曲线…
阅读全文
深度学习-ConvNet-MobileNetV1-V3
本篇主要对目前流行的移动端轻量化网络MobileNet进行分析。 最近一段时间由于工作需要，想要将服务端的模型迁移到移动端，突然发现一个尴尬的现实，服务端的大模型在移动端是很难跑起来的。随着5G技术的到来，端上设备越来越强悍，将模型做到移动端是一个很显然的大趋势。目前的移动端模型 (…
阅读全文
Awesomes-Python
本篇涉及平时工作中使用的一些Python相关轮子，在此记录，不断补充更新...... 文件及路径 遍历读取文件夹下所有目录 在Python中使用os.path.lisdir()可以实现读取给定路径下的所有文件，并返回文件名列表，在给定的路径下，有可能存在着子目录，这个时候我们想要读取子目录下的文件又该如何处理呢…
阅读全文
深度学习-NLP-BERT
BERT全名为(Bidirectional Encoder Representations from Transformers), 在NLP领域作为Word2vec的替代者，将NLP中的$11$项任务精度向前大大推进，作为一名算法工程师，非常有必要好好研究一下。 BERT的背景和特点 背景 …
阅读全文
DeepLearning_Tensorflow
本篇主要记录在日常工作中遇到的TensorFlow的相关信息，包括如何处理报错信息，环境设置，训练测试，数据等等。 如何安装 安装tensorflow或者ubunt时，优先使用清华镜像 地址： 安装教程可以参考…
阅读全文
深度学习-OCR-从零开始
本篇详细说明了OCR的应用，技术实现，当前相关进展等，不定时补充更新。 本篇博客最初想写成一本掘金小册，可是掘金的那边看了我的提纲说太难了，应该没什么受众，额......，那我就自己写一下记录下来，不会太讲究斟词酌句了，希望见谅。…
阅读全文