深度学习-NLP-Attention_is_all_you_need
Transformer是在2017年的Google发布的论文《Attention is all you need》中提出，主要用于解决RNN相关网络无法捕获序列的长期依赖，以及网络无法并行化的问题，其网络结构示意图如下 从示意图中可以看出在Transformer中包含多个组件，分别为Multi-Head…
阅读全文文章分类
分类：seq2seq
浏览这个分类下已发布的技术文章。
深度学习-CTC算法原理
本来以前深入看过CTC的相关论文，前段时间有人问我相关算法原理，瞬间懵逼，以前看过的东西愣是一点没记起来，这就很尴尬了，本人在ocr任务的文字识别中还用过相关的解码方式，一定要搞明白为什么这种方法是可行的。在这里对CTC进行分析和总结，还是验证是否掌握的最好方法就是看能否做到有效的输出，主要参考论文和相关讲解博客。…
阅读全文
深度学习-PythonTutorial_LSTM_GRU_Attention_LNLSTM_LNGRU
本篇主要涉及LSTM,GRU以及seq2seqattention的原理以及非调用API方式的代码实现，此外，还实现了LSTM和GRU的层归一化代码，主要是为了更好的理解相关模型的算法，并且可以将之作为脚手架代码进行更多的应用。转载请表明出处。 RNN…
阅读全文