[论文阅读]streaming-llm:解决长文本的kv-cache问题
论文地址：https://arxiv.org/pdf/2309.17453.pdf 代码地址：https://github.com/mit-han-lab/streaming-llm 在LLM的训练和推理过程中，transformer的kv-cache一直是个非常头痛的问题，因为attention的计算机制，kv-c…
阅读全文文章标签
浏览带有这个标签的已发布技术文章。
论文地址：https://arxiv.org/pdf/2309.17453.pdf 代码地址：https://github.com/mit-han-lab/streaming-llm 在LLM的训练和推理过程中，transformer的kv-cache一直是个非常头痛的问题，因为attention的计算机制，kv-c…
阅读全文