KV缓存的原理(翻译文章)
本文翻译自Hugging Face-How caching works? KV缓存的原理 设想一下,你正在和某个人对话,但对方不会记住你之前说过什么,每次回应你时都必须从头开始。这样会很慢,也很低效,对吧? 你可以把这个类比扩展到 transformer 模型。自回归模型的生成可能会很慢…
阅读全文BORIS'S BLOG
从技术文章,到随手笔记,再到逐步完成的作品。
ARTICLE
技术实践、分析与长文
本文翻译自Hugging Face-How caching works? KV缓存的原理 设想一下,你正在和某个人对话,但对方不会记住你之前说过什么,每次回应你时都必须从头开始。这样会很慢,也很低效,对吧? 你可以把这个类比扩展到 transformer 模型。自回归模型的生成可能会很慢…
阅读全文
软件安全实验-硬件加密锁技术及应用 【实验目的】 本实验使用商用硬件加密锁,将软件中的关键算法代码移植到加密锁中执行,并通过宿主程序调用加密锁中的自定义函数。通过对加密锁初始化、模板代码生成、函数编译写入、程序运行验证以及TraceMe个性化保护方案的实现,加深对软件保护、授权验证和硬件…
阅读全文NOTE
阅读摘记与尚在生长的想法
这是一篇用于检查“笔记”模板的示例内容。笔记适合记录尚在整理中的想法、摘录和问题,正文采用更接近印刷品的中文宋体。 一个简单的记录结构 主题:今天读到了什么,或遇到了什么问题。 观察:最值得保留的一两点。 下一步:还需要查证或尝试什么。 好的笔记应该方便未来的自己快速重新进入问题。 这篇…
阅读全文WORK
项目设计与实现记录
内容正在整理中。