实体 ›AutoArk
AutoArk 是一个开源 AI 研究组织,专注于 LLM 架构研究、音频 AI 和多模态 AI 系统。
TinyEngram 项目
基于 Qwen-3 完整复现 DeepSeek 的文本 Engram 后,将其搬到视觉模态(Stable Diffusion):
- 视觉 patch 经分层编码(底层纹理 → 中层部件 → 高层风格),丢进哈希查表
- 与 LoRA 对比:同等效果下,Engram 额外参数仅 LoRA 的 15%-30%
- 连续注入多个新概念时,LoRA 出现概念退化,Engram 不会
意义:证明 Engram 不仅限于文本——凡是能离散化、能哈希的模态都能搬。
其他项目
- GPA:音频 AI
- EVA-OS:多模态 AIOS
关联
来源
DeepSeek V4最大的遗憾raw/articles/量子位-DeepSeek-V4最大的遗憾-2026.md