跳到正文
原文
Hacker News · AI 最新· Corbenic·· 5 天前AI 评分51

Galahad 发布 AI 长期记忆层,提供 50M token 窗口

Show HN: Try Free Long-Term Memory for AI 50M-Token Window

AI 导读

Galahad 是面向 AI 的长期记忆层,通过保存并复用模型 KV cache 避免重复计算,支持 vLLM、SGLang 和 llama.cpp。它可分片读取最大 50M token 的长文本,GPU 显存稳定在 34.1 GB,实测 99.6% 的 token 命中内存且速度提升 14 倍。用户可通过 pip install galahad-kv 免费使用(限单 GPU)。

来源:Hacker News · AI 最新 · github.com