Karpathy 的 LLM 知识库工作方式
Karpathy 描述了从原始资料生成 Markdown wiki,再通过提问、索引和回写逐步维护知识库的个人做法。
X 收藏与一手资料,保留原始日期和阅读范围。
Karpathy 描述了从原始资料生成 Markdown wiki,再通过提问、索引和回写逐步维护知识库的个人做法。
Google 开发者博客称 Workspace 现在原生支持 .md 文件:可在 Docs 里直接预览、编辑和协作,保留原文件格式便于配合 Git 和开发工具,同时能用行级评论、Drive 预览和版本历史。
中文转述称 Sebastian Raschka 为新书《Build a Reasoning Model (From Scratch)》配了 8 节免费视频课,共 11 小时多,从预训练的 Qwen3 0.6B 出发,用 PyTorch 实现答案验证器、推理时计算扩展、GRPO 等。
dev.to 文章介绍 ACL 2026 Findings 论文中的 Memora 基准:模拟 10 个职业角色跨周、月、季度的上千次记忆增删改,用会惩罚过时信息的 FAMA 指标评测;称常见记忆基准大多只测一次性事实的召回。
AIPOCH 官方称 Open-Science v1.0.2 改进了本地 PDF 的图和表抽取:图片裁切更准、图注匹配更好、表格结构处理改善;阅读模式对复杂科学内容的分类和版式也更准。
Google 开发者博客称,开发者知识 API 和 MCP 服务器进入公开预览:为 AI 助手提供可机读的检索入口,覆盖 Firebase、Google Cloud、Android 等官方文档,目标是让生成的代码基于最新的权威文档。
Google 开发者博客称,EmbeddingGemma 2 是紧凑的开源多模态嵌入模型,把文本、代码、图片、视频和音频映射到同一个 768 维空间;可按需只加载需要的模态编码器(270M~740M 参数),并支持把维度截到 128 以省存储。
arXiv 论文用 87 名参与者自己的 ChatGPT 提问和个人记忆,收集约 1000 组成对偏好判断:结合记忆的回答并不总被偏好,有时用户明显更喜欢不用记忆的回答;自动评审比用户更偏爱带记忆的回答。作者的奖励模型预测准确率 72.8%。
arXiv 论文:32 名参与者跟五个基于 GPT-5-mini 的助手学科学知识,助手资料中有 0%~100% 被换成似是而非的错误,且都很自信。测验得分从 7.4 降到 2.9(满分 10),错误被采纳约 65%,且信心很高,事后信任评分几乎不变。
arXiv 论文提出 AfterDeleteBench:agent 的外部记忆会派生摘要等状态,删除原始记录不等于删干净。称主设定下一次查询就能从 Qwen2.5-7B 恢复约三分之二被删秘密;只剩分散片段时,在 Qwen、Mistral、Phi-3 上仍有 62%~99% 能还原。
LlamaIndex 创始人 Jerry Liu 发布 OCRia-1,称这是用于文档解析的前沿视觉语言模型,在准确率、成本和延迟上都是新高:ParseBench 87.4,并在三个第三方基准领先,其中 olmOCR-bench 总分 83.5、表格 92.9。
Firecrawl 官方推出免费的「政府与法律索引」,供 ChatGPT 和 Claude 使用:覆盖 3000 万以上美国政府网页,从联邦法律、法院判决到城市法规和许可,可通过 Firecrawl 插件查税务规则、许可和判例。
Vercel CEO 建议教育者和想学新东西的人,用编程 agent 做教学讲解应用:让它生成、部署、分享链接;引用的例子是一个带你一个电路一个电路学 Arduino 的应用,用 Opus 5.5 做成。
中文开发者介绍 Dilum Sanjaya 用 Claude Opus 做的交互式学习应用:把复杂电路拆成可交互的『积木』,一次一个电路地带人学 Arduino。
Evermind 官方发布 EverOS Cloud,称 agent 不该在每次对话结束后从零开始,用户偏好、项目决策和有效做法应能在需要时被取回。MrGafish 读文档后称,官方提供 everos-mcp,可接入 Claude Code、Cursor、Codex 等 MCP 客户端,团队成员共享同一个项目记忆;lb1800 的教程则把长期写作偏好与单篇临时规则分开存储。
Notion 官方宣布 AI 升级:新的 Auto 模型路由称在前沿质量下成本低约 90%;新增自带模型(BYOK)、改进 MCP,并引入新的积分制。据中文博主转述,Business/Enterprise 不再『不限量』,改为每人每月 1,500 标准积分加 500 精选积分,现有工作区 11 月 2 日切换。
有人开源了对齐中国课程的数学知识图谱:初中版把人教版七至九年级拆成 333 个知识点和 616 条先修边(另一个说法是 315 个正式知识点),答错时沿先修边回溯根因;另一个 1–9 年级版本含 531 个知识点、909 条依赖和 2,271 道诊断题。还有人开源小学全学科 os-taxonomy(1,590 个知识点)。
腾讯宣布把元宝搜索经腾讯云提供给开发者,可通过 API、MCP 或 Skill 接入。腾讯披露其索引达千亿级、日均调用数亿次,已支撑 WorkBuddy、ima、腾讯视频等 50 多项内部业务;底层源自搜狗搜索,接入 13 个行业的 157 个信源(转述)。byCanen 称返回标题、摘要、来源、发布时间和相关性评分。
MIT 课程 MAS.S62『How to AI an AI』把自演化 AI 分成四层:提示优化、Harness 演化、模型自博弈与任务生成。shao__meng 推荐 Lecture 4–5 连续两讲的 Harness evolution:覆盖 harness 组件、记忆、工具与技能的演化,以及多 agent 的演化。
斯坦福 CME 295『Transformers & Large Language Models』由 Amidi 兄弟主讲,共 9 讲:前半讲 Transformer 与注意力的几种改法、位置编码,中段讲 LoRA 微调以及 RLHF、GRPO 等强化学习训练,后半涉及推理加速、MCP、Agent 和扩散式语言模型;已更新到第四讲(LLM 的强化学习),视频与讲义公开。
Datalab 发布 Indra OCR 1.1:主模型约 100 万参数,纯 CPU 运行,默认模型下载约 76MB;称 32 核每秒 44 页,在 OmniParseBench 上与 34 亿参数的 DeepSeek OCR 2 只差 4 分,比 Tesseract 快 15 倍且更准,支持 80 多种语言和手写。
中文研究者推荐密歇根大学《应用型智能体软件工程》(EECS 498-016):15 周,让学生自己造编程 agent,放它独立干活,最后要写清它为何翻车;课程从 Aider 加本地小模型入门,到自己实现工具调用。
Artificial Analysis 称,Exa 3.0 在其搜索指数的 Dynamic Highlights 模式得 80 分,与 Perplexity Search 并列第一;含搜索与模型推理的成本约 0.066 美元/任务(auto),lite 约 0.044 美元。Exa 自称 8 项测试全部第一,但有读者指出对 Perplexity 的领先多只有 0.3~0.8 个百分点。
中文开发者介绍 Obsidian CEO 写的 Pele:同样的 Mermaid 语法输出可换主题的 SVG,压缩后约 230 kB(Mermaid.js 约 1.6 MB),官方称最多快 500 倍,换肤改 CSS 变量,浏览器和 Node 均可用。
有帖称百度开源了 Unlimited-OCR:3B 参数、MIT 协议,一次处理整份多页 PDF,保持阅读顺序,输出文字、表格和公式。发布方有说是百度、也有说是一位开发者;下载量也不一致:一个月 120 万次,另一帖写 165 万次。
Obsidian 的 kepano 发布 Pele,一个新的图表渲染库,兼容最新的 Mermaid 语法,称比现有方案快 100–500 倍(节选在此处截断);threeaus 转述 Obsidian 将启用这个更小更快的渲染库。leon7hao 立刻拿它去试。
Obsidian 官方发布 Pele,一个为下一版 Obsidian 做的开源 Mermaid 图表渲染器,称快且好看,提供在线试用页,也可集成到自己的应用里。
中文账号整理了 Grok Bot 相关的高阅读量文章合集,分为 9 个分类 24 篇,称在统一订阅后使用者增多。
中文账号转述陶哲轩在一次访谈中的批评:AI 竞赛变得有毒,OpenAI 一次倾倒 300 多篇论文,他自己只看了约 10 篇,已有一两篇因错误被撤回,审查成本转嫁给学界。
中文开发者介绍密歇根大学 2026 年秋季开设的《应用型智能体软件工程》课程,在仓库里公开了讲义、实验和课上演示用的代码;仓库的 13 个 PR 都由 claude[bot] 提出,用于改讲义、重排幻灯片、同步截止日期;目录里还有叫 Elephant-Goldfish Model 的五个技能。
aoaoao 称自己搭 RAG 跑通知识库 Demo 一天就够,但让 AI 客服在生产环境里好用是长期工程:新产品要结构化入库,说明书迭代要版本覆盖,跨部门文档要检测冲突,过期政策要归档;引用的例子是 AI 客服把 X2 的保修政策答给了问 X1 的用户。kafkaup 认为知识库不再火,是因为 RAG 被拆分吸收进了模型各环节。
AIPOCH 发布 Open-Science V1.0.0,称让任何有问题的人都能用 AI 做研究,保存每个发现背后的工作,并分享可被检查、复现和扩展的 .science 包。dongxi_nlp 称它覆盖从资料检索、分析计算到结果审阅的研究流程,目标是让已有研究更易被检查和分享。
Claude 团队工程负责人 Felix Rieseberg 写了教程,把『更有野心』拆开:不只让 AI 修一个 bug,而是为系统持续可靠这个结果负责。runes_leo 的补充是:目标定得越高,验收标准就要越严;缺少原始数据、能跑的测试、独立评审和状态回读时,多开 Agent 只会更快堆出没法确认是否完成的任务。
中文用户翻译推荐 Claude 团队工程负责人 Felix Rieseberg 的文章《如何更有雄心:写给与模型协作的人类使用指南》,约 8 分钟,作者在 Claude 团队工作,几乎每天看到有人借助 Claude 做原先做不到的事。
AWS 与 ShipStation 的案例把 Slack 入口、检索知识库、图片错误信息、Jira 工单和反馈记录接在一起。文章展示了直接回答与询问、建单的不同路径,适合研究助手何时继续解释、何时补问以及怎样把上下文交给人工处理。
中文账号介绍荷兰莱顿大学的教材《Agentic Large Language Models》已上传 arXiv,共 472 页,覆盖大模型原理和 agent 原理等内容。
金尘马分享了用 GitHub 保存个人知识资料,并让聊天助手访问仓库的用法。这个记录适合检查知识库的几个独立环节:文件同步、版本历史、读取授权和修改权限;能访问资料,不等于所有内容都应当开放给工具。
这篇中文转述围绕私有网络和常开服务器共享 Obsidian,讨论跨设备访问及访问规则。它的用途是把“随时能读笔记”拆成网络通路、设备身份和文件权限,尤其注意同一网络里不同助手是否真的需要相同访问范围。
Machina 描述的广告资料库除了脚本,也保存结构、音轨、角色设定、产品信息和待生成片段。可借用的不是特定模型,而是把生成任务需要持续保持一致的对象单独存档,让下次修改能找到依据,而不是从聊天记忆里猜。
中文账号介绍 CMU 2026 秋季新课『AI Agents』,由 OpenHands 作者 Graham Neubig 与 Daniel Fried 开设,共 28 讲,覆盖工具调用、上下文工程、技能与记忆、SFT 与 RL 训练、沙箱安全与人机交互,讲义和视频公开。
中文账号介绍斯坦福 CS329A Self-Improving AI Agents 课程视频已上传 YouTube,两位主讲老师做过 PaLM、Gemini、Claude,共 9 讲,围绕『采样、验证、筛选、训练、更强的模型』这一循环,并解释为何 coding agent 最近普及而写作不行。
中文账号推荐一堂 2 小时 34 分钟的斯坦福课程,从分词、BPE 一路讲到 Transformer、预训练、RLHF、DPO 和逐 token 生成,完整拆解 ChatGPT、Claude 这类模型是如何构建的。
AI 超元域整理了 obsidian-skills 的能力范围,涉及 Markdown、双向链接、属性、Bases、Canvas 和命令行操作。它提供了一个审查入口:知识库里的结构化约定需要被工具理解,否则看似普通的文本修改也可能破坏引用与视图。
Ray Wang 分享了 Codex 与 Obsidian 配合的内容管线,并提供 rayskills 仓库作为参考,同时提醒需要按个人需求调整。这个记录适合调查目录结构、输入输出和交接位置,逐段试用比把完整流程一次接通更容易发现不合适的假设。
Karpathy 把知识库想法整理成公开 gist,提出用一份说明传递目标,让接手的人按自己的需要实现。
Karpathy 谈到重新使用 RSS 和 Atom,认为订阅机制更适合主动选择长期阅读的博客,并提供了一份起步列表。可借用的做法是从少量有用来源开始,把定期阅读与推荐流分开;是否减少噪声仍取决于你的订阅和取舍。
Lenny Rachitsky 分享了播客文字稿目录。它提供了按问题回到访谈原话的入口,适合研究产品与工作方法。
kepano 在 File over app 中提出:长期资料应采用自己能控制、能找回、能读取的文件形式。
保留资料日期,区分原件、实践与判断。
围绕资料整理、链接与输出,组织个人知识工作。
把检索入口与来源核对、后续写作结合起来。
围绕自己的资料组织研究问题,保留来源与理解过程。