Karpathy 开源了 Agent + Obsidian 个人知识库, 超级有启发
Andrej Karpathy 前两天发了条推文讲他最近用 LLM 管理个人知识库的一个新玩法。很多人非常受启发。然后他把这个思路整理成了一个 Gist现在已经大几千的 Star 了。说实话这个思路确实有意思。而且从去年年底开始我也开始基于 LLM Obsidian 做知识管理。没怎么打开过 NoteBookLLM 类似这种工具了。我也没意识到自己怎么就迁移过来了。感觉是大模型能力长程 Agent 能力的提升和各种实践渐进式披露等的出现。之前很多能被 AI 重塑造的场景再一步步被解锁。01一句话说清楚这是什么Karpathy 提出的核心思路是不要把 LLM 当搜索引擎用而是让它像程序员写代码一样帮你持续维护一个 Markdown 知识库。你负责找资料、提好问题LLM 负责所有的脏活累活总结、交叉引用、分类整理、保持一致性。你在 Obsidian 里浏览LLM 在后台编辑知识库就像滚雪球一样越滚越大。Gist 地址gist.github.com/karpathy/442a6bf555914893e9891c11519de94f02为什么传统方式不行大多数人用 LLM 管文档的方式其实都差不多把文件上传上去每次提问的时候 LLM 检索相关片段然后生成回答。这就是大家常说的 RAG 方案。NotebookLM、ChatGPT 的文件上传、大部分 RAG 系统都是这个套路。Karpathy 觉得这个方式有个致命问题没有积累。每次提问LLM 都得从原始文档里重新找、重新拼。你问一个需要综合五篇文档的复杂问题它每次都得从头来。问完了答案就没了下次还得重新推导一遍。知识从来没有被真正沉淀下来。应该让知识复利增长Karpathy 的方案完全不一样。他让 LLM 不是每次从原始文档里检索而是持续地、增量式地构建和维护一个 Wiki一个结构化的、互相链接的 Markdown 文件集合。当你往里面添加一个新的资料来源LLM 不是简单地把它索引进去等着以后被检索。它会读这个资料提取关键信息然后把信息整合进已有的 Wiki 里更新相关实体的页面、修正主题摘要、标注新数据和旧结论的矛盾之处。知识编译一次然后持续保持最新。这才是关键区别Wiki 是一个持久的、可复利增长的资产。交叉引用已经建好了矛盾已经标记出来了综合分析已经反映了你读过的所有内容。每加一个新来源、每问一个好问题Wiki 都会变得更丰富。03三层架构Karpathy 把整个系统设计成三层。第一层是 Raw Sources原始资料层。你收集的论文、文章、图片、数据文件都放这儿。这层是不可变的LLM 只读不写这是你的搞到的原始数据来源。第二层是 The Wiki知识库层。这是 LLM 生成的 Markdown 文件目录包括摘要、实体页面、概念页面、对比分析、综述等等。这层完全由 LLM 拥有和维护你读它LLM 写它。第三层是 The Schema规则文件。它告诉 LLM 这个 Wiki 怎么组织、用什么约定、录入来源和回答问题时遵循什么流程。对 Claude Code 来说就是 CLAUDE.md对 Codex 来说就是 AGENTS.md。这是关键的配置文件让你和 LLM 随着使用不断迭代优化。04三个核心操作整个工作流围绕三个操作展开。第一个是 Ingest录入。你往原始资料目录里丢一个新文件让 LLM 处理。LLM 会读这个资料、跟你讨论要点、在 Wiki 里写一个摘要页、更新索引、更新相关的实体和概念页面。一个来源可能牵动 10 到 15 个 Wiki 页面的更新。Karpathy 说他喜欢一个一个录入边录边看引导 LLM 重点关注意什么。第二个是 Query提问。你对着 Wiki 提问LLM 搜索相关页面后综合回答。回答的形式可以很多样Markdown 页面、对比表格、Marp 幻灯片、matplotlib 图表都行。这里面有一个重要洞察好的回答可以回存到 Wiki 里变成新的页面。这样你每次的探索和提问都在持续丰富知识库知识在复利增长。第三个是 Lint体检。定期让 LLM 对 Wiki 做健康检查。找页面之间的矛盾、被新资料取代的过时信息、没有入链的孤儿页面、提到但没有独立页面的重要概念、缺失的交叉引用。LLM 还很擅长建议你应该去研究什么新问题、找什么新资料。这一步保证 Wiki 在增长过程中保持健康。05实际工作流Karpathy 的实际用法是这样的一边开着 Agent一边开着 Obsidian。LLM 根据对话内容编辑 Wiki他在 Obsidian 里实时浏览结果。跟着链接点点看、看看图谱视图、读读更新后的页面。用他的话说Obsidian 是 IDELLM 是程序员Wiki 是代码库。他还用了几个很实用的工具。Obsidian Web Clipper 浏览器扩展可以快速把网页文章转成 Markdown。本地图片下载功能可以让 LLM 直接查看和引用图片。index.md 做内容目录log.md 做时间线日志。有意思的是在中等规模下大约 100 个来源、几百个页面直接靠索引文件就够用了不需要什么向量数据库或者复杂的 RAG 基础设施。LLM 先读索引定位相关页面再深入阅读具体内容效果就很好。06为什么这玩意儿管用说实话维护知识库最烦人的事从来不是阅读和思考而是那些琐碎的簿记工作。更新交叉引用、保持摘要最新、标注新旧数据矛盾、维护几十个页面之间的一致性。这些活儿人类做着做着就烦了然后 Wiki 就慢慢荒废了。人类放弃 Wiki 的原因就是维护负担增长得比价值快。但 LLM 不会厌倦不会忘记更新一个交叉引用可以一次性修改 15 个文件。维护成本接近零Wiki 就能一直保持健康。Karpathy 还提到这个思路跟 1945 年 Vannevar Bush 提出的 Memex 构想精神上是一脉相承的。一个个人的、精心策划的知识存储文档之间的关联和文档本身一样有价值。Bush 没解决的问题是谁来干维护的活儿LLM 把这事搞定了。07GitHub 上已经卷起来了这个 Gist 发出去之后各路开发者反应非常快已经有一堆人在做具体实现了。有人用 Go 写了个叫 sage-wiki 的工具一个二进制文件就能跑支持增量编译、搜索、问答。还能当 MCP Server 暴露给任何 LLM Agent 用。开源地址https://github.com/xoai/sage-wiki有人做了个 Claude Code 的 Skill一行命令就能装上直接在 Claude Code 里 ingest 来源。还有人做了 Thinking-Space一个专门为这种思维工作流设计的 IDE。Karpathy 自己也说了这个 Gist 是一个理念文件不是具体的代码实现。在 Agent 时代你分享思路别人让各自的 Agent 去定制化搭建就行了。08怎么上手最简单的方式就是把这个 Gist 的内容复制给你的 Agent让它帮你搭建。Gist 地址gist.github.com/karpathy/442a6bf555914893e9891c11519de94f你需要的东西就两样一个 Agent 和 Obsidian。Agent 的话 Claude Code、Codex、OpenCode 都行。可选的工具也有不少qmd 搜索引擎可以在 Wiki 变大后提供更好的搜索能力。Marp 格式可以直接从 Wiki 内容生成幻灯片。Dataview 插件可以基于页面元数据做动态查询。Obsidian 的图谱视图是看 Wiki 整体形态最好的方式什么连着什么、哪些页面是枢纽、哪些是孤岛一目了然。而且整个 Wiki 本质上就是一个 Git 仓库的 Markdown 文件版本历史、分支、协作这些都是现成的。我觉得这个思路最大的启发不是具体的技术实现而是一种新的用 LLM 的思维方式。大部分人现在用 LLM 还是把它当搜索引擎或者聊天机器人用问一次答一次答完就完了。Karpathy 的思路是把 LLM 当成一个不知疲倦的知识工程师。让它帮你把散乱的信息编译成结构化的知识网络而且这个网络会随着使用不断增长。每一次探索、每一次提问都在让你的知识库变得更好这就是复利的力量。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2489974.html
如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!