使用LLM构建个人知识库:Karpathy的方法
Karpathy最近分享了一种使用大型语言模型(LLM)构建个人知识库的方法,将杂乱无章的笔记转化为一个自我生长的知识库。这种方法的核心是将日常收集的文章、帖子等资料放入一个文件夹中,然后利用AI进行整理、分类和建立联系,从而形成一个结构化的Wiki系统。用户只需负责收集资料和提问,而AI则扮演图书管理员的角色,帮助维护和扩展知识库。
搭建步骤
建立三个文件夹
- 项目文件夹
my-knowledge-base/下包含三个子文件夹:raw/(存放原始资料)、wiki/(存放AI整理后的Wiki)、outputs/(存放AI的回答结果)。
- 项目文件夹
收集资料
- 将微信中转发的文章、浏览器收藏等资料复制为.md文件,存入
raw/文件夹。可以使用Obsidian的Web Clipper插件一键将网页转为Markdown格式保存。
- 将微信中转发的文章、浏览器收藏等资料复制为.md文件,存入
编写schema文件
- 在项目根目录下创建
CLAUDE.md(或使用其他AI工具的对应文件名),定义知识库的主题、文件夹说明、Wiki规则等。
- 在项目根目录下创建
让AI整理Wiki
- 指示AI读取
raw/文件夹的内容,并按照schema文件中的规则在wiki/文件夹中建立Wiki结构。
- 指示AI读取
提问与回答
- 当Wiki中积累足够多的文章后,可以开始向AI提问,并保存AI的回答到
outputs/文件夹或直接更新对应的Wiki页面。
- 当Wiki中积累足够多的文章后,可以开始向AI提问,并保存AI的回答到
定期检查
- 定期让AI检查Wiki目录,发现并修正矛盾信息,提出新文章方向等。
使用建议
- 无需使用Obsidian:尽管Obsidian是一个强大的工具,但Karpathy提倡保持系统简单,仅使用Markdown文件和一个schema文件。
- 知识库扩展后的检索问题:随着知识库的扩大,使用INDEX.md进行页面定位可能会变得困难。目前尚未发现完美的解决方案,需要进一步探索。
- 附加价值:将整个知识库存入git仓库,不仅可以追踪历史记录,还可以进行版本控制和协作。
总结
这种方法提供了一种简单而高效的方式来构建个人知识库,特别适合在AI时代利用技术降低知识管理成本。正如Vannevar Bush在1945年提出的Memex概念,即通过文档间的关联路径实现知识的主动存储和联想,而现在的AI技术恰好解决了维护问题。只需三个文件夹、一个说明文件和一个AI,就能构建起一个不断自我生长的知识库。
评论已关闭