如标题所示,最近本地 ai 知识库很火,特别是 deepseek。自己也想接入试试,想问一下各位接入 ai 之后是否会根据自己所有的笔记去回答问题呢?还是说只是单纯地根据某一页的内容去回答问题的呢?
接入 ai 能否根据自己所有的笔记去思考并回答问题?
相关帖子
-
Deepseek 是能够本地部署,像我就在笔记本上,用 Ollama+AnythingLLM 部署了 Deepseek-R1 7B。这其实是一个用 Deepseek-R1 本体蒸馏出来的小模型,确实能够用,即使而没有 GPU,CPU 也能拖动,就是跑得慢一点。
但问题是,7B 的智能程度和 R1 本体没法比,差太多……671B 的本体要部署,光空间就需要 400 多 GB,而且肯定需要 GPU 才行。
如果把整个笔记喂给 7B,会达到什么效果,我目前还没有进行尝试,主要是我笔记内容本身也不是很丰富,喂了也体现不出什么。纯粹是当成一个电子小玩具整的。
但如果资料体系完整的话,弄一个私有知识库是完全可行的,比如法律库、医学库等。7B 模型的参数量小了,弄个更大参数的 R1,再弄一个独显,应该是有可行性的。
-
-
RAG(检索增强生成)的缺点:
目前的检索机制存在不少问题。
一方面有盲区,答案明明是存在的,可因为排名太靠后就没被找到
而且它处理不了实体之间那种复杂的层次关系
检索的文本块数量也有限制,这就容易造成信息是零碎的,不成系统。
另一方面,在信息整合的时候也容易出错,就算检索到了正确的信息,可大模型在进行综合推理的时候,特别是那种要跨越好几个文档进行推理的情况,还是有可能得出错误的答案。
所以,期望不高的情况下,做一个智能查找功能也不错。
各种开源知识库的实现也有些不一样,检索打分的结果也不一样,所以效果有差别。
开源知识库和大厂的知识库,做法肯定有些不同。哪个好还需要试试。
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于