最近需要翻译一批非常隐私的内容,所以希望思源 + 本地用 ollama 部署的 deep seek 来完成。不知道在思源里可以接入本地的大模型吗?
思源可以使用本地的大模型吗
相关帖子
-
-
Mayrain •作者
好,感谢,OpenAI 的那种调用方法应该是 API 调用吧,和本地感觉不太一样?现在很多 AI agent 的壳都是只支持 API 的,确实是比较麻烦。我再研究一下,顺便蹲个大佬(
-
-
本地跑个 ollama 还挺费内存的,建议搞个在线服务,毕竟 ds 都这么便宜了…… https://github.com/deepseek-ai/awesome-deepseek-integration/blob/main/docs/Siyuan/README_cn.md ——sorry 没看到是隐私的内容dsy •
-
是的,Ollama 本地部署好 Deepseek-r1 后,按如下方式设置即可:
API 提供商:选
OpenAI
。超时时间:最好长一点,因为电脑会比较慢。尤其像我这样用 CPU 来拖的,真的就是拖拉机。
模型名称:按 Ollama 装好模型后,在终端中输入
ollama list
查一下模型的名称即可,我下的明明是 7B,不知道为什么名称是:deepseek-r1:latest。API 基础地址:
http://127.0.0.1:11434/v1
,这个最关键,不能漏掉/v1
,我一开始漏了这个,就没成功。如果端口改了,就用你改的端口。API Key:这个随便输一串代码就行。
其他的都随便输。
上图就是直接在思源中调用我笔记本上部署的 DS,前提是要先运行 Ollama(Ollama 默认是开机启动,不过我一向是关掉的)。这样设置的好处是,不用装 AnythingLLM 之类的第三方 app,不足是交互不方便。我是通过安装思源集市中的 F's 工具箱插件来解决,它内置一个 AI 对话框,还比较好用,当然它也可以直接接各种 AI 的 API,看自己的需要了。
当然 AnythingLLM 能帮助我们建立自己的个人知识库,想装一个也是很方便的。
补充:昨天装了 Cherry Studio,感觉更好用,而且没 AnythingLLM 那么臃肿。
1 回复 -
Mayrain •作者
这是 ao 的,学到了!我还有一个问题,不过这个就是超出思源本身的问题了:你觉得本地部署的 ai 能力足够么?我这两天使用下来,感觉上其实能力真的远不如官网……
TIP:用的是 14b 参数的 R1
2 回复 -
一般电脑的配置肯定不够。
最近看了一些资料,不确定真假,(更正)R1 目测的大概规律是需要参数量数字约一倍的显存:
- 7B 参数量,需要 6~8GB 的显存;
- 14B 参数量,需要 11~16GB 的显存;
- 满血版就不要想了,个人搞不了的。
本地部署的智力肯定是不够的,差别非常明显,只能进行一些简单的、常规的推理,做不到 671B 满血版那种深度的,交织着各种“幻觉”概念、但在“幻觉”中又会时不时涌现出“创见”的推理。后者,本地部署是达不到的。
我本地部署只是玩玩而已,想尝试一下喂一点“小料”给它,看看能不能弄个低智版的私有小知识库。
真要用 Deepseek-R1 进行复杂推理,要么就等闲时用 Deep 本 Seek,要么用其他平台搭的 R1,比如硅基流动的。
但不推荐去太野鸡的平台,提防被骗取个人隐私信息,现在假借 Deepseek 诈骗的越来越多了。
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于