最近需要翻译一批非常隐私的内容,所以希望思源 + 本地用 ollama 部署的 deep seek 来完成。不知道在思源里可以接入本地的大模型吗?
思源可以使用本地的大模型吗
相关帖子
-
Mayrain •作者
好,感谢,OpenAI 的那种调用方法应该是 API 调用吧,和本地感觉不太一样?现在很多 AI agent 的壳都是只支持 API 的,确实是比较麻烦。我再研究一下,顺便蹲个大佬(
- 其他回帖
-
-
一般电脑的配置肯定不够。
最近看了一些资料,不确定真假,(更正)R1 目测的大概规律是需要参数量数字约一倍的显存:
- 7B 参数量,需要 6~8GB 的显存;
- 14B 参数量,需要 11~16GB 的显存;
- 满血版就不要想了,个人搞不了的。
本地部署的智力肯定是不够的,差别非常明显,只能进行一些简单的、常规的推理,做不到 671B 满血版那种深度的,交织着各种“幻觉”概念、但在“幻觉”中又会时不时涌现出“创见”的推理。后者,本地部署是达不到的。
我本地部署只是玩玩而已,想尝试一下喂一点“小料”给它,看看能不能弄个低智版的私有小知识库。
真要用 Deepseek-R1 进行复杂推理,要么就等闲时用 Deep 本 Seek,要么用其他平台搭的 R1,比如硅基流动的。
但不推荐去太野鸡的平台,提防被骗取个人隐私信息,现在假借 Deepseek 诈骗的越来越多了。
- 查看全部回帖
欢迎来到这里!
我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。
注册 关于