思源 AI 添加第三方免费大模型方法

目前思源的 AI 配置是 OpenAI 的通用调用方式,意味着任何兼容这种方式的第三方平台都可以正常使用。

配置

进入设置——AI,修改模型、API Key、API 基础地址三处,其他的默认即可,当然影响比较大的是温度值,按需修改。(超时时间建议调大,比如 300 秒)模型选择该平台中的你想要的模型(必须完整复制模型名称),密钥是自己在平台创建的,API 基础地址按该平台开发文档填,下面是使用 siliconflow 的例子,然后你就可以开心玩耍了。

878834213D8B4655BBC34CC547430F78.png

使用 AI 的两种方法:

  1. 输入“/”呼出“AI 编辑”,在输入框中输入你的 prompt。虽然很多模型并不支持实时联网,即无法获得最新的资讯,但不妨碍你让它回答一些“过去的事情”,它对世界的知识受限于模型训练结束时间。
  2. 点击内容块前的块类型标识,打开菜单,选择“人工智能”,即可对所选择的内容块进行 AI 处理。

A44BCA9A93CA468E9689DDD4C13BD800.png

再比如直接问“中国历年获得奥运会金牌数量明细”。

C036811780A541FAB24AD1750FE8DB27.png

第三方平台推荐

众所周知,支付、价格、网络是制约大家使用 OpenAI、Claude 等国外大模型的三大主要问题。非常不建议通过淘宝或者其他平台代付的方式进行使用,使用明细不清,跑路风险高。下面推荐一些比较靠谱的大模型平台:

国外平台

1.openrouter:国外模型超级多,疑似全球最大的模型聚合提供商。有少量免费模型可用,但是免费的有如下限制:

Free limit: If you are using a free model variant (with an ID ending in :free), then you will be limited to 20 requests per minute and 200 requests per day.(免费模型限制:20 次/分钟,200/天)

https://openrouter.ai/api/v1/chat/completions

🎉 如果一定要使用前面说的 OpenAI、Claude、Gemini 等模型的话,不差钱的话,可以直接在 openrouter 上选用,目前支持 stripe,但是得用 visa 信用卡。本人不曾测试国内 visa 卡能否支付,理论上应该是可以的,因为 open router 没有锁区。

2.groq:目前完全免费,国外模型,模型较少。需要良好的网络环境。

https://api.groq.com/openai/v1/chat/completions

国内平台

1.硅基流动:我首推,目前良心程度堪称 AI 行业的赛博活佛。支持免费模型,免费模型,免费模型。使用免费模型不消耗送的 2000 万 tokens,付费模型建议用 deepseek-ai/DeepSeek-V2.5。这是我的邀请链接:硅基流动

SiliconCloud 裂变活动火热开启,2000 万 Tokens 送不停!北京时间 2024 年 8 月 1 日凌晨 0 时起您每邀请一位好友成为 SiliconCloud 新用户,您与好友均可获赠 2000 万 Tokens(14 元平台配额)。邀请越多,奖励越多,畅享体验 SiliconCloud!

    1. 邀请好友赚 2000 万 Tokens:每成功邀请一位新用户,好友注册成功,您将获得 2000 万 Tokens;
    2. 注册即送 2000 万 Tokens:受邀好友作为新用户完成 SiliconCloud 账号注册,立刻获得 2000 万 Tokens。
https://api.siliconflow.cn/v1/chat/completions

模型列表:https://siliconflow.cn/zh-cn/pricing

免费文本对话模型供参考,分数来源 huggingface

Average ⬆️ IFEval BBH MATH Lvl 5 GPQA MUSR MMLU-PRO
Qwen/Qwen2.5-7B 24.7 33.74 35.81 17.15 9.96 14.14 37.39
Qwen/Qwen2-7B-Instruct 24.76 56.79 37.81 8.61 6.38 7.37 31.64
internlm/internlm2_5-7b-chat 30.46 61.4 57.67 8.31 10.63 14.35 30.42
meta-llama/Meta-Llama-3.1-8B-Instruct 27.91 78.56 29.89 17.6 2.35 8.41 30.68
THUDM/glm-4-9b-chat 10.97 0 25.21 0 8.5 8.06 24.07
28.86 74.36 42.14 0.23 14.77 9.74 31.95
google/gemma-2-9b-it
Qwen/Qwen2-72B-Instruct 42.49 79.89 57.48 35.12 16.33 17.17 48.92

2.其他:像 deepseek、智谱 AI、阿里云通义千问这些,一般新注册也会送你几千万 tokens 配额,但是一般有有效期,过期未用完就失效了,而且通常只支持自家的模型,免费模型不一定有。

🎉 上面只是配置思源笔记的例子,有了 base url 和密钥,就可以配置其他支持通用 openAI 的应用,方法类似,只要 URL、密钥和模型名称。 比如:沉浸式翻译、pot 翻译、zotero、欧路词典、glarity、CherryStudio 等等。

⚠️base URL 后面要不要接“/chat/completions”?

在一些大模型 API 的设计中,如 OpenAI 的 API,/chat/completions 是用于生成对话回复的端点。这种结构使得 API 请求更加清晰和有条理。虽然并不是所有大模型 API 都必须使用相同的路径,但约定俗成的路径可以帮助开发者更容易理解和使用。

所以,是否必须取决于具体的 API 设计。如果你使用的是特定的 API 并且文档中指定了这个路径,那么你就需要按照文档来使用。如果是自定义的 API,你可以自行定义路径,但建议遵循一些常见的规范以提高可读性和维护性。

简单来说,通常需要加上,但如果加上出了问题(很可能是目标应用的后台代码已经帮你加了),就不加。以目标应用的实际填写方式为准,比如思源默认的 openAI 没加,那你填硅基流动时就不用加。

模型温度

语言模型的温度参数是一个控制生成文本时随机性的参数。它影响模型输出的多样性和创造性。具体来说,温度参数可以调整模型在生成下一个词时对不同可能性的选择权重。以下是关于温度参数的一些详细解释:

温度参数的作用

低温度(< 1):

当温度参数较低时,模型倾向于选择概率最大的词。这意味着生成的文本会更加确定且保守,输出的内容通常是最常见和最合理的。
例如,温度为 0 的情况下,模型总是选择概率最高的词,这种情况下输出的文本可能会比较单一和重复。
高温度(> 1):

当温度参数较高时,模型会在生成下一个词时更多地考虑那些原本概率较低的词。这会增加生成文本的随机性和多样性,但也可能导致输出内容不那么合理。
例如,温度为 2 时,模型会更加随机地选择词汇,这可能会产生更意想不到和创造性的结果,但也更容易出现不连贯或不合适的词语。
温度为 1:

当温度为 1 时,没有对概率进行额外调整,模型按照其默认的概率分布选择词语。这是一个中间值,既不会过于保守,也不会过于随机。

实际应用

在实际应用中,调节温度参数可以根据具体需求调整生成文本的风格。例如:

  • 在自动摘要或新闻生成等需要严谨和准确的场景中,可以选择较低的温度。

  • 在诗歌创作或故事生成等需要创造性和多样性的场景中,可以选择较高的温度。

    通过合理调整温度参数,可以更好地控制语言模型的输出质量和风格。

  • 思源笔记

    思源笔记是一款隐私优先的个人知识管理系统,支持完全离线使用,同时也支持端到端加密同步。

    融合块、大纲和双向链接,重构你的思维。

    21297 引用 • 84015 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...