黄仁勋:“在19世纪90年代末期,尼古拉·特斯拉发明了交流发电机,而 NVIDIA 现在发明了AI发电机。交流发电机生成电子;AI发电机生成的是Token,这两样东西都有巨大的市场机会,Token几乎可以应用于每个行业,这就是为什么这是一场新的工业革命”。
大模型 API 是什么
API 就是传输 token 的接口,无论是大模型厂商、云计算平台,还是开源、闭源模型,他们可能不会直接提供 ChatBot 对话助手,但都会提供其模型 API。
像 Huggingface、魔搭这样的开源模型托管平台,提供了数万个大模型,有大模型厂商开源的,也有组织、个人微调过的,而且大多都支持免费调用推理 API,无需部署算力、托管服务器。
API 一端连接着 AI 大模型服务,另一端则开放给用户。用户想要接入并使用这些模型的功能,只需将 API 集成到各种应用程序中,输入的内容传输到后端的大模型服务,经处理后,结果再返回给应用,完成一次 API 调用。
相比于对话框式的 AI 助手,API 推理更加灵活,它可以集成在自己开发的应用中,如果你没有深厚的编程能力,也能利用各种开源应用和插件,大大降低使用 AI 的摩擦力。
AI 完全可以充当个人助理,我在谁在用 AI 中论述,当前 AI 产品使用现状,很多人用不起来,不是因为不会写 Prompt,也不是因为找不到适合自己 Agent,最重要的是如何和业务结合,让 AI 在你的数字空间无处不在。
现在,通过大模型 API 集成应用,就可以做到让你的数字世界有一个随处可见的 AI 精灵。
比如使用 chatbox 这个 mac 客户端,我集成了 deepseek 的大模型,flux 的图像生成,基本上做到了 GPT4 的平替,并且 API 成本足够低,现在平台赠送的 token 还没有花完。
再比如使用 chatgptbox 这个浏览器插件,做到了 Monica 的平替,在飞书里可以续写,在 flomo 里可以碰撞自己的想法。
再高级一点是使用 dify 和快捷指令,可以自动化工作流,比如可以搭建一个 RSS 阅读器,每天为自己总结我所关注的博主的文章,提取出创作灵感。
总结来说,使用 API 推理还有以下好处:
所以,如果想要用好 AI ,不说用它去创作副业,就只是节省你的工作时间,提前下班,或者享受摸鱼的快乐,就可以尽早的用上大模型 API,
我会在本篇文章分享有哪些 API 可在国内免费使用,在文末分享数十种,你或许用得上的应用。
这篇文章依旧顺应**“用好 AI”**的宗旨,不炒概念,不谈未来,就只是谈谈如何把 AI 用好。
产品 | 是否免费 | 网址 |
---|---|---|
云计算厂商 | ||
阿里云百炼 | https://bailian.console.aliyun.com/ | |
百度千帆 | https://console.bce.baidu.com/qianfan/overview | |
始智 | ✅ | https://www.wisemodel.cn/home |
启智 | ✅ | https://openi.pcl.ac.cn/explore/datasets |
无问芯穹 | ✅ | https://cloud.infini-ai.com/platform/ai |
硅基流动 | ✅ | http://siliconflow.cn |
魔搭 | ✅ | https://www.modelscope.cn/home |
揽睿星舟 | https://www.lanrui-ai.com/ | |
大模型厂商 | 是否有赠送额度 | |
百川(Baichuan) | ✅ | https://platform.baichuan-ai.com/console/apikey |
深度求索(DeepSeek) | ✅ | https://platform.deepseek.com/api_keys |
智谱(GLM) | ✅ | https://bigmodel.cn/usercenter/apikeys |
MiniMax | ✅ | https://platform.minimaxi.com/ |
月之暗面(Moonshot) | ✅ | https://platform.moonshot.cn/console/api-keys |
通义(Qwen) | https://dashscope.console.aliyun.com/apiKey | |
讯飞星火(Spark) | https://console.xfyun.cn/ | |
阶跃星辰(Stepfun) | https://platform.stepfun.com/interface-key | |
文心一言(ERNIE) |
点击链接,可直接获取大模型的 API key, 对于一些应用,内部已经集成了 API 地址,只需输入你的 API key 就可以请求,比如 opencat 这款对话助手
那么对于大部分没有集成 API 提供商的应用,来看看如何使用 API ,
模型
模型 LLM 是由数据集训练而成的,模型有数据集、版本和类型的区别
Token
文本生成模型处理文本时,是以 Token 作为基本单位的。Token 通常指的是文本中常见的字符或字符序列。
比如,一个复杂的汉字“龘”可能会被拆分成几个 Token,而像“你好”这样常用且简短的词语则可能直接作为一个 Token 来处理。一般来说,对于普通的中文文本,一个 Token 大约对应 1.5 到 2 个汉字。
API 参数
不同类别、不同模型的参数都不一样,参数可以调节控制模型的输出结果,最常见的参数有
登录模型平台后,拿到以下三样信息:
以 kimi 大模型为例,登录 kimi 的开放平台
在接口文档中就能看到对话类型的 API 地址: https://api.moonshot.cn/v1/chat/completions
API key 是请求服务时,验证自己身份的密钥,对于各大模型平台,登录成功后,在账号的控制台下就能看到
下面提供了20 款,点击名称可直达
分类 | 应用名称 | 简介 |
---|---|---|
客户端类 | Chatbox | 一个支持多种流行LLM模型的桌面客户端,可在 Windows、Mac 和 Linux 上使用 |
OpenCat | OpenCat 是一个 AI 对话聊天客户端,支持 ios 和 MacOS | |
Dify | 一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用 | |
Nextchat | 只需轻点几下,就能在自己的服务器上搭建聊天服务 | |
Pal - Chat | 一款可以在 iPhone 或 iPad 上使用的 AI 助手 | |
Enconvo | Enconvo是 AI 时代的启动器,是所有AI功能的入口,也是一位体贴的智能助理 | |
Cherry Studio | 一款为创造者而生的桌面版 AI 助手 | |
浏览器插件 | 沉浸式翻译 | 一款双语对照网页翻译插件,简洁,高效 |
ChatGPT Box | 将 LLM 作为私人助手,整合到你的浏览器中 | |
划词翻译 | 整合了多家翻译 API 以及 LLM API 的浏览器翻译插件 | |
欧路翻译 | 提供鼠标划词搜索、逐段对照翻译、PDF文献翻译功能。可以使用支持 DeepSeek AI, Bing、GPT、Google 等多种翻译引擎 | |
IM 助手 | 茴香豆 | 一个集成到个人微信群/飞书群的领域知识助手,专注解答问题不闲聊 |
QChatGPT | 高稳定性、支持插件、实时联网的 LLM QQ / QQ频道 / One Bot 机器人 | |
VScode 插件 | Continue | 开源 IDE 插件,使用 LLM 做你的编程助手 |
开源项目 | one-api | 支持多种大模型, 国内的阿里通义千问、百度文心一言等都可以接入。并且有独立的管理页面,支持令牌管理、兑换码管理、通道管理等。 |
fastGPT | FastGPT 是一个基于 LLM 大语言模型的知识库问答系统。它的亮点在于可视化的工作流编排和知识库管理,从而实现复杂的问答场景。 | |
web-llm | WebLLM是一个模块化、可定制的javascript软件包,通过硬件加速将语言模型聊天直接带到Web浏览器上。一切都在浏览器内运行,使用WebGPU进行加速。 |
最后我们以沉浸式翻译这款必备的插件,讲解下,怎么把 智谱模型 接入,能达到沉浸式翻译的会员提供的 GPT4 翻译效果。
前期安装和搭建花几个小时,后面带来的便利和收益肯定你无法戒断,快去试试吧。