沙牛提示
阅读本文必须6分钟,建一套自己的AI助手! 倘若你爱好本文,就分享给你的小伙伴!
01 AI
随着AI的日益普及,非常多大厂都开放了自己的大语言模型。
本文就来告诉你,怎样在本地,搭建一套随时可用的AI问答系统。
02 Ollama
你只必须运用一款免费开源的工具:Ollama。
Ollama是免费开源的,支持多达近2000种大语言模型,包含阿里通义千问、Meta llama3、Google Gemma等等。
运用它,你只必须根据以下过程进行就可: 安装Ollama下载大语言模型进行问答1. 安装Ollama
你能够在Ollama的官网 https://ollama.com/ 下载并安装它,它支持Windows、macOS和Linux等主流操作系统。
安装之后,它会在后台运行,并默认开机起步,方便咱们随时运用。
不外,日前Ollama并无供给图形界面的客户端,因此……你只能经过命令提示符运用它。
在Ollama安装之后,打开命令提示符,输入 ollama,倘若收到这般的提示,则证明安装成功:
2. 下载大语言模型
本地安装的Ollama,你能够理解为一个基本平台,此刻,咱们必须为这个基本平台,供给大语言模型的支持。
你能够在Ollama官网的 Models 页面,查找到所支持的大语言模型:
咱们点开一个模型,例如Google Gemma:
其中: ① 表率模型的区别参数版本,B表率Billion,即十亿,9B,表率90亿参数。② 你能够在这儿选取区别参数的版本。③ 选取版本后,复制命令。而后,把复制的命令 ollama run gemma2:9b,粘贴到命令提示符中,便会起始下载并运行该模型:
要查看已然下载的模型,能够运用命令 ollama list :
ps:这命令风格真是跟Docker如出一辙。
3. 进行问答
安装模型后,咱们就能够进行问答了。不外,由于无图形界面,因此……你亦只能在命令提示符这种上古神器中,来运行先进的人工智能……
运行一个模型,能够运用命令 ollama run 模型名叫作 ,如运行阿里千问,命令则为 ollama run qwen2:7b
好了,此刻,你能够进行提问了:
03 弄个图形界面
倘若你愿意折腾的话,亦能够为Ollama搭建一个开源的图形界面, 如LobeChat、Open WebUI等等。
而我选取的,是MaxKB,我把它安排在了自己的群晖NAS上:
有了图形界面之后,你便能够在全部局域网中运用Ollama,乃至,由于有公网IP的关系,我还把这个页面放到了网上,无论在哪,都能运用自己家里运行着的大语言模型。
04 在Obsidian中运用
你还能够在Obsidian中运用Ollama本地大语言模型,只必须安装插件 Smart Second Brain 就可。
安装并启用后,配置一下插件:
而后,它会索引你的Obsidian资料库。
然则,针对我包括了1200条笔记、180万字的资料库,再加上无独显的debuff加持,直接给了我一个这般的时长提示:
不外,即便只是把它做为一个Obsidian中的AI问答工具,还能即时保留为笔记,亦是挺不错的:
|