沙牛提示
阅读本文必须6分钟，建一套自己的AI助手！ 倘若你爱好本文，就分享给你的小伙伴！
01 AI
随着AI的日益普及，非常多大厂都开放了自己的大语言模型。
本文就来告诉你，怎样在本地，搭建一套随时可用的AI问答系统。
02 Ollama
你只必须运用一款免费开源的工具：Ollama。
Ollama是免费开源的，支持多达近2000种大语言模型，包含阿里通义千问、Meta llama3、Google Gemma等等。
运用它，你只必须根据以下过程进行就可： 安装Ollama下载大语言模型进行问答1. 安装Ollama
你能够在Ollama的官网 https://ollama.com/ 下载并安装它，它支持Windows、macOS和Linux等主流操作系统。
安装之后，它会在后台运行，并默认开机起步，方便咱们随时运用。
不外，日前Ollama并无供给图形界面的客户端，因此……你只能经过命令提示符运用它。
在Ollama安装之后，打开命令提示符，输入 ollama，倘若收到这般的提示，则证明安装成功：
2. 下载大语言模型
本地安装的Ollama，你能够理解为一个基本平台，此刻，咱们必须为这个基本平台，供给大语言模型的支持。
你能够在Ollama官网的 Models 页面，查找到所支持的大语言模型：
咱们点开一个模型，例如Google Gemma：
其中： ① 表率模型的区别参数版本，B表率Billion，即十亿，9B，表率90亿参数。② 你能够在这儿选取区别参数的版本。③ 选取版本后，复制命令。而后，把复制的命令 ollama run gemma2:9b，粘贴到命令提示符中，便会起始下载并运行该模型：
要查看已然下载的模型，能够运用命令 ollama list ：
ps：这命令风格真是跟Docker如出一辙。
3. 进行问答
安装模型后，咱们就能够进行问答了。不外，由于无图形界面，因此……你亦只能在命令提示符这种上古神器中，来运行先进的人工智能……
运行一个模型，能够运用命令 ollama run 模型名叫作 ，如运行阿里千问，命令则为 ollama run qwen2:7b
好了，此刻，你能够进行提问了：
03 弄个图形界面
倘若你愿意折腾的话，亦能够为Ollama搭建一个开源的图形界面， 如LobeChat、Open WebUI等等。
而我选取的，是MaxKB，我把它安排在了自己的群晖NAS上：
有了图形界面之后，你便能够在全部局域网中运用Ollama，乃至，由于有公网IP的关系，我还把这个页面放到了网上，无论在哪，都能运用自己家里运行着的大语言模型。
04 在Obsidian中运用
你还能够在Obsidian中运用Ollama本地大语言模型，只必须安装插件 Smart Second Brain 就可。
安装并启用后，配置一下插件：
而后，它会索引你的Obsidian资料库。
然则，针对我包括了1200条笔记、180万字的资料库，再加上无独显的debuff加持，直接给了我一个这般的时长提示：
不外，即便只是把它做为一个Obsidian中的AI问答工具，还能即时保留为笔记，亦是挺不错的：
| 
发表于 2024-8-19 05:46:35