|
OrionStar-Yi-34B-Chat-Llama[1] 基于开源的 Yi-34B 模型。OrionStar 团队在海量的中/英文语料库上进行了微调，以供给出色的交互式用户体验。Yi系列以基准性能著叫作，OrionStar的进一步微调将其进行了提高。尽管适用某些协议和 Yi 许可证，但它可以避免花费于学术科研。
本文中，咱们将介绍： 在自己的设备上运行 OrionStar-Yi-34B-Chat-Llama为 OrionStar-Yi-34B-Chat-Llama 大模型创建一个与 OpenAI 兼容的 API 服务咱们将运用 LlamaEdge[2]（Rust + Wasm 技术栈）研发和安排此模型的应用程序。不需要安装繁杂的 Python 包或 C++ 工具链！认识咱们选取这个技术栈的原由。[3]
在自己的设备上运行猎户星空大模型
过程1：经过以下命令行安装 WasmEdge[4]。
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml
过程2：下载 OrionStar-Yi-34B-Chat-Llama model GGUF[5] 文件。因为模型的体积为 24.3 GB，下载可能需要一按时间。
curl -LO https://huggingface.co/second-state/OrionStar-Yi-34B-Chat-Llama-GGUF/resolve/main/OrionStar-Yi-34B-Chat-Llama-Q5_K_M.gguf
过程 3：下载聊天应用程序的跨平台可移植 Wasm 文件。该应用程序让你能用命令行与模型聊天。该应用程序的Rust 源代码在这儿[6]。
curl -LO https://github.com/second-state/LlamaEdge/releases/latest/download/llama-chat.wasm
完成啦！能够经过输入以下命令在终端与模型进行聊天。
wasmedge --dir .:. --nn-preload default:GGML:AUTO:OrionStar-Yi-34B-Chat-Llama-Q5_K_M.gguf llama-chat.wasm -p human-assistant
该可移植 Wasm 应用程序会自动利用设备上的硬件加速器（如 GPU）。
[You]:
春节都有什么习俗？
[Bot]:
贴春联、贴窗花和倒福、放鞭炮、吃团圆饭，给压岁钱等。
[You]:
你能写一个针对龙年的春联吗？
[Bot]:
能够的。上联：龙腾虎跃人间景，下联：凤舞燕飞天下春。横批：龙年大吉。
为 大模型创建与 OpenAI 兼容的 API 服务
与 OpenAI 兼容的 Web API 让该模型可与区别的 LLM 工具和代理框架（如 flows.network、LangChain 、LlamaIndex 等）一块工作。
下载一个 API 服务器应用程序。它亦是一个跨平台可移植的 Wasm 应用程序，能够在各样区别 CPU 和 GPU 设备上运行。戳此查看该 app 的 Rust 源代码。[7]
curl -LO https://github.com/second-state/LlamaEdge/releases/latest/download/llama-api-server.wasm
而后，下载聊天设备人 Web UI，以经过聊天设备人 UI 与模型进行交互。
curl -LO https://github.com/second-state/LlamaEdge/releases/latest/download/llama-api-server.wasm
curl -LO https://github.com/second-state/chatbot-ui/releases/latest/download/chatbot-ui.tar.gz
tar xzf chatbot-ui.tar.gz
rm chatbot-ui.tar.gz
接下来，运用以下命令行起步模型的 API 服务器。而后，用浏览器拜访 http://localhost:8080[8] 就能起始聊天了。
wasmedge --dir .:. --nn-preload default:GGML:AUTO:OrionStar-Yi-34B-Chat-Llama-Q5_K_M.gguf llama-api-server.wasm -p human-assistant
还能够从另一个终端运用 curl 与 API 服务器交互。
curl -X  OST http://localhost:8080/v1/chat/completions \ -H accept:application/json
\ -H Content-Type: application/json
\ -d {"messages":[{"role":"system", "content": "You are a sentient, superintelligent artificial general intelligence, here to teach and assist me."}, {"role":"user", "content": "Write a short story about Goku discovering kirby has teamed up with Majin Buu to destroy the world."}], "model":"OrionStar-Yi-34B-Chat-Llama"}
就这般。WasmEdge 是运行 LLM 应用程序最简单、最快速、最安全的方式[9]。尝试一下吧！
加入 WasmEdge Discord[10]和小伙伴们一块讨论。倘若对运行这个模型有任何疑问，请拜访 second-state/llamaedge[11] 提 issue，或预约 demo[12]。 参考资料[1]
OrionStar-Yi-34B-Chat-Llama: https://huggingface.co/OrionStarAI/OrionStar-Yi-34B-Chat-Llama
[2]
LlamaEdge: https://github.com/second-state/LlamaEdge/
[3]
认识咱们选取这个技术栈的原由。: https://www.secondstate.io/articles/fast-llm-inference/
[4]
WasmEdge: https://github.com/WasmEdge/WasmEdge
[5]
OrionStar-Yi-34B-Chat-Llama model GGUF: https://huggingface.co/second-state/OrionStar-Yi-34B-Chat-Llama-GGUF
[6]
Rust 源代码在这儿: https://github.com/second-state/llama-utils/tree/main/chat
[7]
戳此查看该 app 的 Rust 源代码。: https://github.com/second-state/llama-utils/tree/main/api-server
[8]
http://localhost:8080: http://localhost:8080/
[9]
运行 LLM 应用程序最简单、最快速、最安全的方式: https://www.secondstate.io/articles/fast-llm-inference/
[10]
加入 WasmEdge Discord: https://discord.com/invite/U4B5sFTkFc
[11]
second-state/llamaedge: https://github.com/second-state/LlamaEdge
[12]
demo: https://code.flows.network/webhook/vvAtEBUk6QMhVVLuw7IU
| 
发表于 2024-8-22 14:01:06
