本地模型搭建

本地模型的搭建

我个人用Ollama+openUI来实现本地模型的搭建。下面详细说明具体细节。

详细步骤

安装Ollama

这里贴一下Ollama的下载链接：https://ollama.com/download
安装了启动程序之后先别着急安装，因为默认Ollama是安装在C盘的，而我想大多数人都不会想装在这里。
那么如何安装在其它盘符中呢？
1. 在要安装的目录下面新建文件夹并放入.exe文件，例如在E:\Ollama下放入OllamaSetup.exe文件。在该目录下右键打开cmd/powershell
2. 输入以下命令：.\OllamaSetup.exe /DIR=E:\Ollama/DIR处值替换为自己的安装目录，正常安装即可。

部署本地模型

在Ollama主页右上角的model界面中，搜索自己想要部署的模型，然后复制相关命令到命令行中即可,eg:ollama run deepseek-r1

open WebUI的安装与使用

首先安装Docker
默认安装目录的替换

同上面一样先不要运行安装程序，在Docker Desktop Installer.exe所在目录打开cmd输入start /w "" "Docker Desktop Installer.exe" install --backend=wsl-2 --installation-dir=E:\docker --wsl-default- data-root=E:\wsl --accept-license即可安装到指定目录中。

安装中遇到的问题：

遇到了如下报错：
Unpacking failed: 文件“E:\docker\Docker Desktop Installer.exe”正由另一进程使用，因此该进程无法访问此文件。在 Docker.Installer.InstallWorkflow.<DoHandleD4WPackageAsync>d__30.MoveNext() 位置 C:\workspaces\4.38.x\src\github.com\docker\pinata\win\src\Docker.Installer\InstallWorkflow.cs:行号 465 --- 引发异常的上一位置中堆栈跟踪的末尾 --- 在 System.Runtime.ExceptionServices.ExceptionDispatchInfo.Throw() 在 System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) 在 Docker.Installer.InstallWorkflow.<DoProcessAsync>d__23.MoveNext() 位置 C:\workspaces\4.38.x\src\github.com\docker\pinata\win\src\Docker.Installer\InstallWorkflow.cs:行号 166
在https://github.com/docker/for-win/issues/14068 中找到了相关回答：

如果卸载过docker可以把文件卸载干净，用清理软件清理干净，再重新安装
确保安装包与安装路径不同，假如想把docker安装在D:Docker，那么安装包务必不要放在此文件夹
确保只有一个安装程序在运行，以及打开任务管理器先结束其他docker相关进程，再尝试重新安装
经过我的尝试，确认是第二个问题，将安装包放在其他目录下，再次运行命令即可。
安装好Docker后，终端执行Open WebUI的安装命令：docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
输入docker ps即可看到，映射在本地3000端口，访问127.0.0.1:3000即可。

参考文章/内容：
https://www.cnblogs.com/LaiYun/p/18696931
https://zhuanlan.zhihu.com/p/21906535884
https://github.com/docker/for-win/issues/14068