Deepseek超时Windows本地部署安装和使用Ollama WebUI环境安装

WebUI

Ollama WebUI 已经更名为 Open WebUI. Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线操作。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。
Ollama WebUI 是一个革命性的 LLM 本地部署框架，具有类似 ChatGPT 的 Web 界面。让我们为您的 Ollama 部署的 LLM 提供类似 ChatGPT Web UI 的界面，只需按照以下 5 个步骤开始行动吧。

系统要求

Windows 10 64 位：最低要求是 Home 或 Pro 21H2（内部版本 19044）或更高版本，或者 Enterprise 或 Education 21H2（内部版本 19044）或更高版本。
Windows 11 64 位：家庭版或专业版 21H2 或更高版本，或者企业版或教育版 21H2 或更高版本。
WSL 版本 1.1.3.0 或更高版本。在 Windows 上打开 WSL 2 功能。
8 核 64 位处理器、16GB+ RAM、带有 4GB+ VRAM 的 Nvidia 显卡。
Docker Desktop，推荐安装最新版本。文章源自玩技e族-https://www.playezu.com/896949.html

显存内存

DeepSeek-R1 系列模型涵盖从轻量级到超大规模的多个版本，适用于不同的应用场景。了解各版本在不同量化精度下的显存和内存需求，有助于选择适合自身硬件配置的模型。文章源自玩技e族-https://www.playezu.com/896949.html

模型参数与量化精度的关系
模型的参数量决定了其基础大小，而量化精度（如 FP16、INT8、INT4）则影响每个参数所占用的存储空间。通过降低量化精度，可以显著减少模型的显存和内存占用，但可能会对模型性能产生一定影响。文章源自玩技e族-https://www.playezu.com/896949.html

以下是不同量化精度下，每个参数的存储需求：文章源自玩技e族-https://www.playezu.com/896949.html

FP16（16位浮点）：每个参数占用 2 字节。
INT8（8位整数）：每个参数占用 1 字节。
INT4（4位整数）：每个参数占用 0.5 字节。文章源自玩技e族-https://www.playezu.com/896949.html

各版本模型的显存与内存占用估算根据上述量化精度，每个模型在不同精度下的显存和内存占用估算如下：文章源自玩技e族-https://www.playezu.com/896949.html

参数说明：

显存占用：指模型在 GPU 上运行时所需的显存。
内存占用：指模型在 CPU 上运行时所需的内存，通常为显存占用的两倍，用于加载模型和计算缓冲。文章源自玩技e族-https://www.playezu.com/896949.html

解释说明：

实际的显存和内存占用可能因模型架构、批处理大小（batch size）、序列长度（sequence length）以及推理框架等因素而有所变化。
采用量化技术（如 INT8 或 INT4）可以显著降低显存和内存占用，但可能会对模型的精度产生一定影响。
在 CPU 上运行大型模型可能导致推理速度较慢，建议根据硬件配置选择适当的模型版本。
选择适合的模型版本
在选择模型版本时，应综合考虑硬件配置、应用需求和性能要求。对于资源有限的环境，建议选择参数量较小或经过量化的模型版本。而对于高性能需求的应用，可考虑部署参数量较大的模型，但需确保硬件资源充足。文章源自玩技e族-https://www.playezu.com/896949.html

通过合理选择模型版本和量化精度，可以在满足应用需求的同时，充分利用现有硬件资源。文章源自玩技e族-https://www.playezu.com/896949.html

安装使用:方式一

在 Windows 计算机上深入研究 Ollama 和 Ollama WebUI 是进入人工智能和机器学习世界的激动人心的旅程。本详细指南将引导您完成每个步骤并提供示例以确保顺利启动。文章源自玩技e族-https://www.playezu.com/896949.html

第 1 步 - 安装 Ollama

点击这里 https://ollama.com/download/windows 下载 Ollama ，然后右键单击下载的 OllamaSetup.exe 文件并以管理员身份运行安装程序。安装完成后，Ollama 就可以在您的 Windows 系统上使用。桌面底部的托盘区域将添加一个 Ollama 图标。
要运行 Ollama 并开始利用其 AI 模型，您需要使用 Windows 上的终端。这里先跳过，看看如何安装WebUI以获得更好的体验。

第 2 步 - 安装 Ollama WebUI

运行以下 docker 命令以在本地计算机上部署 llama-webui docker 容器。如果您的计算机上有 Ollama，请使用以下命令：

要连接到另一台服务器上的 Ollama，请将 OLLAMA_BASE_URL 更改为服务器的 URL。因此，如果 Ollama 在不同的服务器上，请使用以下命令：

第 3 步 - 登录打开 WebUI

安装完成后，您可以通过http://localhost:3000访问Open WebUI。第一次您需要点击“注册”进行注册。

注册后，您将被引导至 ollama-webui 的主页。

运行以下命令:

New-NetFirewallRule -DisplayName "Allow Port 3000" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 3000

第 4 步 - 从 Ollama.com 提取模型

点击右上角设置图标，打开设置窗口，如下图，输入型号标签（如llama2:7b, gemma:2b），点击右侧下载按钮，等待型号待下载。

第 5 步 - 选择型号并享受 AI 聊天

如下图，我们已经下载了gemma:2b和llama2:7b模型，选择gemma:2b。

输入提示词“What is the future of AI?”并按 Enter 发送消息。

ollama serve         #启动ollama  
ollama create        #从模型文件创建模型  
ollama show          #显示模型信息  
ollama run           #运行模型  
ollama pull          #从注册表中拉取模型  
ollama push          #将模型推送到注册表  
ollama list          #列出模型  
ollama cp            #复制模型  
ollama rm            #删除模型  
ollama help          #获取有关任何命令的帮助信息

echo $env:OLLAMA_GPU_LAYER    #查看环境变量是否生效（windows）
nvidia-smi -L                 #查看GPU设备的id
nvidia-smi                    #查看cuda版本的ollama占用
ollama ps                      #在推理时使用Ollama ps 即可查看负载情况