2 安装Ollama
2.1 下载Ollama
登录Ollama官网，下载Ollama安装包。
GitHub: https://github.com/ollama/ollama?tab=readme-ov-file
2.2 安装Ollama
在Windows 上安装Ollama 非常简单。这里不再赘述，直接双击运行安装文件即可。
打开终端，输入“ollam”，如果出现以下界面则说明安装成功。
消息：
Windows 安装默认不支持更改程序安装目录。
默认安装目录：C:\\Users\\用户名\\AppData\\Local\\Programs\\Ollama
默认安装模型目录：C:\\Users\\用户名\\ .ollama
默认配置文件目录：C:\\Users\\用户名\\AppData\\Local\\Ollama
2.3 配置Ollama的模型路径
Ollama 的模型默认位于C 盘用户文件夹下的.ollama/models 文件夹中，因此您可以配置环境变量OLLAMA_MODELS 并将其设置为指定路径。
2.4 下载llama3模型
llama3目前有两个主要模型，8B和70B，分别代表80亿和700亿个训练参数。
8B 型号通常在16GB 内存下运行流畅。 70B型号至少需要64GB内存，最好配备CPU。
我这次安装的型号是8B型号。
打开终端并输入以下命令： ollama run llama3 默认安装8B 模型。 安装成功后，还可以使用ollam a run llama3:8b指定对应的型号。
当我提出问题时，模特很有礼貌地回答。
至此，llama3本地部署完成。
注1：
如果需要在无网环境下部署，可以将下载的Ollama安装包复制安装到该环境中，并将下载的模型复制到对应路径，以便在无网环境下使用。
笔记2：
llama3 对中文的支持不多，所以如果需要中文，可以使用GitHub 上开源的llama3 中文调整模型。
https://github.com/LlamaFamily/Llama-中文
3orama+OpenWebUI
之前部署的llama3是通过命令行交互，体验不好。安装OpenWebUI 允许您使用Web 界面进行交互。我们将使用docker 来部署OpenWebUI。
3.1 安装Docker
3.1.1 下载Docker
Docker 下载https://docs.docker.com/desktop/install/windows-install/
3.1.2 启动微软Hyper-V
打开“控制面板- 程序- 打开或关闭Windows 功能”。
重启电脑即可安装成功
Windows 工具确认Hyper-V 已成功安装。
消息：
如果没有Hyper-V 选项，可以使用以下命令安装它：
推入\’%~dp0\’
dir /b %SystemRoot%\\servicing\\Packages\\*Hyper-V*.mum hv.txt
for /f %%i in (\’findstr /i .hv.txt 2^nul\’) do dism /online /norestart /add-package:\’%SystemRoot%\\servicing\\Packages\\%%i\’
删除hv.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V -All /LimitAccess /ALL
暂停
在记事本中输入上述代码并将其命名为Hyper-V.bat。
然后以管理员身份运行。
您将看到类似于以下内容的命令行
3.1.3 安装Docker
打开后会是这样的：通常你不需要使用这个，只需使用命令行即可。
3.1.4 切换国内镜像源
{
‘注册表镜像’: [
\’https://82m9ar63.mirror.aliyuncs.com\’,
\’http://hub-mirror.c.163.com\’,
“https://docker.mirrors.ustc.edu.cn”
],
\’建设者\’: {
\’gc\’: {
\’defaultKeepStorage\’: \’20GB\’,
\’启用\’: 真
}
},
\’实验\’: 错误，
\’功能\’: {
\’buildkit\’: 正确
}
}
3.2 安装OpenWebUI
GitHub地址
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart 始终ghcr.io/open-webui/open -webui:main
docker run -d -p 3000:8080 –add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data –name open-webui –restart 始终ghcr.io/open-webui/open -webui:main
浏览器输入http://localhost:3000/
消息：
请在注册时输入您的电子邮件地址（例如admin@111.com）。
3.3 web访问llama3
注册并登录后，您将看到可以直接选择之前部署的llama3:8b模型并通过对话框测试其功能。
消息：
llama3 必须在后台运行。奥拉姆跑llama3:8b
3.4 离线部署
首先，安装Docker并保存网上下载的Docker镜像。
3.在离线机器上挂载镜像
dockerload -i open-webui.tar
4. 使用第3.2 章中的命令启动容器。
#【AI】Ollama+OpenWebUI+llama3本地部署保姆级教程，无需联网即可使用AI大模型。相关内容来源网络仅供参考。相关信息请参见官方公告。
原创文章，作者：CSDN，如若转载，请注明出处：https://www.sudun.com/ask/93898.html
