- 作者:老汪软件技巧
- 发表时间:2024-10-06 17:01
- 浏览量:
在开始之前,先简单介绍一下 Ollama 是什么。可以这样理解,Ollama 和模型的关系就像是 Docker 和镜像的关系。Ollama 是一个管理和运行 AI 模型的平台,它帮助您更方便地部署和管理各种 AI 模型。而模型则是 Ollama 中具体的内容,就像 Docker 中的镜像一样。
在这篇文章中,我将分享如何在 Mac 上进行 Ollama 的本地部署,包括 Ollama 的下载⬇️、环境变量的配置,以及解决在 .bash_profile 中设置 OLLAMA_HOST 但不生效的问题。准备好了吗?让我们一起踏上这段充满曲折(但也充满乐趣)的旅程吧!
️ Ollama 的下载与安装
首先,您可以通过 Ollama 官网 或 GitHub 仓库来下载最新的版本。安装过程比较简单,但如果网络不好,下载过程会非常慢。
下载完成后,您可能会问:“这货到底装好了没?” 别急,直接打开可执行文件即可。
如果一切顺利,打开终端,执行 ollama -h 能看到说明,就大功告成。
下载和运行模型使用 ollama pull 下载模型
一旦 Ollama 安装完成,您可以通过 ollama pull 命令来下载所需的模型。例如,下载一个名为 gemma2:9b 的模型,您只需在终端中输入以下命令:
这个命令会从 Ollama 的服务器中拉取该模型并下载到本地。
使用 ollama run 运行模型
下载完成后,您可以使用 ollama run 命令来运行模型。例如,运行我们刚刚下载的 gemma2:9b 模型,您可以输入:
这个命令会启动模型并等待您的输入,就像和一个 AI 伙伴聊天一样,方便又有趣。
直接按建议运行
在 ollama 的官网,找到一个模型,例如 gemma2:9b
在没有 pull 的情况下直接 ollama run gemma2:9b,会自动 pull 后再运行
⚙️ 配置环境变量
Ollama 本地部署需要设置一些环境变量,其中最重要的就是 OLLAMA_HOST,这个变量用于指定 Ollama 服务运行的主机地址。
Windows 下配置用户环境变量
在 Windows 系统中,您可以按照以下步骤来配置环境变量:
打开系统属性
进入环境变量设置
添加用户变量
重启命令提示符
macOS 下配置用户环境变量
在 macOS 中,您可以通过编辑 .bash_profile 文件来配置环境变量。步骤如下:
打开终端,输入以下命令来编辑 vi .bash_profile 文件:
在文件末尾添加以下内容:
export OLLAMA_HOST=0.0.0.0:11434
export OLLAMA_ORIGINS=*
保存并退出(按 Esc,然后输入 :wq 并按回车)。在任务栏中找到羊驼的标记,退出后重新打开软件。
注意:有用户反馈,即使按照上述步骤配置,环境变量仍然可能没有生效。官方尚未完全解决该问题。
临时方案:使用 launchctl
如果修改 .bash_profile 后环境变量仍未生效,您可以使用一个临时方案。在终端中输入以下命令来临时设置环境变量:
launchctl setenv OLLAMA_HOST 0.0.0.0:11434
launchctl setenv OLLAMA_ORIGINS *
然后,在任务栏中找到羊驼的标记,退出后重新打开软件。这些环境变量将在本次会话中生效,但不会永久保存,在系统注销关机后会失效,建议先保存这两句,以便下次再用
小结
在本地部署 Ollama 时,正确配置环境变量是非常重要的一步。尤其是在 macOS 中,无法生效会让自己摸不着头脑,希望这篇文章能够帮您解开心中的疑惑,让 Ollama 在您的 Mac 上顺利跑起来♂️。如果您在配置过程中遇到什么奇葩的问题,或者有其他心得,欢迎在评论区吐槽或者分享️!
部署的路上虽有波折,但请记住,折腾也是一种乐趣。祝大家愉快折腾,快乐部署!
其它