前言

上一篇文章手把手教你实现一个Web版AI对话功能，实现了通过开通大模型服务，获取API KEY，调用第三方大模型的方法。这种调用方式如果用于商用的话，可能调用成本比较高。有没有降低调用成本的方法? 当然有，就是在本地部署大模型服务。没实践之前，我以为部署部署大模型对机器硬件配置要求会很高，个人开发者玩不起；另外部署过程会很繁琐，差点自己劝退自己。好在我的好奇心胜过了怕麻烦，最终实现了在本地部署大模型服务，并通过可视化的页面与大模型进行交互。现在我给大家分享一下实现过程。

大模型部署工具Ollama简介

Ollama是一个操作极为简单的大模型部署工具。利用 Ollama 可以快捷地体验一些比较流行的开源大模型。先下载并安装Ollama。笔者的电脑是windows系统，所以下载的是windows版本的安装包。

双击下载的安装文件OllamaSetup.exe，安装完毕后软件会自动启动, 通过msconfig查询启动任务可知，默认开机时也会启动。

安装ollama 之后，我们看一下ollama常用的交互命令。

Ollama支持的模型可在此页面搜索查看，本文以qwen模型为例进行演示。qwen模型根据模型参数不同，又划分为6个小类。参数越大，运行时对硬件性能要求越高。鉴于个人电脑一般硬件配置不高，所以这里选择0.5B参数的qwen模型。

启动PowerShell，输入命令

ollama run qwen:0.5b

软件会自动下载模型, 默认情况下模型会被下载到路径C:\Users\Administrator\.ollama\models\blobs下。下载的时候，如果遇到manifests文件下载失败，可以在浏览器中输入提示下载失败的manifests文件地址，新建一个txt文件，命名为模型参数.txt(比如qwen:0.5b的话就是0.5b.txt)，将显示的内容复制到新建文件中，放置在C:\Users\Administrator\.ollama\models\manifests目录下。然后再次运行上面的命令，就能正常下载。模型下载完成之后，控制台会有success的提示，模型运行之后，会默认进入到交互状态，按下Ctrl + D可以退出交互，但此时模型只是退出终端，仍旧可以通过 Api 接口交互。终端交互如下图所示:

网页端交互

除了支持终端交互外，Ollama github官网还提供了可以通过Web和桌面端调用的方式。

这里以Chatbot UI为例，演示一下效果。

第一步 克隆项目到本地

git clone https://github.com/ollama/ollama.git
cd chatbot-ollama

第二步 安装项目依赖

pnpm install

第三步 运行项目

pnpm run dev

启动稍微有点慢, 看到终端输出两条模块编译完的提示语之后，就可以:3000进行访问

电脑上安装的模型会被自动扫描出来，并显示在模型列表中

在下方的输入框输入你的问题，就能和大模型进行对话了

其它的UI项目，大家感兴趣的话也可以自己探索学习。 至此，我们在本地就实现了一个类似ChatGPT的AI对话功能。

最后

是不是在本地部署一个大模型，没有你想象的那么难。如果你感觉难，那一定是在网上搜索资料的时候，选择了较为复杂的方法。搜索资料时，建议多换几个搜索关键字进行查找，有可能会有意外收获，寻找到最佳实现目标的路径。当然要做到这一点，你得对要搜索的领域，有一定的了解，不然你都不知道该怎么描述问题，就算搜出来答案，你也看不懂，不会对比与择优。从这个角度来讲，搜索问题也是有门槛的。唯有不断的学习与实践，才能跨越这个门槛。好了，本期的分享就到这里，希望你看完文章之后能有所收获。