Ollama+CodeGeeX+VScode的本地LLM部署方案

前言

​ Windows下实现全离线状态部署LLM用以辅助代码编写

环境需求

  • Window10及以上

  • Ollama(版本>0.2)

  • VScode

  • CodeGeeX插件

战前准备

在进行离线部署前，你需要首先下载好需要的工具及软件

Ollama下载及安装

​ 进入官方网站下载安装包跟随默认安装即可，给出下载直链https://ollama.com/download/OllamaSetup.exe

​ 双击exe文件跟随默认设置安装即可

​ 先保留安装包不要删除

大语言模型下载

​ LLM的选择有很多，根据自身硬件实力选择即可，参考我的轻薄本，使用的是codegeex4:9b-all-q2_K这么一款模型

​ 在安装完成Ollama之后，在命令行中执行ollama run codegeex4:9b-all-q2_K即可开始下载，默认下载模型的位置在C:\Users\你的用户名\.ollama\models目录下，当然，你可以通过OLLAMA_MODELS环境变量来修改模型保存位置

​ 如果你不想使用这一款大模型，可以在Ollama官网中自行挑选其他模型

image-20241204213121200

image-20241204213157571

image-20241204213331170

​ 将下载好的模型复制(或剪切)出来备用

VScode下载

​ 下载链接https://code.visualstudio.com/docs/?dv=win64user

CodeGeeX插件下载

​ 在在线状态下，我们可以直接在扩展商店中搜索CodeGeeX即可一键安装

​ 对于离线状态，我们就只能从外部下载好插件后进行进行离线安装

​ 通过https://marketplace.visualstudio.com/items?itemName=aminer.codegeex进入拓展商店下载拓展包

image-20241204211437283

离线部署

​ 接下来的所有操作均可在断网环境下运行

​ 首先是安装好Ollama

​ 接着将之前下载好的大模型文件放入C:\Users\你的用户名\.ollama\model目录中，使用ollama list命令检验是否读取到了模型文件

​ 同时设置好环境变量setx OLLAMA "*" /M（需要管理员权限）

​ 然后安装VScode

​ 再执行code --install-extension <CodeGeeX插件的路径>命令来安装插件

​ 再接下来进行配置

image-20241204222742783

​

image-20241204222946147

​ 如图，键入http://127.0.0.1:11434/v1/chat/completions和codegeex4:9b-all-q2_K

​ 最后点击连接，出现连接成功标识即可

​ 至此已完成配置过程

懒人部署包

​ 配合懒人包一起食用更佳~

​ 该脚本需要以管理员权限执行

​ 此前曾使用过ollama的不建议直接运行懒人脚本，这可能会使你原先下载的模型丢失

​ 在懒人包目录下打开命令行，按顺序依次执行命令即可

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
:: 安装 ollama
OllamaSetup.exe

:: 安装 VScode
VSCodeUserSetup-x64-1.95.3.exe

:: 安装 CodeGeeX 插件
code --install-extension aminer.codegeex-2.19.0.vsix

:: 移动模型
xcopy "models\*" "%HOMEPATH%\.ollama\models" /E /I

:: 设置环境变量
setx OLLAMA_ORIGINS "*" /M
setx OLLAMA_MODELS "C:%HOMEPATH%\.ollama\models" /M

​ 最后在手动在VScode中按照上述离线部署的过程配置一下即可

​ 懒人包下载地址：https://www.alipan.com/s/cSGkaLH4Jyc

参考