Ubuntu安装Ollama,Huggingface下载GGUF大模型手动导入Ollama

在 Ubuntu 24.04 上部署 Ollama + DeepSeek，可以构建一个安全、可控的本地 AI 知识库系统，适用于企业文档管理、个人学习助手等场景。本教程将详细介绍安装配置步骤，帮助用户快速搭建属于自己的 AI 知识库，实现高效信息检索与智能交互。

一、Ollama 下载与部署

Ollama 是一个开源项目，可以使用官网推荐的脚本方式安装，也可以直接访问 github 下载 release 包后进行手动安装。我这里选择手动安装ollama-linux-amd64.tgz

1. 自动安装

curl -fsSL https://ollama.com/install.sh | sh

2. 手动安装

#最新版本在github上查看
wget https://github.com/ollama/ollama/releases/download/v0.6.3/ollama-linux-amd64.tgz
#可以使用以下命令进行解压缩并拷贝到系统目录中：
sudo tar -C /usr -zxvf ollama-linux-amd64.tgz
#这样就直接部署完成了
ollama -v
#显示 ollama version is 0.6.3 查看安装版本进行验证。

3. 创建 Ollama 用户及系统服务

出于安全性、隔离性和系统管理的考虑，需要创建 ollama 用户，执行以下命令：

# 新增用户
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 修改用户信息
sudo usermod -a -G ollama (whoami)
创建系统服务 service 文件：

# 编辑文件
sudo vi /etc/systemd/system/ollama.service
# 文件内容
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

4. 配置重载及开机自启

# 重载配置
sudo systemctl daemon-reload
# 启动服务
sudo systemctl start ollama.service
# 查看服务状态
sudo systemctl status ollama.service
# 设置服务开机自启动
sudo systemctl enable ollama.service

二、Huggingface模型下载

Huggingface官网下载（科学上网）

ollama因为网络不稳定的原因，所以在这里没有ollama pull XXX模型，在这里根据自身显卡规格选择想要运行的模型，用这两个模型作为参考：

unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF

Qwen/QwQ-32B-GGUF

下载并上传到服务器/data/models/XXX模型目录下

#参数解析
DeepSeek：DeepSeek 发布的模型文件
R1：深度思考模型
Distill：模型蒸馏
Qwen：与阿里巴巴推出的通义千问系列模型相关
32B：32 Billion，即 320 亿参数的版本
Q4：4-bit 量化
K：量化分组，是量化算法中的一种优化技术
M：中等量化粒度
gguf：GPT-Generated Unified Format，是一种专为大型模型设计的二进制文件存储格式

三、Ollama手动加载模型运行

把DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf及qwq-32b-q4_k_m.gguf两个模型文件放到对应的deepseek及qwq目录下。

1. 在DeepSeek模型文件同级目录下创建文件`ollama-deepseek`并写入以下内容：

FROM ./DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf

#然后在模型文件目录执行以下命令导入模型文件：
ollama create DeepSeek-R1-Distill-Qwen-32B-GGUF -f ./ollama-deepseek

2. 在Qwq模型文件同级目录下创建文件`ollama-qwq`并写入以下内容：

FROM ./qwq-32b-q4_k_m.gguf

#然后在模型文件目录执行以下命令导入模型文件：
ollama create QwQ-32B-GGUF -f ./ollama-qwq

四、查看模型与运行模型

可以使用命令ollama list查看已加载的模型列表：

然后通过命令ollama run <model-name>就可以运行指定的模型了

Post Views: 509