在 Ubuntu 24.04 上部署 Ollama + DeepSeek，可以构建一个安全、可控的本地 AI 知识库系统，适用于企业文档管理、个人学习助手等场景。本教程将详细介绍安装配置步骤，帮助用户快速搭建属于自己的 AI 知识库，实现高效信息检索与智能交互。

一、Ollama 下载与部署

Ollama 是一个开源项目，可以使用官网推荐的脚本方式安装，也可以直接访问 github 下载 release 包后进行手动安装。我这里选择手动安装ollama-linux-amd64.tgz

1. 自动安装

curl -fsSL https://ollama.com/install.sh | sh

2. 手动安装

#最新版本在github上查看
wget https://github.com/ollama/ollama/releases/download/v0.6.3/ollama-linux-amd64.tgz
#可以使用以下命令进行解压缩并拷贝到系统目录中：
sudo tar -C /usr -zxvf ollama-linux-amd64.tgz
#这样就直接部署完成了
ollama -v
#显示 ollama version is 0.6.3 查看安装版本进行验证。

3. 创建 Ollama 用户及系统服务

出于安全性、隔离性和系统管理的考虑，需要创建 ollama 用户，执行以下命令：

# 新增用户
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 修改用户信息
sudo usermod -a -G ollama (whoami)
创建系统服务 service 文件：

# 编辑文件
sudo vi /etc/systemd/system/ollama.service
# 文件内容
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

4. 配置重载及开机自启

# 重载配置
sudo systemctl daemon-reload
# 启动服务
sudo systemctl start ollama.service
# 查看服务状态
sudo systemctl status ollama.service
# 设置服务开机自启动
sudo systemctl enable ollama.service

二、Huggingface模型下载

Huggingface官网下载（科学上网）

1. ollama因为网络不稳定的原因，所以在这里没有ollama pull XXX模型，在这里根据自身显卡规格选择想要运行的模型，用这两个模型作为参考：

• unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF

• Qwen/QwQ-32B-GGUF

下载并上传到服务器/data/models/XXX模型目录下

#参数解析
DeepSeek：DeepSeek 发布的模型文件
R1：深度思考模型
Distill：模型蒸馏
Qwen：与阿里巴巴推出的通义千问系列模型相关
32B：32 Billion，即 320 亿参数的版本
Q4：4-bit 量化
K：量化分组，是量化算法中的一种优化技术
M：中等量化粒度
gguf：GPT-Generated Unified Format，是一种专为大型模型设计的二进制文件存储格式

三、Ollama手动加载模型运行

把DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf及qwq-32b-q4_k_m.gguf两个模型文件放到对应的deepseek及qwq目录下。

1. 在DeepSeek模型文件同级目录下创建文件ollama-deepseek并写入以下内容：

FROM ./DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf

#然后在模型文件目录执行以下命令导入模型文件：
ollama create DeepSeek-R1-Distill-Qwen-32B-GGUF -f ./ollama-deepseek

2. 在Qwq模型文件同级目录下创建文件ollama-qwq并写入以下内容：

FROM ./qwq-32b-q4_k_m.gguf

#然后在模型文件目录执行以下命令导入模型文件：
ollama create QwQ-32B-GGUF -f ./ollama-qwq

四、查看模型与运行模型

可以使用命令ollama list查看已加载的模型列表：

然后通过命令ollama run <model-name>就可以运行指定的模型了

Ubuntu安装Ollama,Huggingface下载GGUF大模型手动导入Ollama最先出现在Liao's blog。

介绍Milvus向量数据库的安装过程，包括创建工作目录、下载docker-compose.yml文件、配置attu可视化面板和修改安全设置。

环境准备

• docker版本：28.0.4
• docker compose版本：v2.34.0

Milvus向量数据库简介

Milvus是一款开源的向量数据库，它专为AI应用设计，用于管理和检索海量的特征向量。Milvus的优势主要包括：

• 高效的向量检索性能：Milvus采用了多种先进的索引算法，如IVF, HNSW, ANNOY等，能够在大规模数据集上实现高效的近似最近邻搜索。
• 易于扩展和维护：Milvus支持水平和垂直扩展，能够适应不断增长的数据规模和查询需求。它的分布式架构使得数据存储和计算能力可以灵活扩展。
• 多种数据持久化选项：Milvus支持SSD, HDD等多种存储介质，并且可以与多种持久化存储解决方案集成，如MinIO, S3等。
• 丰富的数据接口：Milvus提供了Python, Java, RESTful等多种语言的SDK，方便开发者在不同的应用场景中使用。
• 强大的可扩展性和兼容性：支持各种大小和类型的向量数据，可以与现有的数据处理和机器学习工作流程无缝集成。
• 容器化和云原生支持：支持Docker和Kubernetes，方便在云环境中部署和管理。
• 开源社区支持：作为一个开源项目，Milvus拥有活跃的社区，不断有新的功能和改进被加入。

Milvus适用于各种需要高效向量检索的应用场景，如推荐系统、图像检索、自然语言处理等。由于其高效、易用和可扩展的特性，Milvus在AI应用开发中越来越受欢迎。

安装Milvus

1. 创建工作目录（自定义）

# 切换到root目录
cd /root
# 新建一个名为milvus的目录用于存放数据 目录名称可以自定义
mkdir milvus
# 进入到新建的目录
cd milvus

2. 下载并编辑docker-compose.yml

Github查看最新版本，选择带有GPU的yml配置文件下载（nvidia显卡）。也可以借鉴官网指南

3. 下载milvus.yml文件

该文件是milvus的配置文件，容器中内置，但如果要修改配置，需要单独下载，这里为了做访问控制，就需要修改配置。

# 注意改成自己对应的milvus版本号
wget https://raw.githubusercontent.com/milvus-io/milvus/v2.5.7/configs/milvus.yaml

下载好后，确保该文件位于milvus工作目录下，然后编辑该文件，找到其中的common > security > authorizationEnabled并将其设置为true。

3. 下载milvus-standalone-docker-compose-gpu.yml文件，在其中添加attu可视化面板的容器。并修改docker-compose.yml做资源映射

version: '3.5'
services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.18
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      - {DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd
    command: etcd -advertise-client-urls=http://etcd:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
    healthcheck:
      test: ["CMD", "etcdctl", "endpoint", "health"]
      interval: 30s
      timeout: 20s
      retries: 3

  minio:
    container_name: milvus-minio
    image: minio/minio:RELEASE.2023-03-20T20-16-18Z
    environment:
      MINIO_ACCESS_KEY: minioadmin
      MINIO_SECRET_KEY: minioadmin
    ports:
      - "9001:9001"
      - "9000:9000"
    volumes:
      -{DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.5.7-gpu
    command: ["milvus", "run", "standalone"]
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
    volumes:
      - {DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus
      # 新增下面这一行来实现配置文件的映射
      -{DOCKER_VOLUME_DIRECTORY:-.}/milvus.yaml:/milvus/configs/milvus.yaml
    ports:
      - "19530:19530"
      - "9091:9091"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: ["gpu"]
              device_ids: ["0"]
    depends_on:
      - "etcd"
      - "minio"

# 在原docker-compose文件的这个位置添加下面这个attu容器，注意版本号和行前空格。
  attu:
    container_name: attu
    image: zilliz/attu:v2.5.6
    environment:
      MILVUS_URL: milvus-standalone:19530
    ports:
      - "8000:3000"  # 外部端口8000可以自定义
    depends_on:
      - "standalone"

networks:
  default:
    name: milvus

启动Mlivus

# 安装目录下运行命令
# 拉取镜像
docker-compose pull
# 启动容器
docker-compose up -d
# 查看启动状态（健康状态）
docker-compose ps -a
# 停止容器
docker-compose down

放开端口：连接数据库需要放开19530端口，这是milvus的默认端口，可在docker-compose.yml中修改。访问可视化面板放开8000端口（刚才自己设置的）做反向代理的话可以不用放开此端口。

验证效果

访问可视化面板并修改密码：http://ip:8000

默认账号：root
默认密码：Milvus

Docker compose安装配置向量数据库Milvus，配置可视化Attu最先出现在Liao's blog。

在经历无数次重装系统以及网上教程参差不齐的踩坑之路之后，终于找到了行之有效的方法。

一、硬件环境

二、软件环境

2.1内核升级

2.1.1 在进行内核升级之前，建议更新系统中的所有软件包，以确保兼容性：

sudo apt update
sudo apt upgrade -y

2.1.2 下载内核包 原装6.11内核版本必须升级到6.13版本以上，gcc版本升级到14

• 下载地址：
• kernel.ubuntu.com，需要科学上网。

• 夸克网盘：rmuW

1. linux-headers-6.13.8-061308_6.13.8-061308.202503222044_all.deb
2. linux-headers-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
3. linux-image-unsigned-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
4. linux-modules-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb

2.1.3 安装内核包

sudo dpkg -i linux-headers-6.13.8-061308_6.13.8-061308.202503222044_all.deb
sudo dpkg -i linux-headers-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
sudo dpkg -i linux-modules-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
sudo dpkg -i linux-image-unsigned-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb


#安装过程中，如果遇到依赖问题，可以运行以下命令进行修复
sudo apt --fix-broken install

#更新Grub并重启系统,安装内核后，需要更新Grub引导配置，以确保新内核能够被引导。执行以下命令
sudo update-grub
#完成Grub更新后，重启系统以加载新内核
sudo reboot

#验证内核升级
uname -r
#6.13.8-061308-generic

2.2 gcc升级14.2

2.2.1 检查当前GCC版本

gcc --version

2.2.2 使用APT工具自动安装

Ubuntu的APT包管理工具可以方便地安装GCC，但默认安装的可能是最新版本。要安装特定版本，可以使用以下命令：

sudo apt update
sudo apt install gcc-<version> g++-<version>

#例如，要安装GCC 14.2.0版本，可以输入：
sudo apt install gcc-14 g++-14

三、安装NVIDIA驱动

执行安装前准备工作。当前正在运行的内核的内核头文件和开发包可以通过以下方式安装：

apt install linux-headers-$(uname -r)

3.1 下载 NVIDIA 驱动程序：

wget https://developer.download.nvidia.com/compute/nvidia-driver/version/local_installers/nvidia-driver-local-repo-distro-version_arch_ext.deb
#根据系统版本及驱动版，替换相应参数，即真实地址：
https://developer.download.nvidia.com/compute/nvidia-driver/570.124.06/local_installers/nvidia-driver-local-repo-ubuntu2404-570.124.06_1.0-1_amd64.deb
#NVIDIA 驱动程序版本 $version

3.2 安装Nvidia驱动：

dpkg -i nvidia-driver-local-repo-ubuntu2404-570.124.06_1.0-1_amd64.deb
apt update
注册临时公有 GPG 密钥：
cp /var/nvidia-driver-local-repo-ubuntu2404-570.124.06/nvidia-driver-*-keyring.gpg /usr/share/keyrings/

3.3 Network Repository 安装

安装新的 cuda-keyring 软件包：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
apt update

3.4 启动驱动程序安装

# Open Kernel Modules
apt install nvidia-open
# Proprietary Kernel Modules
apt install cuda-drivers
# 重启系统
reboot

四、验证效果

nvidia-smi

官网参考地址：https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/index.html

Ubuntu24.04 TLS桌面版安装Nvidia显卡驱动最先出现在Liao's blog。

NPS 是一款轻量级、功能强大的内网穿透代理服务器。支持 tcp、udp 流量转发，支持内网 http 代理、内网 socks5 代理，同时支持 snappy 压缩、站点保护、加密传输、多路复用、header 修改等。支持 web 图形化管理，集成多用户模式。管理系统比 FRP 方便很多，更容易上手。

二、配置要求

• 一台拥有公网 IP 的服务器。
• 开放端口例如：(8080,8024,80,443）等可以不是这些端口，nps可以配置任意端口，实现与其它服务共存。

三、相关文档

• NPS 配置文档：https://ehang-io.github.io/nps/#/
• NPS 安装包：https://github.com/ehang-io/nps/releases
• NPS 源码：https://github.com/ehang-io/nps

四、环境说明

• 服务器端是我的Ubuntu(arm)云服务器；
• 客户端是本地N1盒子Openwrt系统的nps插件（无需安装客户端）。

五、演示安装

1. 服务端

• Docker拉取Nps镜像

#拉取nps镜像
docker pull ffdfgdfg/nps
#创建nps配置文件目录
mkdir -p /root/nps/conf

• github下载配置文件，将nps-master下的conf文件拷贝至服务器上的/root/nps/conf目录下

• 修改nps.conf配置

#编辑nps.conf
vim /root/nps/conf/nps.conf

#nps.conf
appname = nps
runmode = dev

http_proxy_ip=0.0.0.0
http_proxy_port=19000
https_proxy_port=19001
https_just_proxy=true

https_default_cert_file=conf/server.pem
https_default_key_file=conf/server.key

bridge_type=tcp
bridge_port=19002
bridge_ip=0.0.0.0

public_vkey=123

log_level=7

web_host=a.o.com
web_username=admin
web_password=123
web_port = 19003
web_ip=0.0.0.0
web_base_url=
web_open_ssl=false
web_cert_file=conf/server.pem
web_key_file=conf/server.key
auth_crypt_key =1234567887654321
allow_user_login=false
allow_user_register=false
allow_user_change_username=false
allow_flow_limit=false
allow_rate_limit=false
allow_tunnel_num_limit=false
allow_local_proxy=false
allow_connection_num_limit=false
allow_multi_ip=false
system_info_display=false
http_cache=false
http_cache_length=100
http_add_origin_header=false[object Object]

• docker启动nps，注意防火墙是否开放相关端口

#启动nps，端口开放19000-19010
docker run -d -p 19000-19010:19000-19010 -v /root/nps/conf:/conf --name=nps --restart=always ffdfgdfg/nps

• 访问Nps后台：http://IP:19003 默认账号密码是配置文件中的admin/123(可自行更改)。

• 创建nps客户端及tcp隧道

创建客户端，点击客户端详情查看 -server/-key 两个参数。

2. 客户端

• 进入内网OpenWrt，打开nps插件，输入server及key参数保存，在服务端即可发现客户端已连接。

3. 配置转发

• 查看客户端状态

此处可以看到一个客户端ID为6，连接状态为在线。

• 添加tcp隧道转发

如下配置表示将服务端的1XXX6端口转发到局域网内192.168.50.1/3的80/5244等端口。其他的UDP、SOCKS、HTTP也是类似的配置不再赘述。

4. 总结

NPS及OpenWrt的配置安装都很便捷，如果你有一台自己的VPS云服务器，可以尝试一下，将你的家庭本地电脑映射到外网服务器。访问公网IP+对应1XXXX端口即可访问到内网对应服务。

5. 参考文章

不同的安装环境可以看看其他博文：

超详细openwrt内网穿透-nps小白教程：https://vpsxb.net/419/
软路由openwrt之nps内网穿透插件服务：https://www.vjsun.com/424.html
nps实现内网穿透，电脑免费变云服务器：https://tangly1024.com/article/nps-centos-nat-traversal
N1盒子op系统nps内网穿透对接腾讯云傻妞：https://blog.csdn.net/hebine7/article/details/122373365
docker安装nps实现内网穿透：https://5616760.com/docker/nps/2021/08/09/docker-nps.html

Docker安装nps实现[OpenWrt]内网穿透最先出现在Liao's blog。