Linux归档 - Liao's blog

Ubuntu安装Ollama,Huggingface下载GGUF大模型手动导入Ollama

大白 — Tue, 01 Apr 2025 07:57:35 +0000

在 Ubuntu 24.04 上部署 Ollama + DeepSeek，可以构建一个安全、可控的本地 AI 知识库系统，适用于企业文档管理、个人学习助手等场景。本教程将详细介绍安装配置步骤，帮助用户快速搭建属于自己的 AI 知识库，实现高效信息检索与智能交互。

一、Ollama 下载与部署

Ollama 是一个开源项目，可以使用官网推荐的脚本方式安装，也可以直接访问 github 下载 release 包后进行手动安装。我这里选择手动安装ollama-linux-amd64.tgz

1. 自动安装

curl -fsSL https://ollama.com/install.sh | sh

2. 手动安装

#最新版本在github上查看
wget https://github.com/ollama/ollama/releases/download/v0.6.3/ollama-linux-amd64.tgz
#可以使用以下命令进行解压缩并拷贝到系统目录中：
sudo tar -C /usr -zxvf ollama-linux-amd64.tgz
#这样就直接部署完成了
ollama -v
#显示 ollama version is 0.6.3 查看安装版本进行验证。

3. 创建 Ollama 用户及系统服务

出于安全性、隔离性和系统管理的考虑，需要创建 ollama 用户，执行以下命令：

# 新增用户
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 修改用户信息
sudo usermod -a -G ollama  $(whoami) 创建系统服务 service 文件： # 编辑文件 sudo vi /etc/systemd/system/ollama.service # 文件内容 [Unit] Description=Ollama Service After=network-online.target [Service] ExecStart=/usr/bin/ollama serve User=ollama Group=ollama Restart=always RestartSec=3 Environment="PATH=$ PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

4. 配置重载及开机自启

# 重载配置
sudo systemctl daemon-reload
# 启动服务
sudo systemctl start ollama.service
# 查看服务状态
sudo systemctl status ollama.service
# 设置服务开机自启动
sudo systemctl enable ollama.service

二、Huggingface模型下载

Huggingface官网下载（科学上网）

ollama因为网络不稳定的原因，所以在这里没有ollama pull XXX模型，在这里根据自身显卡规格选择想要运行的模型，用这两个模型作为参考：

unsloth/DeepSeek-R1-Distill-Qwen-32B-GGUF

Qwen/QwQ-32B-GGUF

下载并上传到服务器/data/models/XXX模型目录下

#参数解析
DeepSeek：DeepSeek 发布的模型文件
R1：深度思考模型
Distill：模型蒸馏
Qwen：与阿里巴巴推出的通义千问系列模型相关
32B：32 Billion，即 320 亿参数的版本
Q4：4-bit 量化
K：量化分组，是量化算法中的一种优化技术
M：中等量化粒度
gguf：GPT-Generated Unified Format，是一种专为大型模型设计的二进制文件存储格式

三、Ollama手动加载模型运行

把DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf及qwq-32b-q4_k_m.gguf两个模型文件放到对应的deepseek及qwq目录下。

1. 在DeepSeek模型文件同级目录下创建文件`ollama-deepseek`并写入以下内容：

FROM ./DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf

#然后在模型文件目录执行以下命令导入模型文件：
ollama create DeepSeek-R1-Distill-Qwen-32B-GGUF -f ./ollama-deepseek

2. 在Qwq模型文件同级目录下创建文件`ollama-qwq`并写入以下内容：

FROM ./qwq-32b-q4_k_m.gguf

#然后在模型文件目录执行以下命令导入模型文件：
ollama create QwQ-32B-GGUF -f ./ollama-qwq

四、查看模型与运行模型

可以使用命令ollama list查看已加载的模型列表：

然后通过命令ollama run 就可以运行指定的模型了

Ubuntu安装Ollama,Huggingface下载GGUF大模型手动导入Ollama最先出现在Liao's blog。

Docker compose安装配置向量数据库Milvus，配置可视化Attu

大白 — Tue, 01 Apr 2025 06:49:19 +0000

介绍Milvus向量数据库的安装过程，包括创建工作目录、下载docker-compose.yml文件、配置attu可视化面板和修改安全设置。

环境准备

docker版本：28.0.4
docker compose版本：v2.34.0

Milvus向量数据库简介

Milvus是一款开源的向量数据库，它专为AI应用设计，用于管理和检索海量的特征向量。Milvus的优势主要包括：

高效的向量检索性能：Milvus采用了多种先进的索引算法，如IVF, HNSW, ANNOY等，能够在大规模数据集上实现高效的近似最近邻搜索。
易于扩展和维护：Milvus支持水平和垂直扩展，能够适应不断增长的数据规模和查询需求。它的分布式架构使得数据存储和计算能力可以灵活扩展。
多种数据持久化选项：Milvus支持SSD, HDD等多种存储介质，并且可以与多种持久化存储解决方案集成，如MinIO, S3等。
丰富的数据接口：Milvus提供了Python, Java, RESTful等多种语言的SDK，方便开发者在不同的应用场景中使用。
强大的可扩展性和兼容性：支持各种大小和类型的向量数据，可以与现有的数据处理和机器学习工作流程无缝集成。
容器化和云原生支持：支持Docker和Kubernetes，方便在云环境中部署和管理。
开源社区支持：作为一个开源项目，Milvus拥有活跃的社区，不断有新的功能和改进被加入。

Milvus适用于各种需要高效向量检索的应用场景，如推荐系统、图像检索、自然语言处理等。由于其高效、易用和可扩展的特性，Milvus在AI应用开发中越来越受欢迎。

安装Milvus

1. 创建工作目录（自定义）

# 切换到root目录
cd /root
# 新建一个名为milvus的目录用于存放数据 目录名称可以自定义
mkdir milvus
# 进入到新建的目录
cd milvus

2. 下载并编辑docker-compose.yml

Github查看最新版本，选择带有GPU的yml配置文件下载（nvidia显卡）。也可以借鉴官网指南

3. 下载milvus.yml文件

该文件是milvus的配置文件，容器中内置，但如果要修改配置，需要单独下载，这里为了做访问控制，就需要修改配置。

# 注意改成自己对应的milvus版本号
wget https://raw.githubusercontent.com/milvus-io/milvus/v2.5.7/configs/milvus.yaml

下载好后，确保该文件位于milvus工作目录下，然后编辑该文件，找到其中的common > security > authorizationEnabled并将其设置为true。

3. 下载milvus-standalone-docker-compose-gpu.yml文件，在其中添加attu可视化面板的容器。并修改docker-compose.yml做资源映射

version: '3.5'
services:
  etcd:
    container_name: milvus-etcd
    image: quay.io/coreos/etcd:v3.5.18
    environment:
      - ETCD_AUTO_COMPACTION_MODE=revision
      - ETCD_AUTO_COMPACTION_RETENTION=1000
      - ETCD_QUOTA_BACKEND_BYTES=4294967296
      - ETCD_SNAPSHOT_COUNT=50000
    volumes:
      -  ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/etcd:/etcd command: etcd -advertise-client-urls=http://etcd:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd healthcheck: test: ["CMD", "etcdctl", "endpoint", "health"] interval: 30s timeout: 20s retries: 3 minio: container_name: milvus-minio image: minio/minio:RELEASE.2023-03-20T20-16-18Z environment: MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin ports: - "9001:9001" - "9000:9000" volumes: -$ {DOCKER_VOLUME_DIRECTORY:-.}/volumes/minio:/minio_data
    command: minio server /minio_data --console-address ":9001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3

  standalone:
    container_name: milvus-standalone
    image: milvusdb/milvus:v2.5.7-gpu
    command: ["milvus", "run", "standalone"]
    security_opt:
    - seccomp:unconfined
    environment:
      ETCD_ENDPOINTS: etcd:2379
      MINIO_ADDRESS: minio:9000
    volumes:
      -  ${DOCKER_VOLUME_DIRECTORY:-.}/volumes/milvus:/var/lib/milvus # 新增下面这一行来实现配置文件的映射 -$ {DOCKER_VOLUME_DIRECTORY:-.}/milvus.yaml:/milvus/configs/milvus.yaml
    ports:
      - "19530:19530"
      - "9091:9091"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              capabilities: ["gpu"]
              device_ids: ["0"]
    depends_on:
      - "etcd"
      - "minio"

# 在原docker-compose文件的这个位置添加下面这个attu容器，注意版本号和行前空格。
  attu:
    container_name: attu
    image: zilliz/attu:v2.5.6
    environment:
      MILVUS_URL: milvus-standalone:19530
    ports:
      - "8000:3000"  # 外部端口8000可以自定义
    depends_on:
      - "standalone"

networks:
  default:
    name: milvus

启动Mlivus

# 安装目录下运行命令
# 拉取镜像
docker-compose pull
# 启动容器
docker-compose up -d
# 查看启动状态（健康状态）
docker-compose ps -a
# 停止容器
docker-compose down

放开端口：连接数据库需要放开19530端口，这是milvus的默认端口，可在docker-compose.yml中修改。访问可视化面板放开8000端口（刚才自己设置的）做反向代理的话可以不用放开此端口。

验证效果

访问可视化面板并修改密码：http://ip:8000

默认账号：root
默认密码：Milvus

Docker compose安装配置向量数据库Milvus，配置可视化Attu最先出现在Liao's blog。

Ubuntu24.04 TLS桌面版安装Nvidia显卡驱动

大白 — Mon, 31 Mar 2025 09:58:58 +0000

在经历无数次重装系统以及网上教程参差不齐的踩坑之路之后，终于找到了行之有效的方法。

一、硬件环境

硬件	型号
CPU	i7-14700K
显卡	七彩虹5090D ADOC 32G
内存	金士顿 128G

二、软件环境

规格	版本
系统	Ubuntu24.04 TLS 桌面版
内核版本	6.13.8-061308-generic
gcc版本	gcc 14.2.0 (Ubuntu 14.2.0-4ubuntu2~24.04)

2.1内核升级

2.1.1 在进行内核升级之前，建议更新系统中的所有软件包，以确保兼容性：

sudo apt update
sudo apt upgrade -y

2.1.2 下载内核包原装6.11内核版本必须升级到6.13版本以上，gcc版本升级到14

下载地址：
kernel.ubuntu.com，需要科学上网。
夸克网盘：rmuW

1. linux-headers-6.13.8-061308_6.13.8-061308.202503222044_all.deb
2. linux-headers-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
3. linux-image-unsigned-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
4. linux-modules-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb

2.1.3 安装内核包

sudo dpkg -i linux-headers-6.13.8-061308_6.13.8-061308.202503222044_all.deb
sudo dpkg -i linux-headers-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
sudo dpkg -i linux-modules-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb
sudo dpkg -i linux-image-unsigned-6.13.8-061308-generic_6.13.8-061308.202503222044_amd64.deb


#安装过程中，如果遇到依赖问题，可以运行以下命令进行修复
sudo apt --fix-broken install

#更新Grub并重启系统,安装内核后，需要更新Grub引导配置，以确保新内核能够被引导。执行以下命令
sudo update-grub
#完成Grub更新后，重启系统以加载新内核
sudo reboot

#验证内核升级
uname -r
#6.13.8-061308-generic

2.2 gcc升级14.2

2.2.1 检查当前GCC版本

gcc --version

2.2.2 使用APT工具自动安装

Ubuntu的APT包管理工具可以方便地安装GCC，但默认安装的可能是最新版本。要安装特定版本，可以使用以下命令：

sudo apt update
sudo apt install gcc- g++-

#例如，要安装GCC 14.2.0版本，可以输入：
sudo apt install gcc-14 g++-14

三、安装NVIDIA驱动

Distribution	$distro	$arch	$arch_ext
Ubuntu 24.04 LTS	ubuntu2404	x86_64	amd64

执行安装前准备工作。当前正在运行的内核的内核头文件和开发包可以通过以下方式安装：

apt install linux-headers-$(uname -r)

3.1 下载 NVIDIA 驱动程序：

wget https://developer.download.nvidia.com/compute/nvidia-driver/ $version/local_installers/nvidia-driver-local-repo-$ distro- $version_$ arch_ext.deb
#根据系统版本及驱动版，替换相应参数，即真实地址：
https://developer.download.nvidia.com/compute/nvidia-driver/570.124.06/local_installers/nvidia-driver-local-repo-ubuntu2404-570.124.06_1.0-1_amd64.deb
#NVIDIA 驱动程序版本 $version

3.2 安装Nvidia驱动：

dpkg -i nvidia-driver-local-repo-ubuntu2404-570.124.06_1.0-1_amd64.deb
apt update
注册临时公有 GPG 密钥：
cp /var/nvidia-driver-local-repo-ubuntu2404-570.124.06/nvidia-driver-*-keyring.gpg /usr/share/keyrings/

3.3 Network Repository 安装

安装新的 cuda-keyring 软件包：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
dpkg -i cuda-keyring_1.1-1_all.deb
apt update

3.4 启动驱动程序安装

# Open Kernel Modules
apt install nvidia-open
# Proprietary Kernel Modules
apt install cuda-drivers
# 重启系统
reboot

四、验证效果

nvidia-smi

官网参考地址：https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/index.html

Ubuntu24.04 TLS桌面版安装Nvidia显卡驱动最先出现在Liao's blog。

使用docker部署pgsql，构建容灾高可用集群

大白 — Thu, 19 Sep 2024 07:04:30 +0000

postgresql + pgpool 构建容灾高可用集群(数据同步流复制/主备自动切换)，在postgresql官网看了pgpool-II的文档，发现部署比较麻烦，为了方便快捷还是使用docker部署。

一、简介

bitnami/postgresql-repmgr是PostgreSQL HA对应的docker镜像，PostgreSQL HA 是 PostgreSQL 集群解决方案，其中包括 PostgreSQL 复制管理器，这是一个用于管理 PostgreSQL 集群上的复制和故障转移的开源工具。

bitnami/pgpool是Pgpool-II 对应的docker镜像，是 PostgreSQL 代理。它位于 PostgreSQL 服务器和它们的客户端之间，提供连接池、负载平衡、自动故障转移和复制。

二、部署环境

系统：CentOS Linux release 7.9.2009 (Core)
postgresql Version：postgresql-repmgr:14
pgpool Version：latest
Docker Version：20.10.21

1. 拉取docker镜像

稳妥起见，这里选用了postgresql 14版本，其次如果遭遇docker镜像拉取网络问题，可以参考我的这篇博文打造属于自己的Docker Hub镜像代理网站，或者在镜像前加入私有镜像站。

docker pull bitnami/postgresql-repmgr:14
docker pull bitnami/pgpool:latest

#私有镜像站eg
docker pull hub-mirror.c.163.com/bitnami/postgresql-repmgr:14
docker pull hub-mirror.c.163.com/bitnami/pgpool:latest

2. 启动pgsql数据库

创建文件夹并授权

cd /
mkdir data
cd data
mkdir repmgr1
mkdir repmgr2
chmod 777 /data/repmgr1
chmod 777 /data/repmgr2

创建docker网络

docker network create pg-network

启动数据库
为了数据持久化，我们把/bitnami/postgresql目录挂载到/data/repmgr1目录下。以下两条命令可以自行做成bash脚本启动。

#pg-0数据库启动
docker run -v /data/repmgr1:/bitnami/postgresql --detach --restart always --name pg-0 -p 30350:5432 --network pg-network --env REPMGR_PARTNER_NODES=pg-0,pg-1 --env REPMGR_NODE_NAME=pg-0 --env REPMGR_NODE_NETWORK_NAME=pg-0 --env REPMGR_PRIMARY_HOST=pg-0 --env REPMGR_PASSWORD=123456 --env POSTGRESQL_PASSWORD=123456 bitnami/postgresql-repmgr:14

#pg-1数据库启动
docker run -v /data/repmgr2:/bitnami/postgresql --detach --restart always --name pg-1 -p 30351:5432 --network pg-network --env REPMGR_PARTNER_NODES=pg-0,pg-1 --env REPMGR_NODE_NAME=pg-1 --env REPMGR_NODE_NETWORK_NAME=pg-1 --env REPMGR_PRIMARY_HOST=pg-0 --env REPMGR_PASSWORD=123456 --env POSTGRESQL_PASSWORD=123456 bitnami/postgresql-repmgr:14

查看启动状态

docker ps

3. 启动Pgpool

注意，这里的--add-host参数对应的IP是你本地的宿主机IP，请自行修改。

docker run --detach --restart always --name pgpool -p 9999:5432 \
  --env PGPOOL_BACKEND_NODES=0:pg-0:30350,1:pg-1:30351 \
  --env PGPOOL_SR_CHECK_USER=postgres \
  --env PGPOOL_SR_CHECK_PASSWORD=123456 \
  --env PGPOOL_ENABLE_LDAP=no \
  --env PGPOOL_POSTGRES_USERNAME=postgres \
  --env PGPOOL_POSTGRES_PASSWORD=123456 \
  --env PGPOOL_ADMIN_USERNAME=postgres \
  --env PGPOOL_ADMIN_PASSWORD=123456 \
  --add-host=pg-0:192.168.1.204 \
  --add-host=pg-1:192.168.1.204 \
  bitnami/pgpool:latest

启动成功后，查看pgpool日志，通过pgpool可以实现数据库的负载均衡和读写分离。

4. 测试验证

navicat连接pgpool，创建user表并插入数据，看看pg-0及pg-1是否同步插入。

pgpool创建user表，插入数据

验证：pg-0、pg-1同步插入

以上方法非常简单，最后程序直接访问9999端口即可实现读写分离。

缺点：
只能再一个宿主机上执行，不能跨主机。Pgpool和Pgsql有更多的高可用方法，后续还可以深入，多服务器部署及新增组件等。

参考地址：
官网WIKI
postgresql + pgpool 构建容灾高可用集群(数据同步流复制/主备自动切换)
pgpool-II 4.3 中文手册
 Postgresql通过docker进行高可用部署

 使用docker部署pg集群（postgresql+postgis+pgrouting+pgpool）

使用docker部署pgsql，构建容灾高可用集群最先出现在Liao's blog。

Docker仓库镜像代理打造属于自己的Docker Hub

大白 — Tue, 16 Jul 2024 07:22:31 +0000

本博文基于原博CMLiussss Blog编写，旨在中转对 Docker 官方镜像仓库，帮助国内用户访问被墙的Docker hub，只建议私人或公司内部使用，不推荐使用该项目搭建公共服务。使用你自己的域名搭建公共服务有可能会遭受污染、反诈或被墙，推荐小规模自用即可。

环境准备

GitHub账号
Cloudflare账号
一个属于自己的域名

一、Docker代理工具介绍

本项目是一个基于 Cloudflare Workers 的 Docker 镜像代理工具，旨在中转对 Docker 官方镜像仓库的请求，解决访问限制并加速访问。

为什么需要这个工具？

由于神秘原因，国内用户逐渐无法访问Docker Hub仓库。这对于我们开发者来说是个不小的难题。

二、GitHub Fork本项目

点击 Github项目中的Fork到本地自己的仓库即可。

三、登录Cloudflare创建Pages自动化

登录 cloudflare ，点击Works和Pages并创建，选择Pages再连接到刚才我们Fork到Github本地仓库的项目

四、开始部署设置

部署完成后可以进入Pages里的自动化项目，给它设置一个自定义域名。假如我有一个顶级域名：laobaiblog.top，那我可以再自定义域名中配置一个：docker.laobaiblog.top作为我的Docker代理域名。

选择DNS解析，在域名解析中添加上Cloudflare生成给你的CNAME记录。

在你自己的域名解析管理中，添加CNAME记录，填入主机记录及记录值参数，等待5分钟后检查DNS记录。完成后访问代理域名会发现自动跳转为官网Docker Hub，且无需翻墙就说明已经实现了docker镜像代理。

地址栏输入你的自定义域名搜索镜像查询，毫无压力。

五、配置验证

在国内服务器上拉取镜像发现无法拉取，一直显示等待连接，各个大厂的镜像源都无法使用或仅内部使用。

docker pull nginx

拉取镜像时加上自己代理的域名。拉取镜像仓库的命令 docker pull docker.laobaiblog.top/nginx 即可拉取镜像。

docker pull docker.laobaiblog.top/nginx

你甚至可以将你的域名配置在daemon.json中，即可直接使用docker pull nginx无需再加上域名的前缀。在这里也提供了一些大佬无私分享的代理域名。

#编辑daemon.json
vim /etc/docker/daemon.json
:wq

#重启daemon配置
systemctl daemon-reload

#重启docker
systemctl restart docker.service

DockerHub 镜像仓库	镜像地址
bestcfipas镜像服务	https://docker.registry.cyou
	https://docker-cf.registry.cyou
zero_free镜像服务	https://docker.jsdelivr.fyi
	https://dockercf.jsdelivr.fyi
	https://dockertest.jsdelivr.fyi
docker proxy	https://dockerpull.com
	https://dockerproxy.cn
Docker镜像加速站	https://hub.uuuadc.top
	https://docker.1panel.live
	https://hub.rat.dev

Centos7安装Docker并更改默认存储文件位置

CentOS7离线安装docker-ce

Docker仓库镜像代理打造属于自己的Docker Hub最先出现在Liao's blog。

CentOS7 Openssh离线升级至9.8p1，OpenSSL升级至1.1.1w

大白 — Tue, 09 Jul 2024 07:02:40 +0000

Openssh经过一段时间的等保测试，看来又得重新升级。略微删减了一下脚本，在离线环境中使用。

Openssh离线安装升级

蓝奏云下载 (离线安装包也已经整理好相关脚本依赖，防止CSDN白嫖党，解压密码：laobai)

文中常用命令：

#查看Linux信息
[root@asdasd ~] uname -a
Linux ZKHY 3.10.0-1160.62.1.el7.x86_64 1 SMP Tue Apr 5 16:57:59 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux
#查看centos版本
[root@asdasd ~] cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)
#查看ssh版本
[root@adasd ~] ssh -V
OpenSSH_7.4p1, OpenSSL 1.0.2k-fips  26 Jan 2017
#创建脚本安装目录
[root@asdasd ~]mkdir -p /root/OpenSSH

1. 将脚本解压放到`/root/OpenSSH`下。

2. 授权脚本运行升级Openssh及Openssl,静待升级即可。

#进入安装目录
[root@asdasd ~]# cd /root/OpenSSH/
[root@asdasd OpenSSH]# ll
total 13024
-rw-r--r-- 1 root root 1910393 Jul  9 14:38 openssh-9.8p1.tar.gz
-rw-r--r-- 1 root root 9893384 Jul  9 14:38 openssl-1.1.1w.tar.gz
drwxr-xr-x 3 root root    4096 Jul  9 14:38 packages
-rw-r--r-- 1 root root    5590 Jul  9 14:38 UpdateOpenSSH.sh
-rw-r--r-- 1 root root 1512791 Jul  9 14:38 zlib-1.3.1.tar.gz
#授权脚本执行权限
[root@asdasd OpenSSH]# chmod a+x UpdateOpenSSH.sh
#运行升级脚本
[root@asdasd OpenSSH]# ./UpdateOpenSSH.sh

升级效果

#输入命令查看升级效果
ssh -V
OpenSSH_9.8p1, OpenSSL 1.1.1w  11 Sep 2023

CentOS7 Openssh离线升级至9.8p1，OpenSSL升级至1.1.1w最先出现在Liao's blog。

使用Nginx转发代理ChatGpt接口，Java调用实现多轮对话

大白 — Mon, 15 Jan 2024 07:50:02 +0000

一、理论概述

ChatGpt接口目前只能在国外互联网环境中使用，国内想要使用相关服务的话可以寻求代理，在这里使用的是一台国外服务器安装Nginx服务进行相关代理。

二、环境要求

一台拥有公网IP的国外服务器
一个域名及免费ssl证书（可在腾讯云免费申请ssl证书）
一个ChatGpt账号及相关的APIkey

以上就是所有需要用到的环境，请注意，如要使用接口还需要充值API额度。除此之外还需要将你的域名解析到公网IP上。完成准备工作后进行以下操作。

三、Nginx转发

在服务器中安装nginx，这里使用的是docker服务，根据以往博文中可自行安装Docker服务。

#服务器中新建一个nginx目录，下级目录新建conf.d、logs、ssl三个目录
mkdir -p nginx/conf.d
mkdir -p nginx/logs
mkdir -p nginx/ssl

#在nginx目录中新建start.sh脚本
vim start.sh

docker stop nginx
docker rm nginx
docker run  -p 80:80  -p 443:443 --name nginx --net=host  --restart=always  --privileged=true \
    -v `pwd`/conf.d/:/etc/nginx/conf.d \
    -v `pwd`/logs/:/var/log/nginx  \
    -v `pwd`/ssl/:/var/ssl \
    -e TZ="Asia/Shanghai" \
    nginx:latest

#输入 :wq 保存后授权并执行即可
chmod a+x start.sh
./start.sh

将域名ssl证书放置在ssl目录下后，编辑nginx转发代理，执行start.sh脚本重启nginx服务。

vim conf.d/gpt.conf

#填入域名信息
server {
        listen       443 ssl;
        server_name  域名;
        ssl_certificate /var/ssl/域名.crt;     #配置证书位置
        ssl_certificate_key /var/ssl/域名.key; #配置秘钥位置】

        ssl_session_timeout 5m;
        ssl_protocols SSLv2 SSLv3 TLSv1.2;
        ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
        ssl_prefer_server_ciphers on;

        underscores_in_headers on;
        charset utf-8;

        location /v1/ {
             proxy_ssl_server_name on;
             proxy_ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
             proxy_pass https://api.openai.com;
        }
}

以上便完成了针对chatgpt接口地址 api.openai.com 的转发工作，转发后的地址既是你的域名。

四、Java实例调用实现多轮对话

新建Maven项目ChatGPTClient，在pom.xml中添加后续用到的依赖，重构后拉取。


            com.squareup.okhttp3
            okhttp
            4.9.3


            com.google.code.gson
            gson
            2.8.9

java代码

import okhttp3.*;
import com.google.gson.*;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Scanner;
public class ChatGPTClient {
    private final String apiKey;
    private final OkHttpClient client;
    private final List messages;
    private final Gson gson;
    private int tokenCount = 0;
    private int inputTokenCount = 0;
    private int outputTokenCount = 0;

    public ChatGPTClient(String apiKey) {
        this.apiKey = apiKey;
        this.client = new OkHttpClient();
        this.messages = new ArrayList<>();
        this.gson = new Gson();
    }

    public String sendMessage(String message) throws IOException {
        updateTokenCount(message, true);

        messages.add(new Message("system", "user", message));
//model模型选择可以有gpt-3.5-turbo、gpt-4、gpt-4-turbo价格以此类推
        RequestBody body = RequestBody.create(
                MediaType.get("application/json; charset=utf-8"),
                "{\"model\": \"gpt-3.5-turbo\", \"messages\": " + gson.toJson(messages) + "}"
        );

        Request request = new Request.Builder()
                .url("https://你的域名地址/v1/chat/completions")
                .addHeader("Authorization", "Bearer " + this.apiKey)
                .addHeader("Content-Type", "application/json")
                .post(body)
                .build();

        try (Response response = client.newCall(request).execute()) {
            JsonObject respJson = JsonParser.parseString(response.body().string()).getAsJsonObject();
            JsonArray choices = respJson.getAsJsonArray("choices");
            if (choices != null && choices.size() > 0) {
                JsonObject firstChoice = choices.get(0).getAsJsonObject();
                String aiResponse = firstChoice.getAsJsonObject("message").get("content").getAsString();

                updateTokenCount(aiResponse, false);

                messages.add(new Message("system", "assistant", aiResponse));

                System.out.println("输入的 Token 数: " + inputTokenCount);
                System.out.println("输出的 Token 数: " + outputTokenCount);
                System.out.println("总使用的 Token 数: " + tokenCount);

                return aiResponse;
            }
        }
        return "无法获取响应。";
    }

    private void updateTokenCount(String text, boolean isInput) {
        int count = 0;
        for (char c : text.toCharArray()) {
            count += (String.valueOf(c).matches("[\\u0000-\\u00ff]") ? 1 : 4);
        }
        int tokens = (int) Math.ceil(count / 4.0);
        tokenCount += tokens;
        if (isInput) {
            inputTokenCount += tokens;
        } else {
            outputTokenCount += tokens;
        }
    }

    private static class Message {
        String role;
        String content;

        public Message(String type, String role, String content) {
            this.role = role;
            this.content = content;
        }
    }

    public static void main(String[] args) throws IOException {
        ChatGPTClient client = new ChatGPTClient("YOUR-API-KEY");

        Scanner scanner = new Scanner(System.in, "UTF-8");
        String input;
        while (true) {
            System.out.print("输入消息（输入 'bye' 结束对话）: ");
            input = scanner.nextLine();
            if ("bye".equalsIgnoreCase(input)) {
                break;
            }
            String response = client.sendMessage(input);
            System.out.println("ChatGPT 回应: " + response);
        }
    }
}

在以上代码中，增加了每次对话后所使用的token值，以便查询核对接口使用费。可在官网查询相关定价。

五、运行结果

使用Nginx转发代理ChatGpt接口，Java调用实现多轮对话最先出现在Liao's blog。

CentOS7 Openssh升级至9.5p1，OpenSSL升级至1.1.1w

大白 — Wed, 22 Nov 2023 06:08:25 +0000

前言：近期等保出现了openssh相关漏洞，所以改了一下之前的在线升级脚本，将Openssh升级至9.5p1，OpenSSL升级至1.1.1w，已测试放心食用。

已更新最新OpenSSH9.8p1

联网升级安装

脚本蓝奏云下载（离线安装包也已经整理好相关脚本依赖，防止CSDN白嫖党，解压密码：laobai）

#创建安装目录
mkdir -p /root/OpenSSH/zlib/

将zlib-1.2.12.tar.gz依赖包上传至/root/OpenSSH/zlib/目录下运行压缩包中的脚本即可

#将脚本放入/root/OpenSSH目录下
cd /root/OpenSSH

#将下段代码复制粘贴后授权运行即可
chmod a+x UpdateOpenSSH.sh
./UpdateOpenSSH.sh

脚本下载（网页可能会有符号替换，不建议复制）

#!/bin/bash

clear
echo ------------------------------------------
echo        CentOS7 openssh升级到9.5p1
echo               $(date +%F-%T) echo 注意环境，使用前请做好测试！！！ echo ------------------------------------------ sleep 3s clear echo 安装进程开始 3 sleep 1s clear echo 安装进程开始 3 2 sleep 1s clear echo 安装进程开始 3 2 1 sleep 1s clear echo 刷新yum元数据缓存 sleep 2s yum makecache sleep 3s clear echo 检测安装telnet服务 sleep 1s echo 尝试启动telnet服务 sleep 1s cp /etc/securetty /etc/securetty.bak grep "pts/0" /etc/securetty || echo 'pts/0' >> /etc/securetty grep "pts/1" /etc/securetty || echo 'pts/1' >> /etc/securetty systemctl restart telnet.socket && systemctl restart xinetd ps -ef |grep xinetd | egrep -v grep > /dev/null if [$ ? -eq 0 ]
then
    echo 检测到telnet服务已启动……
    systemctl enable telnet.socket
    systemctl enable xinetd
        sleep 2s
else
    echo 未检测到telnet服务，开始安装服务……
    sleep 2s
    yum -y install xinetd telnet-server
    sleep 2s
    clear
    echo 安装telnet服务结束，启动服务……
    systemctl restart telnet.socket &&  systemctl restart xinetd
    systemctl enable telnet.socket
    systemctl enable xinetd
    sleep 1s
fi
clear
echo 关闭SElinux及防火墙并禁用……
sleep 2s
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
cat /etc/selinux/config
systemctl stop firewalld.service
systemctl disable firewalld.service
sleep 2s
clear
echo 安装程序依赖包……
sleep 2s
#yum -y localinstall ls packages/*.rpm
yum -y install gcc gcc-c++ make pam pam-devel openssl-devel pcre-devel perl zlib-devel
sleep 1s
clear
echo 停止并卸载原有ssh
sleep 3s
systemctl stop sshd
cp -r /etc/ssh /etc/ssh.old
cp -r /etc/init.d/ssh /etc/init.d/ssh.old
rpm -qa | grep openssh
sleep 1s
rpm -e `rpm -qa | grep openssh` --nodeps
rpm -qa | grep openssh
sleep 1s
clear

echo 判断是否需要安装wget
WGET=`rpm -qa | grep wget`
if [ $WGET -z ];then yum install -y wget fi echo 准备文件和参数 echo ################################################################ echo 服务器无法联网下载的可以将所需要的升级包放到/root/OpenSSH目录下 echo ################################################################ file=/root/OpenSSH #zlib=http://www.zlib.net/zlib-1.2.12.tar.gz openssl=https://www.openssl.org/source/openssl-1.1.1w.tar.gz openssh=https://ftp.openbsd.org/pub/OpenBSD/OpenSSH/portable/openssh-9.5p1.tar.gz echo 创建目录 mkdir -p$ file/zlib
mkdir -p  $file/openssl mkdir -p$ file/openssh
echo 联网通过wget下载安装包
cd  $file #echo 开始下载zlib #wget$ zlib
echo 开始下载openssl
wget --no-check-certificate  $openssl echo 开始下载openssh wget --no-check-certificate$ openssh
###安装相关依赖包###
yum install -y gcc make perl zlib zlib-devel pam pam-devel

echo 安装zlib
sleep 2s
tar -xzf zlib*.tar.gz -C  $file/zlib sleep 2s cd$ file/zlib/zlib*
./configure --prefix=/usr/local/zlib && make && make install
ls -l /usr/local/zlib
cd ..
sleep 1s
clear
echo 配置zlib
grep  "/usr/local/zlib/lib"  /etc/ld.so.conf.d/zlib.conf ||  echo '/usr/local/zlib/lib' >> /etc/ld.so.conf.d/zlib.conf
ldconfig -v
sleep 1s
clear
echo 安装openssl
sleep 5s
mv -f /usr/bin/openssl /usr/bin/openssl.old
mv -f /usr/include/openssl /usr/include/openssl.old
mv -f /usr/lib64/openssl /usr/lib64/openssl.old
rm -rf /usr/local/ssl
cd  $file tar -xzf openssl*.tar.gz -C$ file/openssl
cd  $file/openssl/openssl* ./config --prefix=/usr/local/ssl --openssldir=/usr/local/ssl shared zlib && make && make install cd .. sleep 5s clear echo 配置openssl sleep 5s ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl ln -s /usr/local/ssl/include/openssl /usr/include/openssl ln -s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1 ln -s /usr/local/lib64/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 grep "/usr/local/ssl/lib" /etc/ld.so.conf.d/ssl.conf || echo '/usr/local/ssl/lib' >> /etc/ld.so.conf.d/ssl.conf grep "/usr/local/lib" /etc/ld.so.conf.d/ssl.conf || echo '/usr/local/lib' >> /etc/ld.so.conf.d/ssl.conf ldconfig -v openssl version -a sleep 5s clear echo 安装openssh sleep 5s rm -rf /etc/ssh cd$ file
tar -xzf openssh*.tar.gz -C  $file/openssh cd$ file/openssh/openssh*
./configure --prefix=/usr --sysconfdir=/etc/ssh --with-openssl-includes=/usr/local/ssl/include --with-ssl-dir=/usr/local/ssl   --with-zlib --with-md5-passwords
make
sleep 5s
sudo chmod 600 /etc/ssh/ssh_host_rsa_key
sudo chmod 600 /etc/ssh/ssh_host_ecdsa_key
sudo chmod 600 /etc/ssh/ssh_host_ed25519_key
make install
cd ..
pwd
sleep 5s
clear
echo 配置openssh
sleep 10s
echo "PasswordAuthentication yes"   >> /etc/ssh/sshd_config
echo "PermitRootLogin yes" >> /etc/ssh/sshd_config
echo 'Banner /etc/issue' >> /etc/ssh/sshd_config
cp -p openssh-9.5p1/contrib/redhat/sshd.init /etc/init.d/sshd
chmod +x /etc/init.d/sshd
sudo chmod 600 /etc/ssh/ssh_host_rsa_key
sudo chmod 600 /etc/ssh/ssh_host_ecdsa_key
sudo chmod 600 /etc/ssh/ssh_host_ed25519_key
chkconfig --add sshd
chkconfig sshd on
systemctl restart sshd
sleep 10s
clear
systemctl status sshd
if [ $? -eq 0 ]
then
    clear
    echo SSH安装并运行成功，开始关闭并禁用telnet
    sleep 1s
    systemctl stop telnet.socket &&  systemctl stop xinetd
    systemctl disable telnet.socket &&  systemctl disable xinetd
    sleep 1s
    echo 升级完成,安装ssh2扩展支持
    sleep 5s
    yum install libssh2 -y
    clear
    echo 安装进程结束
    sleep 5s
else
    echo SSH未成功安装或配置，安装进程即将退出，请检查日志……
    sleep 5s
fi

升级成功

#输入命令查看升级效果
ssh -V
OpenSSH_9.5p1, OpenSSL 1.1.1w  11 Sep 2023

这是我之前的博文：CentOS 7 离线更新升级 openSSH 8.8p1
另附手动升级博文：湖南馒头:CentOS7 OpenSSL升级1.1.1w；OpenSSH 升级 9.5p1 保姆级教程

CentOS7 Openssh升级至9.5p1，OpenSSL升级至1.1.1w最先出现在Liao's blog。

ChatGPT Java实例接入

大白 — Tue, 21 Feb 2023 06:51:06 +0000

前言：ChatGPT因为国内的各种原因，官网目前已经提高了原生IP的访问门槛。

现状

应该有很多人和我一样，之前能在官网直接使用ChatGPT，现在因为节点IP不够纯正而被限制访问，不过好在官网提供的API接口是正常使用的，所以曲线救国思路就是：

申请官网API keys
查看官网实例调用ChatGPT
API调用额度查看

申请API keys

前文：ChatGPT注册使用系列一文中，注册好账号后，在个人页创建自己的API keys

官网支持语言一览

官网中可以看到ChatGPT已经支持很多语言接入了。

openai-java

调用费用

程序接入到 ChatGPT，调用接口要收费的。
不过新注册的账号，前3个月免费使用，总消费额度不超过18美元。
我的账号是到2023年4月1日，这期间只要调用费用不超过18美元相当于是免费使用

官网实例接入

以上准备工作及注意事项做好之后，我们就可以开始接入ChatGPT了。
下面是官网给出的调用例子（只是其中一个使用场景）

curl https://api.openai.com/v1/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer YOUR_API_KEY" \
-d '{"model": "text-davinci-003", "prompt": "中国的首都是什么地方？", "temperature": 0, "max_tokens": 7}'

重要参数解释：

model：接入模型
OpenAI API提供了一系列具有不同功能和价格点的模型,其中，GPT-3是最为智能的模型，也是收费最高的，后面代码中我们将使用其中的text-davinci-003。

使用场景

官网给我们列出来很多使用场景

Answers（问答场景）
Classification（分类场景）
Code(代码场景)
Conversation（谈话场景）
Translation（翻译场景）
Transformation（转换场景）

代码实现

官网有大约49种场景。代码中，我们以Answers（问答场景） 为例，只要点场景图标，就可以跳到该场景查看对应参数调用实例了。具体如下：

postman调用测试

可以在github中下载对应汉化版本的 postman，参考相应教程

选择请求方式，填入接口地址，添加自己账号创建的Token

请求头中添加Content-Type类型为json

拼接json格式的入参

调用成功

Java代码调用

IDEA新建一个Maven项目：ChatGPT
POM添加Hutool依赖，使用Hutool工具发送http post请求，json对象封装等等。

3. Java代码

import cn.hutool.http.*;
import cn.hutool.json.JSONObject;
import java.util.HashMap;
import java.util.Map;
public class ChatGptDemo {
    public static void main(String[] args) {
        Map headers = new HashMap();
        headers.put("Content-Type","application/json;charset=UTF-8");

        JSONObject json = new JSONObject();
        //选择模型
        json.set("model","text-davinci-003");
        //添加我们需要输入的内容
        json.set("prompt","中国的首都在哪里？");
        json.set("temperature",0.9);
        json.set("max_tokens",2048);
        json.set("top_p",1);
        json.set("frequency_penalty",0.0);
        json.set("presence_penalty",0.6);

        HttpResponse response = HttpRequest.post("https://api.openai.com/v1/completions")
                .headerMap(headers, false)
                .bearerAuth("API keys")
                .body(String.valueOf(json))
                .timeout(5 * 60 * 1000)
                .execute();

        System.out.println(response.body());
    }
}

调用返回结果：

使用场景有很多，具体需求可以在官网实例中找到自己感兴趣的场景学习研究。目前Github上有很多优秀的基于ChatGPT二次开发的封装的项目，可以多多试验。
– 盘点近期非常火热的ChatGPT开源项目

Github项目

我也根据一个开源小项目搭建了一个网页版ChatGPT
https://github.com/slippersheepig/chatgpt-web

PS：18美元的免费额度，大概能回答54000000字。每天限制调用200次

ChatGPT Java实例接入最先出现在Liao's blog。

按照等保测评标准实施操作系统加固的建议和参考

大白 — Tue, 07 Feb 2023 03:16:04 +0000

等保测评在如今项目安全性及验收结项都是至关重要的步骤。

Windows

以服务器绝大多数为Windows Server 2012 版本参考为例

一、身份鉴别

1. 口令复杂度和口令更改周期

Win+R —> gpedit.msc —> 本地计算机策略 —>计算机配置 —>Windows设置 —> 安全设置 —> 账户策略 —> 密码策略

2. 登录失败和空闲超时

Win+R —> gpedit.msc —> 本地计算机策略 —>计算机配置 —>Windows设置 —> 安全设置 —> 账户策略 —> 账户锁定策略

控制面板 —> 外观 —> 显示 —> 更改屏幕保护程序

3. 加密远程管理

Win+R —> gpedit.msc —> 本地计算机策略 —>计算机配置 —> 管理模板—> Windows组件 —> 远程桌面服务 —> 远程桌面会话主机 —> 安全

二、访问控制

1. 禁用匿名用户guest

2. 修改默认密码

计算机管理（本地）—> 本地用户和组 —> 用户 —> Administrator —> 右键 —> 设置密码

3. 禁用其他无关用户，创建多个个人用户，避免多人共用一个账户

4. 授予管理用户所需的最小权限，实现管理用户的权限分离

三、安全审计

1. 开启安全审计

Win+R —> gpedit.msc —> 本地计算机策略 —>计算机配置 —>Windows设置 —> 安全设置 —> 本地策略 —> 审核策略

2.设置日志保存时间和存储空间

计算机管理 —> 系统工具 —> 事件查看器 —> Windows日志 —> 应用程序、安全、系统 —> 右键 —> 属性（三个都需要设置）

四、入侵防范

1. 删除业务非必要的组件和应用程序

控制面板 —> 所有控制面板项 —> 程序和功能

2. 关闭不需要的系统服务、默认共享和高危端口

关闭系统服务器：
计算机管理 —> 服务和应用程序 —> 服务
禁用非必要的系统服务（如 Print Spooler、Remote Registry Service等）

关闭默认共享：
计算机管理 —> 系统工具 —> 共享文件夹 —> 右键 —> 停止共享
关闭系统默认共享（如C、D、E）

禁用高危端口一：
Win+R —> gpedit.msc —> 本地计算机策略 —>计算机配置 —>Windows设置 —> 安全设置 —> IP安全策略，在本地计算机
禁用高危端口的策略（至少包括TCP135、139、445、UDP135、137、138、445端口）

禁用高危端口二：
控制面板 —> 系统和安全 —> 管理工具 —> 高级安全Windows防火墙 —> 入站规则

3. 设置远程桌面地址限制

控制面板—>管理工具—>高级安全Windows防火墙—>入站规则—>远程桌面-用户模式（TCP-In）

五、恶意代码防范

1、安装杀毒软件并更新病毒库（火绒安全仅为参考防病毒软件）

Linux

说明：以下以CentOS Linux release 7.9.2009 (Core) 64位为例，提供等保整改操作参考。

一、身份鉴别

1. 口令复杂度和口令更改周期

口令更改周期：
方法一：
在/etc/login.defs中修改（修改原有的，并非添加）

（如经重启后无效或服务器不能重启，需逐一执行修改，参考方法二（无需重启））

方法二（无需重启修改密码有效期）：
查看某个用户的密码设置情况：

强制root用户下次登陆时修改密码（-d 0），并且设置密码最低有效期0（-m 1）和最高有限期90（-M 90），提前7天发警报提示-W 7 （root为用户名，可改成需要修改的用户）
chage -d 0 -m 1 -M 90 -W 7 root

口令复杂度配置：
在/etc/pam.d/system-auth中找到

password requisite pam_pwquality.so try_first_pass local_users_only

然后在其后面添加以下配置

retry=3 authtok_type= minlen=8 lcredit=-1 ucredit=-1 dcredit=-1 ocredit=-1 enforce_for_root

配置后：

password requisite pam_pwquality.so try_first_pass local_users_only retry=3 authtok_type= minlen=8 lcredit=-1 ucredit=-1 dcredit=-1 ocredit=-1 enforce_for_root

配置参数说明：
retry=3 尝试三次
minlen=8 密码最小长度为8个字符。
lcredit=-1 密码应包含的小写字母的至少一个
ucredit=-1 密码应包含的大写字母至少一个
dcredit=-1 将密码包含的数字至少为一个
ocredit=-1 设置其他符号的最小数量，例如@，＃、! $％等，至少要有一个
enforce_for_root 确保即使是root用户设置密码，也应强制执行复杂性策略

2. 登录失败和空闲超时

登录失败处理功能：（配置三个文件方可全方位生效）
在 /etc/pam.d/system-auth 文件加入以下配置 （请找到相应的对应区域，且必须按以下命令顺序）
在 /etc/pam.d/system-auth 下首行#%PAM-1.0下增加找到相应位置并添加：

auth  required  pam_tally2.so onerr=fail deny=5 unlock_time=300 even_deny_root  root_unlock_time=60

onerr=fail 表示连续登录失败，deny=5 表示超过5次登录失败即锁定，unlock_time=300表示普通用户锁定300秒，even_deny_root 表示对root账户生效，root_unlock_time=60表示root用户锁定60秒。
配置如下：

在 /etc/pam.d/sshd 和 /etc/pam.d/login中在首行#%PAM-1.0下增加：

auth  required  pam_tally2.so deny=5 unlock_time=300 even_deny_root root_unlock_time=60

/etc/pam.d/sshd 配置如下：

/etc/pam.d/login 配置如下：

注意：
1）注意上面命令行写在文件的顺序，没配置正确有可能root都无法登录。
2）如果想锁住root用户，在pam_tally2.so 条目里添加 even_deny_root 选项

解锁方法：
查询密码错误情况：pam_tally2
在root权限下：

pam_tally2  –user=root  --reset  #解锁某一个用户（root）
pam_tally2  --reset  #解锁所有用户

在普通用户权限下：

sudo  pam_tally2  –user=root  --reset  #解锁某一个用户（root）
sudo  pam_tally2  --reset  #解锁所有用户

空闲超时自动退出：
在 /etc/profile末尾添加：

export TMOUT=600

说明：0代表永不自动退出，600代表600秒自动退出。
执行命令source /etc/profile使配置生效

3. 加密远程管理

使用 netstat -ntpl | grep LISTEN查看是否有开启23端口（telnet服务）
一般情况下，默认是使用ssh服务（22端口）

二、访问控制

1. 禁用多余用户（禁用所有非必要的用户）

修改 /etc/passwd文件中用户登录的shell，添加nologin

2. 创建多个个人用户，避免多人通用一个账户

为每个用户创建一个独立的账户，避免用户都使用一个管理用户root

#创建新用户命令：
adduser user1 #添加一个名为user1的用户
#修改（添加）新用户密码：
Passwd user1
#输入两次密码即可

3. 修改默认口令

修改默认口令，既修改默认账户root的默认口令，Centos 8在安装的时候创建root账户时，口令就不能为默认口令且要求具有复杂度要求，所以不存在默认口令。以下提供修改口令的命令供参考：

4. 授予管理用户所需的最小权限，实现管理用户的权限分离

操作系统暂难实现三权分立，只需根据业务需求分配权限即可

5. 关闭root账户直接远程登录

在 /etc/ssh/sshd_config中修改“PermitRootLogin”参数为“no”
注意： 修改前请确认具有普通用户，或创建一个可供远程管理的普通用户！！！

配置后，用户不能用root账户直接远程登录系统，需用普通账户远程登录，然后su切换到root账户
随后重启ssh服务即可：

systemctl restart sshd.service

6. 应对重要主体和客体设置安全标记，并控制主体对有安全标记信息资源的访问

将 /etc/selinux/config中SELINUX参数默认为enforcing（强制模式）

三、安全审计

1. 开启安全审计和审计保护进程

查看auditd和rsyslogd进程的状态（默认是开启状态）：

service auditd status 或
systemctl status auditd.service
service rsyslog status 或
systemctl status rsyslog.service

如果没有开启auditd和rsyslog服务，使用以下命令开启（重启）：

service auditd restart 或
systemctl restart auditd.service
service rsyslog restart 或
systemctl restart rsyslog.service

设置auditd和rsyslog服务开机启动：

systemctl enable auditd
systemctl enable rsyslog

2. 设置日志保存时间

在 /etc/logrotate.conf文件修改rotate参数：

默认情况下，以周为单位，修改rotate参数为26，26周为26*7=182天，满足180天以上要求。

使用ll /var/log/ 命令查看实际日志是否满足要求：

日志时间满足180天，如需确认可查看以上文件进行确认。

4. 设置审计记录备份（配置日志服务器）

注：该项配置暂未有统一加固整改建议（需根据每个系统的部署情况而定）
查看 /etc/rsyslog.conf文件是否配置日志服务器或日志审计设备IP：

四、入侵防范

1. 删除业务非必要的组件和应用程序

使用yum list installed命令查看已安装的软件

2. 关闭不必要的系统服务和高危端口

方法一：
使用netstat -ntlp | grep LISTEN命令查看开放端口状态以及对应的服务：

上图可以看到系统打开了cupsd服务（打印服务），属于不必要的系统服务，使用以下命令进行关闭（举例说明，其他不必要的系统服务请自行判断后进行关闭）

systemctl stop cups
#并设置重启不启用cups服务
systemctl disable cups
#查看cups服务状态，确保cups服务已成关闭
systemctl status cups

方法二：
使用 Nmap工具进行端口扫描（自身扫描或通过管理终端扫描）：

3. 设置远程管理接入地址限制（限制SSH登录地址）

这里Centos7有两种方法配置地址限制

第一种：通过 /etc/hosts.allow和 hosts.deny配置地址限制。
/etc/hosts.allow配置如下：（允许IP地址ssh）

sshd:192.168.110.129:allow          #允许单个IP地址ssh
sshd:192.168.110.1:allow       #允许一个28掩码网络段ssh
sshd:192.168.110.0/28:allow       #允许一个28掩码网络段ssh

/etc/hosts.deny配置如下：(禁止所有IP地址ssh)

重启ssh服务

Systemctl restart sshd

以上就是 白名单机制，Linux的检查策略是先看 /etc/hosts.allow中是否允许，如果允许直接放行；如果没有，则再看 /etc/hosts.deny中是否禁止，如果禁止那么就禁止连入。

第二种：采用防火墙规则配置地址限制（Firewalld）
查看Firewalld状态：

systemctl status firewalld.service
firewall-cmd --state

防火墙 Firewall的状态是开启的，这样子在防火墙配置的策略才会有效，如果防火墙是关闭的，则配置的策略为无效。

在配置防火墙策略之前，得先了解一下配置的一个思路，就拿配置限制SSH登录地址举例。先有一个白名单机制的思维，白名单机制就是除允许名单外的所有名单都是被拒绝访问的，如果一个服务全开放，白名单则毫无意义。所以要限制SSH登录地址，先确认SSH是否为开放服务，先查看当前配置的防火墙规则：

firewall-cmd --list-all

可以看到这里的规则是开放了ssh服务的，意思就是全开放，所有的IP均可以通过ssh远程该系统。那么要做限制SSH登录地址，首先要先在规则上禁止掉ssh服务全开放。

firewall-cmd --permanent --remove-service=ssh    #禁止ssh服务
firewall-cmd --permanent --add-service=ssh       #开放ssh服务

配置完这命令后，使用查看当前配置的防火墙规则命令进行查询，ssh服务全开放依旧存在，那是因为配置了防火墙规则后，需要手动重载防火墙服务，因为后续还需配置，这里先不重载。接下来就是配置允许指定IP（段）访问制定本地端口（ssh服务，22端口）(永久生效再加上 –permanent)

firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.110.128/28" port protocol="tcp" port="22" accept'  #允许指定IP段访问制定本地端口

firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.110.1" port protocol="tcp" port="22" accept'  #允许指定IP访问制定本地端口

配置完成后，重载防火墙（不同于重启防火墙）

firewall-cmd --reload      #重载防火墙
systemctl restart firewalld.service      #重启防火墙

以上防火墙（Firewall）规则就已经实现限制SSH登录地址限制，仅允许192.168.110.129/28网络段和192.168.110.1访问该系统的 ssh服务（22端口）。

五、恶意代码防范

1. 安装杀毒软件并更新病毒库（ClamAV）或安装其他终端检测软件

安装方法请根据具体的系统版本进行百度或联系相关安全设备管家进行沟通安装。
安装ClamAV参考：https://www.jianshu.com/p/c9b5d87d8335

按照等保测评标准实施操作系统加固的建议和参考最先出现在Liao's blog。

ChatGPT注册使用系列一

大白 — Thu, 08 Dec 2022 09:53:50 +0000

ChatGPT 是什么？

这个问题，由ChatGPT 亲自回答：:satisfied:

ChatGPT 是一种自然语言生成模型，它用来自然地生成与人类语言交互。这是一种机器学习技术，它可以通过对大量文本数据进行学习，然后利用这些学习结果来生成新的文本。这种技术可以用来改善人机交互，提高聊天机器人的效率。-ChatGPT

OpenAI 又是什么？

如是说：

OpenAI 是一家人工智能研究和开发公司，它的目标是通过研究和开发人工智能技术来解决全球最重要的问题。OpenAI 是由一群技术领袖和慈善家共同创立的，包括 Elon Musk 和 Sam Altman 等。该公司的研究领域包括人工智能、机器学习、神经网络等。OpenAI 也开发了许多技术产品，例如 GPT-3、Dactyl 等。-ChatGPT

以下是维基百科关于 ChatGPT 的相关介绍：

ChatGPT是由OpenAI开发的一个人工智能聊天机器人程序，于2022年11月30日推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练。ChatGPT 使用基于人类反馈的强化学习进行训练，这种方法通过人类干预以增强机器学习的效果，从而获得更为逼真的结果。其使用基于GPT-3.5架构的语言模型。在训练过程中，人类训练师扮演着用户与人工智能助手的角色。模型在Microsoft Azure的超级计算机上训练，并通过近端策略优化算法（proximal policy optimization）进行微调。这种策略优化算法比信任域策略优化（trust region policy optimization）算法更为高效。

如何注册 ChatGPT

要注册使用 ChatGPT，你需要做好以下准备：

全局代理（推荐美国节点）
一个邮箱用于注册（Gmail, Outlook 均可）
一个国外手机号用于接收验证码（Google Voice 虚拟号码不行）
一个浏览器（建议使用无痕模式）

关于第1个准备，本文就不做介绍了，这种内容不能写在文章里，懂的都懂。第2和第4个准备应该没什么问题，本文会详细介绍第3个准备步骤。

ChatGPT 具体注册步骤如下：

在你的设备上开启全局代理。
建议使用美国地区的节点。
访问 ChatGPT 登录页开始注册。
ChatGPT 登录页为 https://chat.openai.com/auth/login。点击 Sign up 根据提示进行创建一个 OpenAI 账号；输入你的电子邮箱继续。如果你有 Gmail，你也可以点击下方的 Continue with Google 按钮直接以 Google 账号注册。

根据屏幕指示操作。
完善你的姓名，机构名称可不填，点击下方的 Continue 按钮后，你会来到验证手机号码界面：

先停在这个界面；接下来我们需要准备一个手机号码接收验证码。

前往接码平台租用一个海外手机号
我们只需要一个临时的海外手机号来接收 OpenAI 的验证码即可，不需要购买海外的实体手机卡。
推荐在 sms-activate.org 上花 $0.2 买一个印度尼西亚的手机号接收验证码。具体操作步骤如下：
1) 前往 sms-activate.org 并注册账号；注册完成后登录账号。
注：如果英文界面看不懂，可以切换语言为中文。
)2 点击右上角下方的金额，然后选择开始充值：

3) 下滑屏幕找到 Alipay 并点击，在弹出的窗口中输入你要充值的金额。充值0.2美元即可。

4) 充值完毕后，返回首页；在左侧边栏的搜索框内，输入 openai 找到 OpenAI 服务，并点击：

点击 Indonesia 右侧的购物车按钮，你会得到一个62开头的印度尼西亚手机号码。
5) 将这个手机号码复制并粘贴至步骤3中的验证手机号码界面，然后点击 Send code via SMS。

留意 sms-activate.org 页面，很快将会收到来自 OpenAI API 的验证码；将验证码填入 OpenAI 页面的验证码输入框，即可完成验证。

选择你注册 OpenAI 的主要用途
此处选择“I’m exploring personal feature” 即可。

开始使用 ChatGPT
接下来，只需点击顶部的 Try it，然后使用前面注册的 OpenAI 账号登录，就可以开始与 ChatGPT 聊天啦！

在底部输入框内输入你想要问的问题，开始与 ChatGPT 进行互动。

随堂测试

我还写什么代码！直接描述。

ChatGPT现状
目前公开接口部分大致实现了文本、图像、文件等，搭建了一个本地环境，但因为请求网络的原因暂时没法完全研究它的功能模块，但我相信那一天不会遥远！

ChatGPT注册使用系列一最先出现在Liao's blog。

Docker安装nps实现[OpenWrt]内网穿透

大白 — Wed, 02 Nov 2022 06:36:43 +0000

一、NPS 概述

NPS 是一款轻量级、功能强大的内网穿透代理服务器。支持 tcp、udp 流量转发，支持内网 http 代理、内网 socks5 代理，同时支持 snappy 压缩、站点保护、加密传输、多路复用、header 修改等。支持 web 图形化管理，集成多用户模式。管理系统比 FRP 方便很多，更容易上手。

二、配置要求

一台拥有公网 IP 的服务器。
开放端口例如：(8080,8024,80,443）等可以不是这些端口，nps可以配置任意端口，实现与其它服务共存。

三、相关文档

NPS 配置文档：https://ehang-io.github.io/nps/#/
NPS 安装包：https://github.com/ehang-io/nps/releases
NPS 源码：https://github.com/ehang-io/nps

四、环境说明

服务器端是我的Ubuntu(arm)云服务器；
客户端是本地N1盒子Openwrt系统的nps插件（无需安装客户端）。

五、演示安装

1. 服务端

Docker拉取Nps镜像

#拉取nps镜像
docker pull ffdfgdfg/nps
#创建nps配置文件目录
mkdir -p /root/nps/conf

github下载配置文件，将nps-master下的conf文件拷贝至服务器上的/root/nps/conf目录下

修改nps.conf配置

#编辑nps.conf
vim /root/nps/conf/nps.conf

#nps.conf
appname = nps
runmode = dev

http_proxy_ip=0.0.0.0
http_proxy_port=19000
https_proxy_port=19001
https_just_proxy=true

https_default_cert_file=conf/server.pem
https_default_key_file=conf/server.key

bridge_type=tcp
bridge_port=19002
bridge_ip=0.0.0.0

public_vkey=123

log_level=7

web_host=a.o.com
web_username=admin
web_password=123
web_port = 19003
web_ip=0.0.0.0
web_base_url=
web_open_ssl=false
web_cert_file=conf/server.pem
web_key_file=conf/server.key
auth_crypt_key =1234567887654321
allow_user_login=false
allow_user_register=false
allow_user_change_username=false
allow_flow_limit=false
allow_rate_limit=false
allow_tunnel_num_limit=false
allow_local_proxy=false
allow_connection_num_limit=false
allow_multi_ip=false
system_info_display=false
http_cache=false
http_cache_length=100
http_add_origin_header=false[object Object]

docker启动nps，注意防火墙是否开放相关端口

#启动nps，端口开放19000-19010
docker run -d -p 19000-19010:19000-19010 -v /root/nps/conf:/conf --name=nps --restart=always ffdfgdfg/nps

访问Nps后台：http://IP:19003 默认账号密码是配置文件中的admin/123(可自行更改)。

创建nps客户端及tcp隧道

创建客户端，点击客户端详情查看 -server/-key 两个参数。

2. 客户端

进入内网OpenWrt，打开nps插件，输入server及key参数保存，在服务端即可发现客户端已连接。

3. 配置转发

查看客户端状态

此处可以看到一个客户端ID为6，连接状态为在线。

添加tcp隧道转发

如下配置表示将服务端的1XXX6端口转发到局域网内192.168.50.1/3的80/5244等端口。其他的UDP、SOCKS、HTTP也是类似的配置不再赘述。

4. 总结

NPS及OpenWrt的配置安装都很便捷，如果你有一台自己的VPS云服务器，可以尝试一下，将你的家庭本地电脑映射到外网服务器。访问公网IP+对应1XXXX端口即可访问到内网对应服务。

5. 参考文章

不同的安装环境可以看看其他博文：

超详细openwrt内网穿透-nps小白教程：https://vpsxb.net/419/
软路由openwrt之nps内网穿透插件服务：https://www.vjsun.com/424.html
nps实现内网穿透，电脑免费变云服务器：https://tangly1024.com/article/nps-centos-nat-traversal
N1盒子op系统nps内网穿透对接腾讯云傻妞：https://blog.csdn.net/hebine7/article/details/122373365
docker安装nps实现内网穿透：https://5616760.com/docker/nps/2021/08/09/docker-nps.html

Docker安装nps实现[OpenWrt]内网穿透最先出现在Liao's blog。

远程连接Centos7桌面功能

大白 — Mon, 05 Sep 2022 10:03:04 +0000

突如其来的疫情让人措手不及，愿疫情早日过去…
因为要是实现居家办公，公司的服务器有些工作需要桌面化才能满足日常使用要求

远程连接CentOS7桌面方案

MobaXterm工具蓝奏云下载

SSH + X11桌面远程

Linux的远程桌面一般采用VNC，很少提到SSH + X11做转发，下面介绍多种SSH + X11；

安装Xfce桌面

#安装Xfce
yum -y groupinstall "X Window System" "Xfce"
#启动桌面
startxfce4

MobaXterm转发X11

MobaXterm功能非常全，内建X server，可远程运行X窗口程序，支持VNC/RDP/Xdmcp等远程桌面；
在SSH服务器中配置X11转发服务
在/etc/ssh/sshd_config文件中将 X11Forwarding 设置成 yes

X11Forwarding yes

重启ssh相关命令

#查看ssh服务状态
systemctl status sshd.service

#开启ssh服务
systemctl start sshd.service

#设置ssh服务开机自启
systemctl enable sshd.service

配置MobaXterm登录信息(Remote environment注意CentOS的桌面类型 )

MobaXterm连接到服务器
X11-forwarding 和 DISPLAY 都打钩表示配置正常

远程效果

这样就可以很方便的使用内网应用了

远程连接Centos7桌面功能最先出现在Liao's blog。

CentOS Docker环境部署Nessus漏洞扫描系列一

大白 — Wed, 31 Aug 2022 04:14:00 +0000

一、Docker部署Nessus

部署环境

操作系统版本：CentOS Linux release 7.9.2009 (Core)
Docker版本：Docker Server Version: 20.10.17
Nessus版本： 10.3.0 （#80） Linux

部署Nessus

#搜索nessus相关镜像
docker search nessus
#pull nessus最新镜像
docker pull tenableofficial/nessus
#启动docker镜像，同时配置用户名和口令、不启动自动更新
docker run -it -d -p8834:8834 --name nessus -e USERNAME=Nessus -e AUTO_UPDATE=no -e PASSWORD=HDuUNO1XzDEq2Ls tenableofficial/nessus

#进入nessus容器
docker exec -it nessus bash
#启动nessus服务
/opt/scripts/configure_scanner.py

访问nessus界面

https://localhost:8834

用户名和口令为创建nessus容器时配置的用户名和口令

username:Nessus
password:HDuUNO1XzDEq2Ls

二、官方注册插件库和激活码

官网插件库地址：
https://plugins.nessus.org/v2/offline.php

获取第一个值Challenge code

#进入Nessus容器
docker exec -it nessus bash
#生成匹配Challenge code
/opt/nessus/sbin/nessuscli fetch --challenge

Challenge code: be86f8bde86494e544d6bad87c2ea9122f8b012d

获取第二个值激活码Activation Code

进入官网，邮箱注册获取激活码，填写邮箱接收邮件
https://zh-cn.tenable.com/products/nessus/nessus-essentials?tns_redirect=true

获取激活码

提交获取插件下载地址和证书内容

插件下载地址及激活码License

更新docker中nessus插件库

将下载的插件库上传至nessus容器中

#从Docker宿主机复制文件到Docker容器 all-2.0.tar.gz插件位置看个人上传宿主机目录
docker cp /data/middleware/nessus/all-2.0.tar.gz nessus:/usr/local/
#Docker容器中更新插件库
docker exec -it nessus /bin/bash
cd /usr/local
#更新插件库
/opt/nessus/sbin/nessuscli update all-2.0.tar.gz

激活Nessus

#进入容器
docker exec -it nessus /bin/bash
cd /usr/local
#填写刚才所获得的激活码
vi nessus.license

-----BEGIN TENABLE LICENSE-----
aTJZK2tGL1NQY3Fad2UrR0pWeWRobFpxdjJiY1F3d0Q0cEk0OWJtR3FuYjhmOTduOUF1OUMrY0FF
SmRVTkNJUUp5dEN6WTFiY1UrTnlsMG02VEQ0eUZBNU0yVGNDNDA4MmRMZEYyZy9VelhacWYyY3JH
aXFkY29kdnRhUzJtNytBbnJpUnprU21URjQva21kT3VwRWNVYmlHb0QzaXFUekNtZnZITnJaVldx
Wmh1eEFxYU9Pb2cwQW5GZXVRTWFsS1ZOODRBaXBGbFNJWjRrUi9XUUtGYWZZTmY1RGplZjZWVE1F
aUgzUDJnRmxSazJ2WFI4ZVcyazBPVEQ4R3JuTlpIaUZnNVZKdkZqdHJLZ1lYNlBRcU4zTWhIdzZF
Z2ZlajZqaG5QeUpWSkhSVFlTaHcvdzB3OEZUVXRZNU1TZmttRWlpT1lEOHcxejM2STlha1BCSGFB
dERETmFxN3l6SXJ4QTQ3ekRlY3FiS0lLYUhwWUMyeFpPbGNoV3VXZloxNGRvSXRySnFGVXB6MXRP
TERDUkNGQ2lHSHIrYUtjMUM1SUpqWTZKcFRiSHIrZm5wU3k2VDMrY1NzeU1JV3VyUmw1cUNFVWVs
WkJudUxXNkg4R0pwd3gvZEdHYi9TUjNpVjV2dzFoQUpGWG91K2NqM04zTktKVE5VcUp2Zi9URUth
SHNKTy9uWW9ZeXpGck9IUGtzWmxpdVdnMzR6U3V1MGpEamZZYVFsK3Y2ZkRlUHp5dU4vZjhhREdw
MUpSQTN4NGYwUTl3dzg0aXdKd0Zyb0Z1L3ltZE9ValIrbGR2cWFpemp3b0k3cnVCckpiNXlJb0tw
bXR3NDF4OWx5aXFPczM5d056bEkrUlN1UlpRV1BJNDJjUStFN2dwOVA4dUhndzVuZmNXK2RySzA9
DQp7ImFjdGl2YXRpb25fY29kZSI6IkdSQTctMkxVRC1EUENOLTg1WEQtWE1CTSIsInVwZGF0ZV9w
YXNzd29yZCI6ImY4MjM0OTFlYzExYjIxMGI0ODczYTllM2YxMzVlMDE3IiwicGVuZG9fYXBpX2tl
eSI6ImE3YzhkNWM0LWI2YWUtNDg2Ny03ZGFiLTY5YTkyYTA4NDdlMSIsIm5hbWUiOiJOZXNzdXMg
SG9tZSIsInR5cGUiOiJob21lIiwiZXhwaXJhdGlvbl9kYXRlIjoxODE5NTkzMzkwLCJjdXN0b21l
cl9pZCI6MCwiaXBzIjoxNiwidXBkYXRlX2xvZ2luIjoiMDdhOGZhNGZkYmYzNGIxNzU5NGZhNGUw
YTc1NmM2ZTAiLCJkcm0iOiJjMDUyOGZkOWQyNGIyZGQ0MDExMmZjZTNlM2I2NzY1MiJ9
-----END TENABLE LICENSE-----

激活

/opt/nessus/sbin/nessuscli fetch --register-offline nessus.license
#重启nessus
/opt/scripts/configure_scanner.py

等待加载插件库后访问nessus界面

https://localhost:8834

username:Nessus
password:HDuUNO1XzDEq2Ls

插件正常加载

三、Nessus破解修改限制

#nessus初始化完成后Hosts显示为"0 of 16 used”，修改其限制
docker exec -it nessus /bin/bash
#复制插件到容器根目录
cp -r /opt/nessus/lib/nessus/plugins/ /
#查看plugins插件库复制是否成功，若不成功则重新复制
du -h /plugins/
#删除重新复制
rm -rf /plugins
cp -r /opt/nessus/lib/nessus/plugins/ /

查看plugin_feed_info.inc文件位置

[root@7b287c8f02b0 /]# find / -name "plugin_feed_info.inc"
/opt/nessus/var/nessus/plugin_feed_info.inc
/opt/nessus/lib/nessus/plugins/plugin_feed_info.inc

备份plugin_feed_info.inc

mkdir /pluginsinc
cp /opt/nessus/lib/nessus/plugins/plugin_feed_info.inc /pluginsinc/plugin_feed_info.inc.libinc
cp /opt/nessus/var/nessus/plugin_feed_info.inc /pluginsinc/plugin_feed_info.inc.varinc

将plugin_feed_info.inc内容修改为专业版，PLUGIN_SET序号号为Policy Template Version=202208301606或其后序号

vi /pluginsinc/plugin_feed_info.inc
PLUGIN_SET = "202208301606";
PLUGIN_FEED = "ProfessionalFeed (Direct)";
PLUGIN_FEED_TRANSPORT = "Tenable Network Security Lightning";

关闭Nessus服务

supervisorctl stop nessusd
rm -f /opt/nessus/lib/nessus/plugins/plugin_feed_info.inc
cp /pluginsinc/plugin_feed_info.inc /opt/nessus/var/nessus/plugin_feed_info.inc

重启Nessus服务

supervisorctl start nessusd
du -h /opt/nessus/lib/nessus/plugins/
more /opt/nessus/lib/nessus/plugins/plugin_feed_info.inc
more /opt/nessus/var/nessus/plugin_feed_info.inc

访问Nessus并更新规则库，此过程特慢需放置等待

查看状态

du -h /opt/nessus/lib/nessus/plugins/
more /opt/nessus/lib/nessus/plugins/plugin_feed_info.inc
more /opt/nessus/var/nessus/plugin_feed_info.inc
#若状态异常，重新执行插件删除程序
rm -rf /opt/nessus/lib/nessus/plugins/
cp -r /plugins /opt/nessus/lib/nessus/
supervisorctl stop nessusd
rm -f /opt/nessus/lib/nessus/plugins/plugin_feed_info.inc
cp /pluginsinc/plugin_feed_info.inc /opt/nessus/var/nessus/plugin_feed_info.inc
supervisorctl start nessusd

重置启动

因服务重启时unlimited失效，根据状态异常操作步骤重新操作，编写nessus_start.sh代替service nessusd start，因为命令执行过程较长且Nessus需要重新加载插件，启动过程慢是正常现象。

vi /root/nessus_start.sh

#!/bin/bash
rm -rf /opt/nessus/lib/nessus/plugins/
cp -r /plugins /opt/nessus/lib/nessus/
supervisorctl stop nessusd
rm -f /opt/nessus/lib/nessus/plugins/plugin_feed_info.inc
cp /pluginsinc/plugin_feed_info.inc /opt/nessus/var/nessus/plugin_feed_info.inc
supervisorctl start nessusd

chmod +x /root/nessus_start.sh

手动执行脚本

/root/nessus_start.sh

CentOS Docker环境部署Nessus漏洞扫描系列一最先出现在Liao's blog。

N1盒子刷入OpenWrt设置旁路由实现科学上网

大白 — Tue, 26 Jul 2022 07:44:31 +0000

N1盒子我在前文刷入了joyo1大神的安卓盒子及蓝光播放机双系统
感兴趣可以看看之前的博文

安装环境

在这里我用的是恩山论坛flippy大神编译最新的+O 版本镜像包。
（原博排版及知识量对于新入手的玩家来说不是太友好）

+O：代表已经装好各类插件

刷机教程

注意事项

（1）在烧录U盘过程中，如果安装失败可以更换U盘多试几次。

（2）刷机完成之后有可能遇到N1盒子无法联通网络问题。
在ShadowSocksRPlus+插件中，测试百度无法链接，在这里我们需要在防火墙中设置几条参数。

设置N1中的DNS服务

添加防火墙规则

iptables -t nat -I POSTROUTING -j MASQUERADE
iptables -t nat -I POSTROUTING -o eth0 -j MASQUERADE

调整防火墙网关

进入TTYD终端，输入命令添加默认192.168.50.1网关

root@OpenWrt:~# route
root@OpenWrt:~# route add default gw 192.168.50.1

最后终于可以ping通外网了

成品展示

系统概览

网络联通测试

外网网速测试

N1盒子刷入OpenWrt设置旁路由实现科学上网最先出现在Liao's blog。

Linux系统网络安全检查方案汇总记录

大白 — Fri, 22 Jul 2022 09:27:16 +0000

记录一下日常可能用到的系统检测方案及命令

1. 服务器是否被暴力破解

Debian 和 Ubuntu 存储在 /var/log/auth.log
RedHat 和 CentOS 存储在 /var/log/secure

1.查看 root 用户登录成功的IP及次数看看是否有不熟悉的 IP 地址

grep "Accepted password for root" /var/log/secure | awk '{print  $11}' | sort | uniq -c | sort -nr | more 2.查看尝试暴力破解 root 账户的IP及次数 grep "Failed password for root" /var/log/secure | awk '{print$ 11}' | sort | uniq -c | sort -nr | more

3.查看尝试暴力破解用户名的IP及次数
grep "Failed password for invalid user" /var/log/secure | awk '{print $13}' | sort | uniq -c | sort -nr | more

2. 隐藏系统信息

默认情况下，登录提示信息包括Linux发行版的名称、版本、内核版本和主机名等信息，这些信息对于黑客入侵是很有帮助的，因此，出于服务器的安全考虑，需要将这些信息修改或注释掉。应该只显示一个“login:”提示符。
操作时删除 /etc/issue和/etc/issue.net 文件中的内容即可。

[root@localhost ~]# vim  /etc/issue   issue文件是用户从本地登录时看到的提示(注释或删除内容)

[root@localhost ~]# vim  /etc/issue.net   issue.net文件是用户从网络登录（如telnet、ssh）系统时看到的登录提示(注释或删除内容)。

3. 禁ping设置

在 /etc/rc.d/rc.local 文件增加：echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all ，防止别人ping自己的系统，从而增加系统的安全性。

echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all

4. 防止IP欺骗

在 /etc/host.conf 文件增加一行：nospoof on，防止IP欺骗。

5. 使用以下命令对系统进行系统安全检查。

# Whoami           当前用户？
# W                所有登录用户包括网络登录的？
# Who              所有登录用户包括网络登录的？
# history          历史命令记录
# clear            清屏
# last             曾经登录的用户
# top              活动进程
# netstat          查看网络状态

6. 定期检查系统中的日志

（1）/var/log/messages 日志文件。检查 /var/log/messages 日志文件，查看外部用户的登录情况。

（2）history文件。检查用户主目录 /home/username 下的历史文件，即 .history 文件。

7. 分区保护

在Linux系统中，可以将不同的应用安装在不同的分区上，每个分区分别进行不同的配置，可以将关键分区设置为只读，这样可以大大提高Linux文件系统的安全。Linux文件系统可以分为几个主要的分区，一般情况下至少需要建立 /boot、/lib、/sbin、/usr/local、/var和/home 等分区。

/usr 可以安装成只读，并且可以被认为是不可修改的，如果 /usr 中有任何文件发生了改变，那么系统将立即发出安全报警。

/boot、/lib和/sbin 的安装和设置也一样，在安装时尽量将它们设为只读。
不过有些分区是不能设为只读的，比如 /var。

[root@localhost /]# chattr +i  /usr 加i属性使得root用户也不能在/BIN 创建改变文件

[root@localhost /]# lsattr -d  /usr 验证i属性加成功否？

8. 用户管理

查看用户列表：cat /etc/passwd
查看组列表：cat /etc/group

userdel sync
userdel shutdown
# 需要删除的多余用户共有：sync shutdown halt uucp operator games gopher
groupdel adm
groupdel games
# 需要删除的多余用户组共有：adm lp games dip

Linux中的帐号和口令是依据 /etc/passwd 、/etc/shadow、 /etc/group 、/etc/gshadow 这四个文档的，所以需要更改其权限提高安全性：

chattr +i /etc/passwd
chattr +i /etc/shadow
chattr +i /etc/group
chattr +i /etc/gshado

如果还原，把 +i 改成 -i ,再执行一下上面四条命令。

注：i属性：不允许对这个文件进行修改，删除或重命名，设定连结也无法写入或新增数据！只有 root 才能设定这个属性。

9. 查看当前网络通信IP

#当前网络IP及请求连接数

netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n

#当前80端口通信IP，排查是否CC攻击

netstat -an|grep ':80' -c

#端口抓包分析
tcpdump -nn port 80 or port 443

10. CentOS7防⽕墙放⾏或限制指定IP和端⼝（firewall）

CentOS7默认没有安装iptables，可以⼿动安装iptables；也可以通过CentOS7已带的firewall配置防⽕墙。
1.查看firewalld.service服务状态
systemctl status firewalld

2.查看firewall运⾏状态
firewall-cmd --state

3.⼿动启动/停⽌/重启firewalld.service服务
# 启动firewalld
service firewalld start
# 停⽌firewalld
service firewalld stop
# 重启firewalld
service firewalld restart

4.展⽰当前配置的firewall规则
firewall-cmd --list-all

5.端⼝（端⼝段）的查询/开放
# 查询端⼝是否开放
firewall-cmd --query-port=8080/tcp
# 新建永久规则，开放8080端⼝（TCP协议）
firewall-cmd --permanent --add-port=8080/tcp
# 移除上述规则
firewall-cmd --permanent --remove-port=8080/tcp
# 新建永久规则，批量开放⼀段端⼝（TCP协议）
firewall-cmd --permanent --add-port=9001-9100/tcp

6.IP（IP段）的开放
# 新建永久规则，开放192.168.1.1单个源IP的访问
firewall-cmd --permanent --add-source=192.168.1.1
# 新建永久规则，开放192.168.1.0/24整个源IP段的访问
firewall-cmd --permanent --add-source=192.168.1.0/24
# 移除上述规则
firewall-cmd --permanent --remove-source=192.168.1.1

7.系统服务的开放
# 开放http服务
firewall-cmd --permanent --add-service=http
# 移除上述规则
firewall-cmd --permanent --remove-service=http

8.⾃定义复杂规则（注意是否与已有规则冲突）
# 允许指定IP访问本机8080端⼝

firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.1" port protocol="tcp" port="8080" accept'

# 允许指定IP段访问本机8080-8090端⼝

firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.0/24" port protocol="tcp" port="8080-8090" accept'

# 禁⽌指定IP访问本机8080端⼝

firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.1.1" port protocol="tcp" port="8080" reject'

9.任何修改操作，配置完成后，需要重新装载firewall。可重新启动firewalld服务。
firewall-cmd --reload
service firewalld restart

持续更新…..

Linux系统网络安全检查方案汇总记录最先出现在Liao's blog。

CentOS7.9安装Nodejs爬坑

大白 — Tue, 19 Jul 2022 07:02:15 +0000

引用博文

前言：在安装Nodejs过程中出现了如下报错

node: relocation error: /lib64/libnode.so.93: symbol FIPS_selftest, version OPENSSL_1_1_0g not defined in file libcrypto.so.1.1 with link time reference

在升级了Openssl，Openssh无果之后，在百度/Google检索，很少有见到这类问题的解决办法，只能尝试上文中提到的降级方式，刚好我的服务器也是glibc2.17版本。

ldd --version

安装

下载历史NodeJs版本

安装配置NodeJs

yum install gcc gcc-c++

tar -xvf node-v12.19.1-linux-x64.tar.gz

mv node-v12.19.1-linux-x64 node

#配置环境变量
vim /etc/profile
export NODE_HOME=/usr/local/node
export PATH= $NODE_HOME/bin:$ PATH
source /etc/profile

验证

node -v
npm -v

ps:记录一次爬坑,升级openssh/l可以看以往博文
CentOS 7 离线更新升级 openSSH 9.8p1

CentOS7.9安装Nodejs爬坑最先出现在Liao's blog。

CentOS 7 离线更新升级 openSSH 8.8p1

大白 — Fri, 01 Apr 2022 06:22:32 +0000

简述：最近2022年一季度收到网安漏洞扫描，基本上重复出现的漏洞都是openssh版本过低问题。就着手准备升级ssh，需要注意的是升级ssh或许会导致远程服务器失联，升级之前记得打开telnet连接方式。

更新：升级最新的OpenSSH9.8p1版本

一、环境准备

openSSH 8.8p1离线升级包

查看系统版本

[root@izpv301ot71ucbyplf9wz1z ~]# cat /etc/redhat-release 
CentOS Linux release 7.9.2009 (Core)
[root@izpv301ot71ucbyplf9wz1z ~]# cat /etc/os-release 
NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"
PRETTY_NAME="CentOS Linux 7 (Core)"
ANSI_COLOR="0;31"
CPE_NAME="cpe:/o:centos:centos:7"
HOME_URL="https://www.centos.org/"
BUG_REPORT_URL="https://bugs.centos.org/"
CENTOS_MANTISBT_PROJECT="CentOS-7"
CENTOS_MANTISBT_PROJECT_VERSION="7"
REDHAT_SUPPORT_PRODUCT="centos"
REDHAT_SUPPORT_PRODUCT_VERSION="7"

二、升级准备

创建路径 /root/OpenSSH 并授权，同时创建/root/OpenSSH/packages
服务器联网，如果不能联网手动下载安装包
1) zlib-1.2.12.tar.gz
2) openssl-1.1.1m.tar.gz
3) openssh-8.8p1.tar.gz
4) 依赖包需要：蓝奏云地址，也可以在下面的网站搜索下载RPM Search（有版本号比较好检索下载），将下载的rpm包拷贝到 /root/OpenSSH/packages 即可。
软件包 gcc-4.8.5-44.el7.x86_64
软件包 gcc-c++-4.8.5-44.el7.x86_64
软件包 1:make-3.82-24.el7.x86_64
软件包 pam-1.1.8-23.el7.x86_64
软件包 pam-devel-1.1.8-23.el7.x86_64
软件包 1:openssl-devel-1.0.2k-22.el7_9.x86_64
软件包 pcre-devel-8.32-17.el7.x86_64
软件包 4:perl-5.16.3-299.el7_9.x86_64
软件包 zlib-devel-1.2.7-19.el7_9.x86_64

三、开始升级

将下面的脚本（UpdateOpenSSH.sh）上传至/root/OpenSSH目录，并给定执行权限chmod a+x UpdateOpenSSH.sh。执行./UpdateOpenSSH.sh，等待升级完毕。
UpdateOpenSSH.sh 蓝奏云地址

#!/bin/bash

clear
echo ------------------------------------------
echo        CentOS7 openssh升级到8.8p1
echo               $(date +%F-%T) echo 注意环境，使用前请做好测试！！！ echo ------------------------------------------ sleep 3s clear echo 安装进程开始 3 sleep 1s clear echo 安装进程开始 3 2 sleep 1s clear echo 安装进程开始 3 2 1 sleep 1s clear echo 刷新yum元数据缓存 sleep 2s yum makecache sleep 3s clear echo 检测安装telnet服务 sleep 1s echo 尝试启动telnet服务 sleep 1s cp /etc/securetty /etc/securetty.bak grep "pts/0" /etc/securetty || echo 'pts/0' >> /etc/securetty grep "pts/1" /etc/securetty || echo 'pts/1' >> /etc/securetty systemctl restart telnet.socket && systemctl restart xinetd ps -ef |grep xinetd | egrep -v grep > /dev/null if [$ ? -eq 0 ]
then
    echo 检测到telnet服务已启动……
    systemctl enable telnet.socket
    systemctl enable xinetd
        sleep 2s
else
    echo 未检测到telnet服务，开始安装服务……
    sleep 2s
    yum -y install xinetd telnet-server
    sleep 2s
    clear
    echo 安装telnet服务结束，启动服务……
    systemctl restart telnet.socket &&  systemctl restart xinetd
    systemctl enable telnet.socket
    systemctl enable xinetd
    sleep 1s
fi
clear
echo 关闭SElinux及防火墙并禁用……
sleep 2s
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
cat /etc/selinux/config
systemctl stop firewalld.service
systemctl disable firewalld.service
sleep 2s
clear
echo 安装程序依赖包……
sleep 2s
yum -y install gcc gcc-c++ make pam pam-devel openssl-devel pcre-devel perl zlib-devel
sleep 1s
clear
echo 停止并卸载原有ssh
sleep 3s
systemctl stop sshd
cp -r /etc/ssh /etc/ssh.old
cp -r /etc/init.d/ssh /etc/init.d/ssh.old
rpm -qa | grep openssh
sleep 1s
rpm -e rpm -qa | grep openssh --nodeps
rpm -qa | grep openssh
sleep 1s
clear

echo 判断是否需要安装wget
WGET=rpm -qa | grep wget
if [ $WGET -z ];then yum install -y wget fi echo 准备文件和参数 echo ################################################################ echo 服务器无法联网下载的可以将所需要的升级包放到/root/OpenSSH目录下 echo ################################################################ file=/root/OpenSSH zlib=http://www.zlib.net/zlib-1.2.12.tar.gz openssl=https://www.openssl.org/source/openssl-1.1.1m.tar.gz openssh=https://ftp.openbsd.org/pub/OpenBSD/OpenSSH/portable/openssh-8.8p1.tar.gz echo 创建目录 mkdir -p$ file/zlib
mkdir -p  $file/openssl mkdir -p$ file/openssh
echo 联网通过wget下载安装包
cd  $file echo 开始下载zlib #wget$ zlib
echo 开始下载openssl
#wget --no-check-certificate  $openssl echo 开始下载openssh #wget --no-check-certificate$ openssh
###安装相关依赖包###
yum install -y gcc make perl zlib zlib-devel pam pam-devel

echo 安装zlib
sleep 2s
tar -xzf zlib*.tar.gz -C  $file/zlib sleep 2s cd$ file/zlib/zlib*
./configure --prefix=/usr/local/zlib && make && make install
ls -l /usr/local/zlib
cd ..
sleep 1s
clear
echo 配置zlib
grep  "/usr/local/zlib/lib"  /etc/ld.so.conf.d/zlib.conf ||  echo '/usr/local/zlib/lib' >> /etc/ld.so.conf.d/zlib.conf
ldconfig -v
sleep 1s
clear
echo 安装openssl
sleep 5s
mv -f /usr/bin/openssl /usr/bin/openssl.old
mv -f /usr/include/openssl /usr/include/openssl.old
mv -f /usr/lib64/openssl /usr/lib64/openssl.old
rm -rf /usr/local/ssl
cd  $file tar -xzf openssl*.tar.gz -C$ file/openssl
cd  $file/openssl/openssl* ./config --prefix=/usr/local/ssl --openssldir=/usr/local/ssl shared zlib && make && make install cd .. sleep 5s clear echo 配置openssl sleep 5s ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl ln -s /usr/local/ssl/include/openssl /usr/include/openssl ln -s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1 ln -s /usr/local/lib64/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1 grep "/usr/local/ssl/lib" /etc/ld.so.conf.d/ssl.conf || echo '/usr/local/ssl/lib' >> /etc/ld.so.conf.d/ssl.conf grep "/usr/local/lib" /etc/ld.so.conf.d/ssl.conf || echo '/usr/local/lib' >> /etc/ld.so.conf.d/ssl.conf ldconfig -v openssl version -a sleep 5s clear echo 安装openssh sleep 5s rm -rf /etc/ssh cd$ file
tar -xzf openssh*.tar.gz -C  $file/openssh cd$ file/openssh/openssh*
./configure --prefix=/usr --sysconfdir=/etc/ssh --with-openssl-includes=/usr/local/ssl/include --with-ssl-dir=/usr/local/ssl   --with-zlib --with-md5-passwords
make
sleep 5s
sudo chmod 600 /etc/ssh/ssh_host_rsa_key
sudo chmod 600 /etc/ssh/ssh_host_ecdsa_key
sudo chmod 600 /etc/ssh/ssh_host_ed25519_key
make install
cd ..
pwd
sleep 5s
clear
echo 配置openssh
sleep 10s
echo "PasswordAuthentication yes"   >> /etc/ssh/sshd_config
echo "PermitRootLogin yes" >> /etc/ssh/sshd_config
echo 'Banner /etc/issue' >> /etc/ssh/sshd_config
cp -p openssh-8.8p1/contrib/redhat/sshd.init /etc/init.d/sshd
chmod +x /etc/init.d/sshd
sudo chmod 600 /etc/ssh/ssh_host_rsa_key
sudo chmod 600 /etc/ssh/ssh_host_ecdsa_key
sudo chmod 600 /etc/ssh/ssh_host_ed25519_key
chkconfig --add sshd
chkconfig sshd on
systemctl restart sshd
sleep 10s
clear
systemctl status sshd
if [ $? -eq 0 ]
then
    clear
    echo SSH安装并运行成功，开始关闭并禁用telnet
    sleep 1s
    systemctl stop telnet.socket &&  systemctl stop xinetd
    systemctl disable telnet.socket &&  systemctl disable xinetd
    sleep 1s
    echo 升级完成,安装ssh2扩展支持
    sleep 5s
    yum install libssh2 -y
    clear
    echo 安装进程结束
    sleep 5s
else
    echo SSH未成功安装或配置，安装进程即将退出，请检查日志……
    sleep 5s
fi

查看升级情况ssh -V

[root@izpv301ot71ucbyplf9wz1z ~]# ssh -V
OpenSSH_8.8p1, OpenSSL 1.1.1m  14 Dec 2021
[root@izpv301ot71ucbyplf9wz1z ~]#

CentOS 7 离线更新升级 openSSH 8.8p1最先出现在Liao's blog。

Docker-compose安装部署ELK并集成SpringBoot

大白 — Wed, 30 Mar 2022 08:32:29 +0000

原文地址：https://www.cnblogs.com/zys2019/p/14816634.html

一、概述

1.1 定义

对于大规模的日志，需要集中化的管理。而ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。ELK是三种技术产品的简称，包括Elasticsearch、Logstash、Kibana，可在项目中作为日志框架使用。

1.2 功能说明

Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。
Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

简单来说，应用服务生产日志，通过Logger产生日志并输出；Logstash通过http接收应用服务产生的日志；Elasticsearch为日志提供全文检索功能；kibana为Elasticsearch提供图形化界面。

二、部署ELK

部署环境

CentOS Linux release 7.9.2009 (Core)
Docker Version: 20.10.12
Docker Compose version v2.3.4

2.1 创建目录及配置文件

1) 创建elasticsearch数据目录及插件目录

mkdir -p /home/middleware/elk/elasticsearch/data
mkdir -p /home/middleware/elk/elasticsearch/plugins
//elasticsearch数据文件夹授权，保障docker容器中读写权限
chmod 777 /home/middleware/elk/elasticsearch/data

2) 创建kibana目录，以便后续汉化操作

mkdir -p /home/middleware/elk/kibana/config
touch /home/middleware/elk/kibana/config/kibana.yml

配置kibana汉化

vim /home/middleware/elk/kibana/config/kibana.yml

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
# 注意你的本地IP
elasticsearch.hosts: [ "http://本地IP:9200" ]
monitoring.ui.container.elasticsearch.enabled: true
#汉化
i18n.locale: "zh-CN"

3) 创建logstash.conf配置文件

mkdir -p /home/middleware/elk/logstash.conf配置文件/conf.d/
touch /home/middleware/elk/logstash/conf.d/logstash.conf

编辑配置logstash.conf，其内容如下

vim /home/middleware/elk/logstash/conf.d/logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

在这里指定了输入的日志的端口是4560，那么下面对外暴露的端口也必须是4560。

4) 创建docker-compose.yml文件

touch /home/middleware/elk/docker-compose.yml

2.2 配置docker-compose并启动

cd /home/middleware/elk
vim docker-compose.yml

配置内容如下：


version: '3.7'
services:
  elasticsearch:
    image: elasticsearch:7.17.1
    container_name: elasticsearch
    privileged: true
    user: root
    environment:
      #设置集群名称为elasticsearch
      - cluster.name=elasticsearch 
      #以单一节点模式启动
      - discovery.type=single-node 
      #设置使用jvm内存大小
      - ES_JAVA_OPTS=-Xms512m -Xmx512m 
    volumes:
      - /home/middleware/elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - /home/middleware/elk/elasticsearch/data:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
      - 9300:9300

  logstash:
    image: logstash:7.17.1
    container_name: logstash
    ports:
       - 4560:4560
    privileged: true
    environment:
      - TZ=Asia/Shanghai
    volumes:
      #挂载logstash的配置文件
      - /home/middleware/elk/logstash/conf.d/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    depends_on:
      - elasticsearch 
    links:
      #可以用es这个域名访问elasticsearch服务
      - elasticsearch:es 

  kibana:
    image: kibana:7.17.1
    container_name: kibana
    ports:
        - 5601:5601
    privileged: true
    links:
      #可以用es这个域名访问elasticsearch服务
      - elasticsearch:es 
    depends_on:
      - elasticsearch 
    environment:
      #设置访问elasticsearch的地址
      - elasticsearch.hosts=http://elasticsearch:9200
    volumes:
      - /home/middleware/elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml

这里使用privileged设置为true是赋予这个容器root权限。然后启动

5) docker-compose启动elk

完整目录结构如下图

cd /home/middleware/elk
docker-compose up -d

若启动报错，需要先关闭并删除容器后再重新启动。关闭删除命令：

docker-compose down

2.3 打开kibana

输入http://192.168.1.104:5601/app/home，访问Kibana web界面。点击左侧设置，进入Management界面

三、日志收集

本文通过SpringBoot架构把日志信息记录到logstash。

3.1 环境准备

IntelliJ IDEA 2019.3.5
Spring-boot

3.1.1 创建springboot项目

1) 打开IDEA，新建File -> New -> Project -> Spring Initializr

2) 创建springelk测试项目

3) 新建一个springboot的项目，在 pom.xml 下导入以下web的依赖


        
            org.springframework.boot
            spring-boot-starter-web
        

        
            net.logstash.logback
            logstash-logback-encoder
            6.6

3.1.2 使用logback记录日志

logback是SpringBoot自带的日志，只要导入了web的依赖即可使用。
1) 在测试包下新建一个测试类和测试方法

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

/**
 *
 * @author lkh
 * date:2022-03-30
 */

@RunWith(SpringRunner.class)
@SpringBootTest(classes = SpringElkTest.class)
public class SpringElkTest {
//创建log对象

    Logger logger = LogManager.getLogger(this.getClass());

    @Test
    public void logback() {
        logger.info("这是一个logback日志Info信息");
        logger.error("这是一个logback日志Error信息");
    }

}

2）在resources目录新建logback-spring.xml

写入以下内容




    
    
    
    
    
    {LOG_FILE:-{LOG_PATH:- ${LOG_TEMP:-$ {java.io.tmpdir:-/tmp}}}/logs}"/>
     ${APP_NAME}$ 
    
    
        
            {LOG_FILE_PATH}/ ${APP_NAME}-%d{yyyy-MM-dd}.log$ 
            30
        
        
            {FILE_LOG_PATTERN}
        
    
    
    
        
        192.168.1.104:4560

3) 然后启动测试方法，查看控制台日志。

4) 返回kibana页面，创建索引，已自动搜索展示出来

5) 选择Discover,可以看到刚才打印的日志已经反馈到kibana中

查看信息时，建议在左侧Available fields中筛选出"message"信息，"host"字段可选。筛选的字段在左侧也可以看到，右侧看到的信息就比较清晰。

需要注意的是，在这些日志中，时间是logstash收集日志时的创建时间，并不是原始日志的记录时间。

3.1.3 使用log4j2记录日志

要使用log4j2，则必须排除SpringBoot自带的日志。
1) pom.xml中排除logback并导入log4j2依赖


                
                    org.springframework.boot
                    spring-boot-starter
                    
                        
                
                    org.springframework.boot
                    spring-boot-starter-logging
                
            
        

        
        
            org.springframework.boot
            spring-boot-starter-log4j2
            2.1.0.RELEASE

在资源目录下新建log4j2.xml




    
        
        E:\logs
        
    

    
        
        
            
            
            
            {LOG_PATTERN}"/>
        

        
        {date:yyyy-MM-dd}.log"
                     filePattern="{LOG_HOME}\ ${date:yyyy-MM}\app_%d{yyyy-MM-dd}_%i.log">$

注意需要指定logstash服务的ip和记录日志的端口。

3) 新建测试类及方法

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;

/**
 *
 * @author lkh
 * date:2022-03-30
 */

@RunWith(SpringRunner.class)
@SpringBootTest(classes = SpringElkTest.class)
public class SpringElkTest {
//创建log对象

    Logger logger = LogManager.getLogger(this.getClass());

    /*@Test
    public void logback() {
        logger.info("这是一个logback日志Info信息test1111");
        logger.error("这是一个logback日志Error信息test1111");
    }*/

    @Test
    public void log4j2() {
        logger.info("这是一个log4j2日志Info信息");
        logger.error("这是一个log4j2日志Error信息");
    }

}

4) 启动测试方法

查看kibana的日志信息

查看信息时，建议在左侧Available fields中筛选出"message"信息，"thread_name"，"host"字段可选。筛选的字段在左侧也可以看到，右侧看到的信息就比较清晰，包含了日志本身的时间，这是是配置日志配置的。

Docker-compose安装部署ELK并集成SpringBoot最先出现在Liao's blog。

Nginx不停服务热升级

大白 — Thu, 24 Mar 2022 07:27:00 +0000

原博地址：软件老王

1. 场景描述

在线上环境下，为了最小化影响服务的正常使用，在这里采用不停服务对nginx进行热升级，也一定程度保障nginx不会出现旧版本安全漏洞。

2. 升级

官网下载：http://nginx.org/en/download.html
nginx 1.9.9升级至nginx 1.20.2

3. 整体备份

[root@laobai ~]# whereis nginx
nginx: /usr/local/nginx
[root@laobai ~]# cd /usr/local
[root@laobai ~]# cp  -rf nginx nginx20220324

4. 升级

[root@laobai ~]# cd   /usr/local
[root@laobai ~]# tar zxvf  nginx-1.20.2.tar.gz
[root@laobai ~]# cd nginx-1.20.2/
[root@laobai ~]# ./configure --prefix=/usr/local/nginx
[root@laobai ~]# make
----切记不要执行make install，该命令是命令是安装，会覆盖原有文件夹

---升级重点就是这一行命令
[root@laobai ~]# cp -rf /usr/local/nginx-1.20.2/objs/nginx /usr/local/nginx/sbin/
[root@laobai ~]# make upgrade

说明

切记不要执行make install，该命令是安装，会覆盖原有文件夹
升级nginx，其实是升级的nginx的二进制文件，以下命令是重点：

[root@laobai ~]# cp -rf /usr/local/nginx-1.20.2/objs/nginx /usr/local/nginx/sbin/

5. 验证

[root@laobai ~]# cd /usr/local/nginx
[root@laobai ~]# cd sbin/
[root@laobai ~]# ./nginx -v
nginx version: nginx/1.20.2

Nginx不停服务热升级最先出现在Liao's blog。

Linux归档 - Liao's blog

Ubuntu安装Ollama,Huggingface下载GGUF大模型手动导入Ollama

一、Ollama 下载与部署

1. 自动安装

2. 手动安装

3. 创建 Ollama 用户及系统服务

4. 配置重载及开机自启

二、Huggingface模型下载

三、Ollama手动加载模型运行

1. 在DeepSeek模型文件同级目录下创建文件ollama-deepseek并写入以下内容：

2. 在Qwq模型文件同级目录下创建文件ollama-qwq并写入以下内容：

四、查看模型与运行模型

Docker compose安装配置向量数据库Milvus，配置可视化Attu

环境准备

Milvus向量数据库简介

安装Milvus

启动Mlivus

验证效果

Ubuntu24.04 TLS桌面版安装Nvidia显卡驱动

一、硬件环境

二、软件环境

2.1内核升级

2.1.1 在进行内核升级之前，建议更新系统中的所有软件包，以确保兼容性：

2.1.2 下载内核包 原装6.11内核版本必须升级到6.13版本以上，gcc版本升级到14

2.1.3 安装内核包

2.2 gcc升级14.2

2.2.1 检查当前GCC版本

2.2.2 使用APT工具自动安装

三、安装NVIDIA驱动

3.1 下载 NVIDIA 驱动程序：

3.2 安装Nvidia驱动：

3.3 Network Repository 安装

3.4 启动驱动程序安装

四、验证效果

使用docker部署pgsql，构建容灾高可用集群

一、简介

二、部署环境

1. 拉取docker镜像

2. 启动pgsql数据库

3. 启动Pgpool

4. 测试验证

Docker仓库镜像代理打造属于自己的Docker Hub

环境准备

一、Docker代理工具介绍

为什么需要这个工具？

二、GitHub Fork本项目

三、登录Cloudflare创建Pages自动化

四、开始部署设置

地址栏输入你的自定义域名搜索镜像查询，毫无压力。

五、配置验证

CentOS7 Openssh离线升级至9.8p1，OpenSSL升级至1.1.1w

相关环境

Openssh离线安装升级

1. 将脚本解压放到/root/OpenSSH下。

2. 授权脚本运行升级Openssh及Openssl,静待升级即可。

升级效果

使用Nginx转发代理ChatGpt接口，Java调用实现多轮对话

一、理论概述

二、环境要求

三、Nginx转发

四、Java实例调用实现多轮对话

五、运行结果

CentOS7 Openssh升级至9.5p1，OpenSSL升级至1.1.1w

相关环境

联网升级安装

升级成功

ChatGPT Java实例接入

现状

申请API keys

官网支持语言一览

调用费用

官网实例接入

使用场景

代码实现

postman调用测试

Java代码调用

按照等保测评标准实施操作系统加固的建议和参考

Windows

一、身份鉴别

1. 口令复杂度和口令更改周期

1. 在DeepSeek模型文件同级目录下创建文件`ollama-deepseek`并写入以下内容：

2. 在Qwq模型文件同级目录下创建文件`ollama-qwq`并写入以下内容：

2.1.2 下载内核包原装6.11内核版本必须升级到6.13版本以上，gcc版本升级到14

1. 将脚本解压放到`/root/OpenSSH`下。

CentOS Docker环境部署Nessus漏洞扫描系列一