这是 2018 年一套生产环境 Proxmox VE 三节点超融合的现场记录:从建集群、装 Ceph Hammer、划 OSD、建资源池,到把 RBD 挂成共享存储,13 张截图都是当时在现场截的。原文是工作笔记,发布前清理了排版残留、修正了命令拼写,环境 IP 与主机名保持原样(内网地址,无敏感信息);当年版本已全部 EOL,文末补了 2026 年重做这件事该怎么做。
| 项目 | 配置 |
|---|---|
| 节点 | 3 台,Proxmox VE 3.4,主机名 cloud51 / cloud52 / cloud53 |
| 管理网段 | 10.0.0.51 – 10.0.0.53(/24) |
| 分布式存储 | Ceph Hammer 0.94.9,由 pveceph 管理 |
| 目标 | 三节点互为副本,虚机磁盘放共享存储,单节点故障不影响虚机运行与在线迁移 |
做法很直接:先用 pvecm 把三台机器组成一个集群,再用 pveceph 在三台机器上装一套 Ceph,把每台的 /dev/sdb 做成 OSD,最后在 Web 界面把 RBD 池挂成共享存储。这样虚机磁盘落在 Ceph 上,节点之间可以直接在线迁移,不需要本地盘互拷。
在 cloud51 上执行(pvecm create [集群名]):
root@cloud51:~# pvecm create vclusters
在主节点创建集群,集群名 vclusters
在 cloud52、cloud53 上分别执行(pvecm add [主节点IP]),过程中按提示输入主节点的 root 密码:
root@cloud52:~# pvecm add 10.0.0.51
从节点加入集群:加入成功时会提示节点已写入集群配置
root@cloud51:~# pvecm status
pvecm status:Quorum 正常,三个节点都在集群里
root@cloud51:~# pvecm nodes # 旧版写 pvecm node,新版为 nodes

查看集群成员节点列表
pveceph install 会从 Proxmox 源装 Ceph 包,三台都要跑一遍:
root@cloud51:~# pveceph install --version hammer
root@cloud52:~# pveceph install --version hammer
root@cloud53:~# pveceph install --version hammer
pveceph install 安装 Ceph Hammer 组件
指定 Ceph 使用的网段与三台机器的管理网保持一致(生产环境建议给 Ceph 单独划 public / cluster 双网段):
root@cloud51:~# pveceph init --network 10.0.0.0/24
root@cloud51:~# pveceph createmon
root@cloud52:~# pveceph createmon
root@cloud53:~# pveceph createmon
每台机器拿一块独立盘做 OSD(这里是 /dev/sdb,实际按盘符调整)。注意 OSD 盘会被格式化,务必先确认盘符没写错。
root@cloud51:~# pveceph createosd /dev/sdb
root@cloud52:~# pveceph createosd /dev/sdb
root@cloud53:~# pveceph createosd /dev/sdb
pveceph createosd 创建 OSD,完成后 Ceph 集群进入 active+clean
Ceph 默认有一个 rbd 池,直接用也可以;单独建一个业务池便于配额与权限区分:
root@cloud51:~# ceph osd pool create vclusters 128 128
create pool 命令输出

ceph -s 确认集群健康、三个 mon 就位
数据中心 → 存储 → 添加 → RBD,填写要点:
ceph(必填,且创建后不可改)vclusters(默认 rbd)10.0.0.51 10.0.0.52 10.0.0.53,多个用空格分隔
存储列表与「添加 RBD」入口

添加 RBD 表单:ID、资源池、三个 Monitor、三个节点
Proxmox 访问 Ceph 用的是 /etc/pve/priv/ceph/<存储ID>.keyring,把 admin keyring 复制过去并改名:
cd /etc/pve/priv
mkdir -p ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/ceph.keyring
chmod 600 /etc/pve/priv/ceph/ceph.keyring
查看 RBD 存储配置信息

确认存储在各节点均已启用

存储总览:ceph 共享存储可用容量 10.90 TB,三节点共用
pveceph 的 OSD 创建参数也变了(可指定 --db_dev 把 RocksDB 放 SSD,机械盘做数据盘时性能差别很大)。/etc/pve/priv/ceph/*.keyring,只要 Monitor 地址与认证信息填对即可。2026 年发布说明:本文为 2018 年现场笔记整理,命令与界面以 PVE 3.4 / Ceph Hammer 为准;原文的拼写与全角符号错误(pveceph install –version、roo@、Monitor: 0.0.51)已按上下文修正,操作顺序未改动。需要三节点超融合的规划、部署与迁移评估,见 Proxmox 虚拟化方案;配套案例见 三节点 Proxmox + Ceph 超融合交付现场。