Nach dem Ausfall einer OSD und dem Einbau von neuen Disks, meldet Ceph beim Hinzufügen der neuen Disks:
stdout: Physical volume „/dev/sdf“ successfully created.
stdout: Volume group „ceph-84c8ad75-90e5-4f01-88f6-2c2233e9b71b“ successfully created
Running command: lvcreate –yes -l 953861 -n osd-block-957d0f49-75e2-43bd-9596-c6055e61fd7a ceph-84c8ad75-90e5-4f01-88f6-2c2233e9b71b
stdout: Logical volume „osd-block-957d0f49-75e2-43bd-9596-c6055e61fd7a“ created.
Running command: /usr/bin/ceph-authtool –gen-print-key
–> Was unable to complete a new OSD, will rollback changes
Die Fehlermeldung ist ziemlich nichtssagend. Ein Blick mit strace verrät etwas mehr:
mkdir(„/var/lib/ceph/osd/ceph-1“, 0777) = -1 EEXIST (File exists)
ls -alh /var/lib/ceph/osd/
ls: cannot access ‚/var/lib/ceph/osd/ceph-1‘: Input/output error
total 8.0K
drwxr-xr-x 5 ceph ceph 4.0K Jun 18 2019 .
drwxr-x— 14 ceph ceph 4.0K Nov 10 2021 ..
drwxrwxrwt 2 ceph ceph 200 Dec 16 12:11 ceph-0
d????????? ? ? ? ? ? ceph-1
drwxr-xr-x 2 ceph ceph 261 Dec 16 12:09 ceph-2
Hier hängt also noch ein Rest der alten OSD. Dies zeigt auch mount:
mount |grep ceph-1
/dev/sdb1 on /var/lib/ceph/osd/ceph-1 type xfs (rw,relatime,attr2,inode64,logbufs=8,logbsize=32k,noquota)
umount -f /var/lib/ceph/osd/ceph-1
ls -alh /var/lib/ceph/osd/
total 12K
drwxr-xr-x 5 ceph ceph 4.0K Jun 18 2019 .
drwxr-x— 14 ceph ceph 4.0K Nov 10 2021 ..
drwxrwxrwt 2 ceph ceph 200 Dec 16 12:11 ceph-0
drwxr-xr-x 2 root root 4.0K Jun 18 2019 ceph-1
drwxr-xr-x 2 ceph ceph 261 Dec 16 12:09 ceph-2
Zumindest die Fehlermeldung ist weg.
Erneuter Versuch via Proxmox-GUI ist nun auch von Erfolg gekrönt.