매주 한 page, 기술 한 spoon

노드 드레인 후 OSD를 제거하고 동일 ID로 다시 등록하는 과정에서 다음과 같은 오류가 발생

ceph failed to fetch mon config

이 문제는 OSD 인증키(keyring) 불일치로 인해 MON과 통신이 실패하면서 발생했습니다. 아래는 실제 운영 환경에서 문제를 해결한 방법입니다.

🧭 문제 발생 상황

• 노드 드레인 → OSD 제거
• 동일한 OSD ID로 재등록
• OSD가 기동되지 않고 위 오류 발생

로그에서 ceph-mon과의 인증 실패가 확인됐고, 원인은 기존 OSD keyring 값과 현재 key 값이 다르기 때문이었습니다.

🛠 해결 방법

1. 기존 keyring 값 확인

문제의 OSD가 기동되기 전, 디스크 상에 남아있는 기존 keyring 파일을 확인

노드에 접속해 다음 위치를 찾기

cd /var/lib/rook/rook-ceph
find . -name keyring

예: /var/lib/rook/rook-ceph/osd3/keyring

cat /var/lib/rook/rook-ceph/osd3/keyring

출력 예시:

[osd.3]
key = AQD2k/BlcE+YJxAA/QsD/fIAL1qPrh3hjQ7AKQ==

2. rook-ceph-tools로 접속

kubectl -n rook-ceph exec -it deploy/rook-ceph-tools -- bash

3. 현재 클러스터에 등록된 OSD 키 확인

ceph auth get osd.3 -o /tmp/key

이렇게 하면 기존 클러스터에 등록된 키 값을 /tmp/key에 저장 가능

하지만 우리는 디스크에서 찾은 진짜 keyring 값을 사용해야 하므로, 이 파일을 수정

vi /tmp/key

내용을 다음과 같이 수정

[osd.3]
key = AQD2k/BlcE+YJxAA/QsD/fIAL1qPrh3hjQ7AKQ==
caps mgr = "allow profile osd"
caps mon = "allow profile osd"
caps osd = "allow *"

4. Ceph 클러스터에 Key 재등록

ceph auth import -i /tmp/key

5. OSD Deployment 재기동

kubectl -n rook-ceph rollout restart deploy rook-ceph-osd-3

✅ 마무리

• 동일한 OSD ID로 재등록 시, 예전 keyring이 디스크에 남아있는 경우 해당 키를 사용
• 키가 일치하지 않으면 MON 설정 정보를 받아올 수 없고, OSD가 기동되지 않음
• 이 문제는 Rook-Ceph의 공식 이슈로도 공유