매주 한 page, 기술 한 spoon

얼마 전 실제 운영 중이던 Ceph 클러스터에서, 고객의 요청으로 OSD 하나를 제거했더니 일이 꼬이기 시작했습니다.

처음엔 별일 아닌 줄 알았어요. PG 몇 개가 잠깐 degraded 뜨더니, 금방 recovery 되겠지 싶었는데…

계속 HEALTH_WARN은 사라지지 않았습니다.

HEALTH_WARN mon.b is low on available space; 1 pgs not deep-scrubbed in time; 1 pgs not scrubbed in time
[WRN] PG_NOT_DEEP_SCRUBBED: 1 pgs not deep-scrubbed since ...
[WRN] PG_NOT_SCRUBBED: 1 pgs not scrubbed since ...

ceph pg scrub, ceph pg deep-scrub 명령 다 넣어봐도 반응 없음.

scrub이 안 되니까 PG 상태도 끝까지 clean으로 돌아가지 않고, 그냥 ‘복구 중’인 척만 하고 있는 상태.

🎯 이때 알게 된 핵심 사실 하나!

scrub이 recovery랑 같이 돌아가지 않으면, Ceph은 복구가 안 끝납니다.

우리는 늘 recovery = 복구라고 생각하잖아요? 근데 scrub이 빠진 recovery는 사실상 반쪽짜리입니다.

이걸 몰라서 며칠 동안 “왜 안 끝나지?” 하면서 로그만 들여다보고 있었죠…

🧩 문제 상황 요약

• osd.2 제거 (심지어 제대로 제거함)
• 일부 PG가 다른 OSD로 옮겨가며 recovery 시작
• 몇몇 PG는 degraded / recovering 상태로 고정
• scrub 명령 수동으로 쳐도 반응 없음
• 경고 메시지는 점점 누적

🧪 원인 분석: scrub이 안 돌아가는 이유들

1. PG 상태부터 확인해보자

ceph pg 1.0 query

scrub이 되려면 상태가 반드시 active+clean이어야 합니다.

recovering, backfill, degraded 상태면 scrub은 대기하거나 무시됨.

“아니 그럼 언제 scrub하라는 거지?” → 이게 바로 두 번째 체크포인트입니다.

2. scrub 가능한 시간대가 있는지 확인

ceph config get osd osd_scrub_begin_hour
ceph config get osd osd_scrub_end_hour

예를 들어, 새벽 2시~6시로 설정돼 있으면, 그 외 시간엔 수동 scrub도 무시됩니다.

이게 은근히 많이 막히는 포인트입니다.

3. recovery 중 scrub이 막혀 있는 경우

ceph config get osd osd_scrub_during_recovery

기본값은 false.

즉, recovery가 진행 중이면 scrub은 자동이든 수동이든 전부 차단입니다.

→ 해결법:

ceph config set osd osd_scrub_during_recovery true

이 설정을 바꿔주는 순간, PG 상태가 하나둘씩 clean으로 바뀌기 시작했습니다.

이게 진짜 핵심이었습니다.

4. PG 담당 OSD 상태도 체크

ceph pg map 1.0

해당 PG를 담당하는 OSD들이 다 up + in 상태인지 확인하고,

ceph osd perf, ceph osd df로 상태도 같이 봐주세요.

• nearfull, slow, down이면 scrub 안 돌아요..
• latency 높으면 scrub 지연됨

🔧 디버깅용 scrub 강제 실행도 있음

정 안 될 때는 강제로도 실행 가능: (scrub이 될려면 recovery true 옵션을 켜줘야 함)

ceph tell pg 1.0 scrub
ceph tell pg 1.0 deep-scrub

단, 운영환경에선 진짜 진짜 조심해서 써야 합니다. 테스트 환경에서 먼저 해보세요.

✅ 핵심 정리

🧠”복구 중”이라는 말만 믿지 마세요

Ceph이 “복구 중”이라고 해서 진짜로 복구가 진행 중이라는 보장은 없습니다.

scrub이 멈춰 있으면 recovery는 그냥 겉돌 뿐, PG는 절대 clean 상태로 돌아오지 않아요.

운영 중 OSD를 추가하거나 제거한 직후, 복구가 끝났다고 생각했는데 HEALTH_WARN이 계속 남아 있다면?

👉 scrub이 막혀 있는지 꼭 확인하세요.