매주 한 page, 기술 한 spoon

Ubuntu 기반 shellPod 이미지 + 자동화 스크립트로 운영 생산성 향상

💡 왜 이 작업을 하게 되었는가?

Kubernetes를 운영하다 보면, 어떤 **노드(Node)**에서 문제가 발생했는지 직접 확인해야 할 일이 생긴다.

보통은 SSH로 해당 노드에 접속해서 top, netstat, ps 등을 통해 시스템 상태를 보게 된다.

하지만 실제 운영 환경에서는 다음과 같은 상황이 흔하다:

• SSH 포트가 닫혀 있거나 Bastion을 통해서만 접속 가능
• 모든 노드에 접근할 수 있는 SSH 키가 존재하지 않음
• GKE, EKS, AKS처럼 관리형 Kubernetes에서는 SSH 접근이 기본적으로 차단됨

이럴 때 대안이 되는 것이 바로 K9s의 nodeShell 기능이다.

🧭 nodeShell 기능이란?

K9s는 인기 있는 Kubernetes 터미널 UI 툴이다.

여기서 nodeShell 기능을 사용하면, 특정 노드의 네임스페이스에 직접 연결된 Pod를 생성해서 마치 SSH처럼 쉘에 진입할 수 있다.

기본적으로 nodeShell은 다음 동작을 한다:

1. 현재 선택한 노드 위에 privileged + hostPID Pod를 띄운다.
2. 해당 Pod 안에서 nsenter 명령어를 사용해 노드의 PID 1 (init) 에 진입한다.
3. 네트워크, 파일시스템, mount, UTS, IPC 네임스페이스까지 함께 접근한다.
4. 결과적으로, 그 노드의 루트 환경에 bash로 진입한 것처럼 보이게 된다.

하지만 문제는…

⚠️ 기본 shellPod는 BusyBox 기반이다

K9s는 기본적으로 BusyBox 기반의 최소한 shellPod를 띄운다. 그래서 다음과 같은 불편이 있다:

• bash가 아니라 sh만 제공됨
• ps, top, ss, netstat, vim, curl 없음
• 시스템 진단을 제대로 하기 어려움

운영자라면, 실전에서 이런 툴이 빠진 환경은 사실상 무용지물이다.

🎯 목표: Ubuntu 환경에서 실전 shellPod 구성

우리는 아래와 같은 shellPod를 만들고자 한다:

• Ubuntu 22.04 기반
• bash, ps, top, nsenter, procps, util-linux 포함
• Docker 이미지로 배포 가능
• K9s와 연동되도록 자동 설정
• 안전한 범위 내에서 운영에 활용 가능

🛠 1. Dockerfile 작성

FROM ubuntu:22.04

RUN apt-get update && \\
    apt-get install -y util-linux procps bash && \\
    rm -rf /var/lib/apt/lists/*

ENTRYPOINT ["nsenter", "--target", "1", "--mount", "--uts", "--ipc", "--net", "--pid", "--", "bash"]

설명

• util-linux: nsenter 포함됨. → 이게 핵심.
• procps: ps, top 같은 시스템 모니터링 툴 제공
• -target 1: PID 1 = 노드의 init process → 가장 상위 권한
• -mount, -net, -pid 등은 namespace 공유 플래그
• bash 실행됨 → 익숙한 환경

이 이미지로 Pod를 띄우면, 노드 자체에 진입한 듯한 bash 환경이 제공된다.

⚙️ 2. 이미지 빌드 & 푸시 자동화 (build_and_push.sh)

./build_and_push.sh ghcr.io/myuser/k9s-nodeshell latest

기능 설명

• Dockerfile이 Ubuntu 22.04 기반인지 검사
• Docker 이미지 빌드 수행
• GitHub Container Registry(ghcr.io) 등에 푸시

사용법

./build_and_push.sh <repository> <tag>
예시:
./build_and_push.sh ghcr.io/myuser/k9s-nodeshell latest

DockerHub도 가능하지만, 개인 프로젝트나 보안 측면에서는 GitHub Container Registry 권장

🔧 3. K9s 설정 자동화 스크립트 (setup_k9s_shellpod.sh)

./setup_k9s_shellpod.sh ghcr.io/myuser/k9s-nodeshell:latest

동작 방식

• $HOME/.config/k9s/config.yaml 파일을 찾음 (또는 생성)
• k9s.shellPod.image 값을 우리가 만든 이미지로 자동 설정
• 없으면 새로 추가, 있으면 값만 덮어씀

자동으로 작성되는 설정 예시

k9s:
  shellPod:
    image: ghcr.io/myuser/k9s-nodeshell:latest
    namespace: default
    limits:
      cpu: 100m
      memory: 100Mi

설정을 수동으로 변경할 수도 있지만, 실수나 오타 가능성이 있으니 스크립트 사용을 추천

🖥 4. 실제 사용법 – K9s에서 쉘 진입

1. k9s 실행
2. n 키를 눌러 노드 뷰로 이동
3. 접속할 노드를 선택
4. s 키를 누르면 → shellPod가 자동 생성되며 bash 접속

결과 화면

• 이 상태는 해당 노드의 / 디렉터리로 직접 진입한 것과 동일
• ps, top, netstat 등 시스템 도구 사용 가능
• 컨테이너 격리 없이 직접 노드 진단 가능

🧪 5. 직접 Pod로 배포해서 테스트하기

apiVersion: v1
kind: Pod
metadata:
  name: nodeshell-direct
spec:
  hostPID: true
  containers:
    - name: nodeshell
      image: ghcr.io/myuser/k9s-nodeshell:latest
      securityContext:
        privileged: true
      stdin: true
      tty: true
  restartPolicy: Never

설정 해설

• hostPID: true → 노드의 PID 네임스페이스 공유
• privileged: true → 모든 namespace와 장치 접근 허용
• stdin: true, tty: true → 터미널 인터랙션 가능

🔐 보안 관련 주의사항

이 shellPod는 매우 강력하다. 노드의 루트 환경에 직접 접근할 수 있기 때문에 다음 사항을 반드시 지켜야 한다.

• 운영자만 사용 (개발자나 일반 사용자에겐 비허용)
• 프로덕션 환경에선 임시 접속만 허용
• 이미지 push는 trusted registry에만
• 노드 레벨 감사 로그로 사용 추적 필요

🧪 테스트 환경 정보

• K9s 버전: v0.50.1
• 테스트 클러스터: self-hosted Kubernetes (kubeadm 기반)
• Docker 버전: 24.x
• OS: Ubuntu 22.04 LTS

✅ 요약 정리

📎 전체 코드 및 문서

🔗 GitHub: https://github.com/pu4ro/k9s_node_shell