K8s HPA 급격 증감으로 인한 레이턴시 폭등 원인과 실무 대응 AI 생성 이미지: K8s HPA 급격 증감으로 인한 레이턴시 폭등 원인 문제 정의 — K8s HPA 급격 증감으로 인한 레이턴시 폭등 현상 Kubernetes HPA가 짧은 시간에 급격히 스케일 인/아웃할 때 관찰되는 현상으로, 응답 지연(스파이크 지연)과 5xx 오류가 동시에 증가합니다. 표면적으로는 노드와 파드 수가 변해도 실제 유효 처리량은 일시적으로 떨어집니다. 그 결과 요청 큐잉, 타임아웃, 연결 실패가 빈번해집니다. 주요 증상: 응답 시간(latency)의 순간적 급상승, 5xx(예: 502/504) 에러 비중 증가와 재시도 폭증. 발생 시점: 트래픽이 급증하거나 급감한 직후. HPA의 판단 지연, 메트릭 수집 주기, 파드 준비(Init/Ready) 지연이 겹칠 때 주로 발생합니다. 내부 원인 요약: readiness/liveness 프로브 불일치, 초기화 지연(long startup) 또는 콜드 캐시, 트래픽 분산 불균형, 컨트롤플레인·API 서버 지연, 리소스 재귀적 스케줄링 등 복합 요인. 비즈니스 영향: 사용자 경험 저하로 인한 이탈·클레임 증가, SLA 위반과 손실된 트랜잭션, 오탐 기반 자동 스케일로 인한 불필요한 비용 상승. 실무 체크리스트 예: readiness 프로브와 시작 시간 측정, HPA/메트릭 수집 주기 검토, 파드 준비 시간 단축(이미지 최적화·워밍업) 우선 점검. 관찰성과 진단 — 어떤 지표·로그·트레이스로 원인을 좁힐까 급격한 HPA/CA 증감으로 레이턴시가 급등할 때는 시간 축 기반의 상관관계 분석이 관건이다. 아래 항목을 차례대로 점검하라. Pod 시작 시간·Pending 상태: 생성 타임스탬프, 이미지 풀 실패나 Backoff 여부, readiness가 언제 통과되는지 확인하라. Pending 상태가 오래 지속되면 스케줄링 문제나 이미지 관련 이슈를 의심해야 한다. HPA/CA 이벤트: ...