[20250414] 장애 분석과 진단 필기

1. 장애 분석과 진단

1-1. 초기 대응과 모니터링
- 장애 발생 시, 관련 팀에 통보하여 초기 대응을 함
- 모니터링 시스템을 통해 장애 상황을 빠르게 인지할 수 있도록 함
- 임계점 설정을 통해 장애 심각도를 파악하고, 우선순위를 정함
- 서비스 중단, 서비스 성능 저하, 데이터 손상 등 영향을 고려함
- 장애의 심각성을 판단한 후, 해결 전략을 수립함

1-2. 장애 심각도 평가
- 장애의 심각도를 판단하기 위해, 코드의 재현 가능성과 동일한 상황에서의 재발 가능성을 고려함
- 장애 원인 분석을 위해, 장애 사항을 재현하고, 문제 제어를 통해 근본 원인을 명확히 파악함
- 장애 로그와 매트릭을 기반으로 과거 유사한 장애 패턴을 분석하고, 패턴에 따른 원인을 파악함
- 장애 패턴 인식을 통해, 비슷한 장애가 재발하는 원인을 찾고 대응책을 도출함
- 임계값에 도달했는지 체크하여, 장애를 확인함

1-3. 장애 대응
- 장애 발생 시, 프론트 엔드 측에서 먼저 장애를 확인하여 처리할 수 있음
- 오류나 예외가 발생하면, 장애 로그를 통해 원인을 찾고, 대응책을 도출함
- 장애 패턴 인식을 통해, 비슷한 장애가 재발하는 원인을 파악하고, 매트릭 데이터를 비교하여 이상 현상을 식별함
- 임계값에 도달했는지 체크하여, 장애를 확인함
- 장애 패턴을 분석하여, 동일한 장애가 반복되지 않도록 예방 조치를 설계함

2. 시스템 장애 식별과 대응

2-1. 시스템 장애 식별의 중요성
- 시스템 장애 시 시스템 분석을 통해 비정상 작동을 식별할 수 있음
- 알람, 노티를 작성해 장애 발생 시 빠르게 대응 가능
- 장애 식별에 필요한 시스템 분석에는 프로메테릭스 데이터 확인이 포함됨
- 리소스 사용 추적과 스레드 작업 상태 확인을 통해 데드락이나 스레드 고갈 진단 가능

2-2. 네트워크 장애와 데이터베이스 분석
- 네트워크 트래픽 모니터링을 통해 네트워크에 장애가 있는지 확인 필요
- 네트워크 구조와 외부 시스템 및 애플리케이션과의 연결 상태 점검 필요
- 쿼리 성능 분석을 통해 슬로우 쿼리와 인덱스 최적화를 통해 장애를 식별할 수 있음
- DB 락 분석을 통해 데이터 일관성과 데이터의 무결성을 점검

2-3. 장애 대응 절차
- 장애 발생 시 데이터 복구 절차를 실행해 정상 상태로 복구
- 네트워크 문제나 애플리케이션 문제 등 다양한 원인으로 장애 발생 가능
- 데이터의 무결성과 손상 여부를 확인하여 중요한 데이터의 피해를 최소화
- 장애 식별, 대응, 복구의 절차를 통해 시스템의 장애에 대비하고 대응 가능