[20250409] 장애 식별과 모니터링 필기

1. 장애 식별과 모니터링

1-1. 장애 식별의 중요성
- 고객으로부터 장애가 접수되는 경우가 좋지 않음
- 서비스 제공 명분을 잃어버리고 기업 평판과 서비스에 부정적인 영향을 줌
- 서비스 잃어버리면 다른 사람에게 추천할 수도, 사용자도 떠날 수 있음
- 장애가 고객으로부터 먼저 식별되는 것보다 내부에서 먼저 식별하고 해결하는 것이 중요함
- 장애 식별을 위해서는 모니터링이 필수적임

1-2. 모니터링의 요소
- 시스템 모니터링은 CPU, 메모리, 디스크, 네트워크 대역 등을 실시간으로 모니터링하여 병목을 조기 식별하고 대응함
- 대시보드를 통해 메모리 사용량을 그래프로 표시하여 서비스 병목을 식별함
- 특정 메모리 사용량이 일반적인 30%를 넘어가면 알람을 발송하여 서비스를 조기 파악함
- 서비스 병목 시 인적, 인프라 자원을 늘려 대응 방법을 찾음
- 서버 및 애플리케이션 상태를 확인하여 오류, 로그 등을 체크함

1-3. 모니터링을 통한 서비스 안정화
- 서버 및 애플리케이션 상태 모니터링을 통해 오류, 로그 등을 체크하여 서비스 안정성을 유지함
- 응답 시간을 체크하여 맥스 값을 정하고, 2초 이상 지연되면 에러로 판단함
- 1초 이상 기다려주지 않고 새로고침을 누르는 기간에 따라 로딩 마크를 띄우거나 스케줄을 예고함
- 로딩 마크를 띄우면 사용자에게 알림을 보내고, 스케줄을 보여줌으로써 사용자에게 문제가 없음을 알려줌

2. 서비스 성능 모니터링

2-1. 로딩과 스케줄링
- 사용자가 서비스를 이용할 수 있도록 로딩과 스케줄링을 통해 서비스 품질을 높일 수 있음
- 로딩 시, 서비스에 필요한 요소를 채워서 사용자의 이용을 편리하게 함
- 서비스 제공자들은 로딩과 스케줄링을 통해 사용자 경험 향상을 노림
- 사용자의 서비스 사용 편의성을 높이기 위해 서비스 로딩과 스케줄링을 신경 써야 함
- 서비스 제공자는 일상생활에서 서비스 로딩과 스케줄링의 예를 찾아볼 수 있음

2-2. 머신러닝과 애플리케이션 모니터링
- 머신러닝을 통해 예측과 분석을 통해 사용자에게 알림을 보냄
- 월-수-목-금-토-일 패턴과 같은 사전에 정의된 패턴을 학습시킴
- 머신러닝을 통해 기존 패턴이 다른 요청이 들어왔을 때 사전에 감지하도록 함
- 애플리케이션 모니터링을 통해 오류와 예외를 처리하고 실시간 분석을 함
- 중앙집중형 로그 관리 시스템을 통해 로그를 통합하고 분석하여 효과적으로 관리함

2-3. 성능 모니터링
- 애플리케이션을 여러 개 띄워서 요청량을 해결함
- 동일한 애플리케이션을 여러 개 띄워서 중앙에서 관리하는 클러스터링을 도입함
- 애플리케이션의 로그는 중앙에서 통합하여 한 곳에 보는 것이 좋음
- 각 애플리케이션의 메모리와 CPU 사용량은 다르므로 따로 확인해야 함
- 프로메테우스 데이터를 통해 각 애플리케이션의 성능을 모니터링함

3. 디지털 서비스의 오류 관리와 모니터링

3-1. 디지털 서비스의 오류 체크와 처리
- 디지털 서비스의 오류 발생 시 네트워크 상황 등에 의해 발생 가능
- 오류율 체크를 통해 에러 상황으로 판단하고 대응
- 오류 발생 시 알림을 제공하여 사용자에게 사전 통보
- 사용자 경험 모니터링을 통해 장애 사항을 식별하고 개선
- 서비스 헬스 체크를 통해 서비스 상황을 지속적으로 모니터링

3-2. 사용자 경험 모니터링과 피드백 수집
- 사용자의 웹 브라우저 사용 데이터를 수집하여 사용자 경험 계산
- 사용자 피드백 수집을 통해 잠재적 문제를 조기에 파악
- 고객 지원 채널을 통해 사용자 피드백 수집, 이를 통해 잠재적 문제가 큰 문제로 이어지지 않도록 관리
- 모니터링 도구로 프로메테우스, 그라파나, 알림 및 경고 시스템 등이 주로 사용

3-3. 알림 및 경고 시스템 및 자동화된 알림 설정
- 알림 설정을 통해 중요한 장애에 대응
- 알림 기준 설정을 명확하게 하여 불필요한 알림을 줄임
- 알림 자동화를 통해 장애 발생 시 자동으로 대응 프로세스 실행 가능
- 모니터링 도구로 프로메테우스와 그라파나를 주로 사용하며, 모니터링 시스템의 최신 버전 유지
- 알림 설정과 함께 시스템 상태 변화에 따른 자동화된 알림 설정이 필요