모니터링은 단순 그래프가 아니라 actionable alert가 핵심이다. 이상이 그래프에 보이는 것만으로는 부족하고, 누가·언제·어떻게 조치할지 정해진 알림이 30초 이내 담당자에게 도달해야 의미가 있다.

RT-O19는 (a) 각 서비스 / OTel 기반 Prometheus exporter, (b) 역할별 view를 가진 Grafana 대시보드, (c) Alertmanager → Slack/SMS 라우팅, (d) 알림에 자동 첨부되는 런북(runbook) 링크 4개 축으로 구성된다. OMS AI 전 모듈의 임계는 EDD 달성률 90% 미만, p99 500ms 초과, error 1% 초과 세 가지를 기준으로 잡는다.

# Grafana + Prometheus 기반 실시간 모니터링
alert_rules = [
    {"metric": "edd_rate",    "threshold": 0.90, "window": "30m"},
    {"metric": "api_p99",     "threshold": 500,  "window": "5m"},
    {"metric": "error_rate", "threshold": 0.01,  "window": "1m"},
]
# 임계값 초과 시 Slack + SMS 자동 알림
def evaluate(metric, value, rule):
    if value > rule["threshold"]:
        notify(channel="slack", severity="P2")
        notify(channel="sms",   severity="P1")
        attach(runbook(metric))

예) p99가 720ms로 5분간 지속되면 5m 윈도우 임계 초과로 alert가 발사된다. scrape_lag 12s + eval_lag 4s + route_lag 8s = 약 24초 후 Slack 알림이 도착하고, runbook 링크에서 DB slow query 검색 쿼리가 자동 실행된다.

심각도별로 채널을 다르게 매핑한다. P1(error/edd 심각)은 SMS + PagerDuty 동시 발송, P2는 Slack 단일, P3 비긴급은 이메일로만 송출된다. 이메일을 P1에 사용하지 않는 이유는 인식 시간이 분 단위라 30초 SLA를 충족할 수 없기 때문이다.