📊 Amazon Bedrock & CloudWatch

📌 CloudWatch란?

Amazon CloudWatch는 AWS 리소스와 애플리케이션을 모니터링하는 서비스입니다.
CloudWatch는 다음과 같은 기능을 제공합니다:

• Logs (로그) → 이벤트나 요청 내역을 기록 (디버깅에 유용)
• Metrics (지표) → 시스템 성능을 수치로 모니터링
• Alarms (알람) → 특정 기준을 넘었을 때 알림 전송
• Dashboards (대시보드) → 모니터링 정보를 시각화

👉 시험에 자주 나오는 포인트:

• CloudWatch Logs: 이벤트·로그 기록
• CloudWatch Metrics: CPU, 메모리, 지연 시간 같은 성능 수치
• CloudWatch Alarms: 기준치 초과 시 알림
• CloudWatch Dashboards: 모니터링 결과 시각화

---

🔑 Bedrock + CloudWatch 연동

1. 모델 호출(Invocation) 로깅

• Bedrock이 실행될 때 입력과 출력 전부를 기록합니다.
• 기록 가능한 데이터:
• 텍스트 입력/출력
• 이미지
• 임베딩(Embedding) 데이터
• 로그 저장 위치:
• CloudWatch Logs → 실시간 모니터링
• Amazon S3 → 장기 저장용

장점

• 모든 모델 사용 내역 추적 가능
• 오류나 지연 시간 문제 분석
• CloudWatch Logs Insights로 실시간 쿼리 및 분석

---

2. CloudWatch Metrics (지표)

• Bedrock은 성능 관련 지표를 CloudWatch에 보냅니다.
• 주요 지표 예시:
• Invocation Count: 호출 횟수
• Invocation Latency: 응답 지연 시간
• Token Usage: 토큰 사용량
• ContentFilteredCount: Guardrails(안전장치)가 콘텐츠를 차단한 횟수

장점

• 모델 성능을 시간별로 추적 가능
• 지연 시간 스파이크(급증) 파악
• Guardrails 동작 여부 확인
• CloudWatch Alarms을 통해 SLA(서비스 수준 계약) 보장

---

⚙️ 실제 동작 흐름 (Workflow)

1. Invocation Logging 활성화

• Bedrock 콘솔에서 CloudWatch/S3 대상 선택
• 로그 그룹 생성 (예: BedrockInvocationLogs)
• IAM Role 연결

1. 모델 호출 실행

• 예시: Amazon.Titan-Text-Express-V1 모델이 텍스트 처리
• 로그에는 다음이 기록됨:
  • 모델 ID
  • 리전(region)
  • 입력·출력 토큰 수
  • 응답 지연 시간 (예: 4,038ms)

1. CloudWatch 모니터링

• Logs: 상세 호출 내역 디버깅
• Metrics: 지연 시간 그래프 확인
• Alarms: 지연 시간 5초 초과 시 알림 전송

---

📝 요약표

기능	설명	예시
Invocation Logging	모든 입력/출력 기록	CloudWatch Logs, S3 저장
지원 데이터	텍스트, 이미지, 임베딩	사용자 요청 디버깅
Logs Insights	실시간 로그 분석	지연 시간 급증 추적
Metrics	성능 지표 수집	호출 수, 토큰 수, 지연 시간
ContentFilteredCount	Guardrail 차단 횟수	위험 콘텐츠 차단 모니터링
Alarms	기준 초과 시 알림	지연 시간 5초 초과 시 경고

---

✅ 왜 중요한가?

• 투명성 → 모델이 어떻게 사용되는지 추적 가능
• 신뢰성 → 성능 문제를 조기 감지
• 보안·컴플라이언스 → Guardrail 동작 확인 가능
• 최적화 → 토큰/호출 패턴 분석으로 비용 최적화 가능

---

👉 한 줄 정리:
Amazon Bedrock + CloudWatch를 연동하면 AI 모델 사용 현황을 실시간 추적하고, 성능 지표를 모니터링하며, 알람을 통해 안정적인 서비스 운영이 가능합니다.

---

📌 시험 대비 포인트

• CloudWatch Logs vs S3 → Logs는 실시간 분석, S3는 장기 저장
• ContentFilteredCount → Bedrock Guardrails 관련 지표
• Alarms 설정 → 시험 문제에서 “지연 시간이 5초 초과하면 알림 받기” 같은 시나리오 자주 출제됨