전체 그림
요청 하나가 위에서 아래로 내려갑니다.
1. 네트워크
담당 김사라 · VPC, 서브넷, 라우팅, NAT, ALB, Auto Scaling
VPC와 서브넷
VPC는 병원 건물 전체, 서브넷은 건물 안의 구역이에요. 구역을 역할별로 넷으로 나누고, 같은 구역을 가용 영역 두 곳에 하나씩 만들었어요. 그래서 서브넷이 모두 8개예요.
| 구역 | 2a | 2c | 안에 있는 것 | 밖으로 나가는 길 |
|---|---|---|---|---|
| Public (로비) | 10.0.0.0/24 | 10.0.1.0/24 | WEB ALB, NAT, Bastion | 인터넷 게이트웨이 |
| WEB (접수) | 10.0.5.0/24 | 10.0.6.0/24 | Apache | NAT |
| WAS (진료실) | 10.0.10.0/24 | 10.0.11.0/24 | Jetty WAS | NAT |
| DB (보관실) | 10.0.20.0/24 | 10.0.21.0/24 | RDS, 비밀번호 교체 Lambda, VPC Endpoint | 없음 |
Public과 Private
정문으로 바로 이어지는 구역이냐 아니냐의 차이예요. 구역마다 안내판(라우팅 테이블)이 있고, 거기에 "밖은 정문으로"라고 적혀 있으면 Public이에요.
assac-rt-public 밖은 인터넷 게이트웨이로 · assac-rt-web과 assac-rt-was 밖은 NAT로 · assac-rt-db 밖으로 나가는 길 없음인터넷 게이트웨이와 NAT
인터넷 게이트웨이는 정문, NAT는 안쪽 직원의 심부름 창구예요. 정문은 양쪽으로 오갈 수 있어요. NAT는 안에서 밖으로 나가는 것만 대신해 줘요.
WAS가 밖에 나갈 일은 두 가지예요. ECR에서 Docker 이미지를 받을 때, 그리고 로그와 지표를 CloudWatch로 보낼 때예요.
보안그룹
방마다 붙은 출입 명단이에요. IP 주소 대신 "앞 방에서 온 사람만"이라고 적어서, 앞 층을 거치지 않으면 못 들어오게 줄줄이 묶었어요.
| 방 | 들어올 수 있는 곳 | 문 번호 |
|---|---|---|
| WEB ALB | CloudFront 대역만 | 443 |
| Apache | WEB ALB만 (관리용으로 Bastion 22) | 80 |
| 내부 ALB | Apache만 | 80 |
| WAS | 내부 ALB만 (관리용으로 Bastion 22) | 8080 |
| DB | WAS와 비밀번호 교체 Lambda만 | 3306 |
Bastion
관리자 전용 출입구예요. Private에 있는 서버에 SSH로 들어가야 할 때, 로비에 있는 Bastion을 먼저 거쳐요.
ALB (로드밸런서)
안내 데스크예요. 뒤에 있는 서버 여러 대 중 건강한 서버로 요청을 나눠 보내요. 주기적으로 서버에 "살아 있니?"를 물어보는데 이게 헬스체크예요.
assac-alb-web 인터넷용. 443으로 받아 Apache 80으로 전달.assac-alb-internal 내부용. 80으로 받아 WAS 8080으로 전달. 헬스체크는 / 경로에 30초마다.Auto Scaling 그룹 (ASG)
인력 사무소예요. 서버 수를 정해 둔 범위 안에서 알아서 맞춰요. 서버가 죽으면 새로 뽑고, 바쁘면 더 뽑고, 한가하면 줄여요.
assac-asg-was t3.medium, 최소 2 · 최대 6. 평균 CPU 70%를 목표로 자동 증감.assac-asg-web t3.small. 같은 70% 기준.둘 다 2a와 2c에 걸쳐 있고, ALB 헬스체크에서 떨어진 서버는 교체해요.
2. WEB · WAS · 배포
담당 신이현(팀장) · Apache, Jetty, Docker, ECR, GitHub Actions
Apache (WEB 서버)
접수 창구예요. 간단한 건 창구에서 바로 처리하고, 진료가 필요한 건 진료실로 넘겨요. 이렇게 대신 받아서 뒤로 넘기는 걸 리버스 프록시라고 해요.
/resources/아래의 CSS·이미지·폰트는 Apache가 직접 응답- 403, 404, 500, 502, 503 오류 페이지도 Apache가 직접 응답
- 그 밖의 모든 요청은 내부 ALB로 전달 (
ProxyPass /)
WAS (Jetty + PetClinic)
진료실이에요. PetClinic이라는 Java 프로그램이 여기서 돌아요. 요청을 받으면 DB에서 데이터를 읽어 화면(HTML)을 만들어 돌려줘요.
Jetty는 Java 웹 프로그램을 실행해 주는 서버예요. Tomcat과 같은 역할이에요.
Docker와 ECR
Docker 이미지는 이사 박스예요. 프로그램과 그게 돌아가는 데 필요한 것을 한 상자에 담아요. 어느 서버에서 열어도 똑같이 돌아요. ECR은 그 상자를 쌓아 두는 창고예요.
WAS 이미지: Jetty 위에
petclinic.war를 올린 것 → 창고 assac-ecrWEB 이미지: Apache에 설정 파일과 정적 파일을 넣은 것 → 창고
assac-ecr-web상자마다 커밋 번호와
latest 두 가지 이름표가 붙어요.CI/CD (GitHub Actions)
자동 배송 라인이에요. 코드를 올리면 사람이 서버에 들어가지 않아도 빌드부터 교체까지 자동으로 흘러가요.
- 개발자가
main브랜치에 코드를 올림 - GitHub Actions가 Maven으로 한 번 빌드 (WAR 파일과 정적 파일이 나옴)
- 그 결과물로 WAS 이미지와 WEB 이미지를 각각 만들어 ECR에 올림
- 두 Auto Scaling 그룹에 "서버를 새 걸로 바꿔 줘"라고 요청 (Instance Refresh)
- 새 서버가 뜨면서 ECR에서 최신 이미지를 받아 실행
- 헬스체크를 통과하면 그다음 서버를 교체
3. DB · 보안
담당 나건호 · RDS, Secrets Manager, VPC Endpoint, IAM, GuardDuty
RDS와 Multi-AZ
RDS는 관리인이 딸린 차트 보관실이에요. 백업, 패치, 장애 전환을 AWS가 해 줘요. Multi-AZ는 다른 건물에 똑같은 보관실을 하나 더 두고 실시간으로 베껴 두는 거예요. 원래 보관실에 문제가 생기면 자동으로 그쪽으로 넘어가요.
Secrets Manager와 비밀번호 자동 교체
비밀번호 금고예요. DB 비밀번호를 코드나 서버에 적어 두지 않고 금고에 넣어 둬요. WAS는 DB에 연결할 때마다 금고에서 꺼내 써요.
Rotation은 금고 비밀번호를 주기적으로 새 걸로 바꾸는 거예요. 바꾸는 일은 별도의 Lambda가 해요. DB의 비밀번호와 금고 안의 값을 함께 바꿔요.
assac/rds/petclinic. 하루에 한 번 교체. WAS는 AWS가 만든 JDBC 드라이버를 써서, 연결할 때 금고에서 자동으로 읽어 와요.VPC Endpoint
건물 안에 뚫어 둔 금고 전용 통로예요. Secrets Manager는 원래 VPC 밖에 있는 AWS 서비스라서, 그냥 가면 NAT를 거쳐 인터넷으로 나갔다 와야 해요. Endpoint가 있으면 건물 안에서 바로 닿아요.
IAM 역할
사원증이에요. 서버에 사원증(역할)을 달아 주면, 서버가 그걸로 AWS 서비스를 쓸 자격을 그때그때 받아요. 비밀 키를 서버에 저장할 필요가 없어요.
GuardDuty와 CloudTrail
GuardDuty는 건물 안을 도는 경비원, CloudTrail은 출입 기록부예요. WAF는 정문에서 웹 요청만 봐요. GuardDuty는 그 안쪽에서 계정이나 서버가 수상하게 움직이는지를 봐요. CloudTrail은 누가 언제 어떤 AWS 설정을 건드렸는지 전부 적어 둬요.
4. 모니터링
담당 이민규 · CloudWatch 대시보드, 경보, 로그, Prometheus, Grafana
지표, 로그, 대시보드, 경보
지표는 체온계 숫자, 로그는 진료 일지, 대시보드는 상황판, 경보는 호출 벨이에요.
- 지표(Metric): 시간마다 찍히는 숫자. CPU 사용률, 요청 수, 오류 수.
- 로그(Log): 무슨 일이 있었는지 글로 남은 기록.
- 대시보드: 지표와 로그를 한 화면에 모아 그린 것. 보기만 하는 곳이에요.
- 경보(Alarm): 지표가 기준을 넘으면 사람에게 알려 주는 것.
그래프의 가로축은 시간, 세로축은 값이에요. 선이 갑자기 솟거나 꺼지는 곳을 찾으면 돼요.
CloudWatch 대시보드 읽는 법
대시보드 이름은 assac-dashboard이고 칸이 24개예요. 요청이 지나가는 순서대로 위에서 아래로 놓여 있어요. 맨 위 숫자 다섯 개로 "지금 괜찮은가"를 보고, 이상하면 아래로 내려가면서 어느 층인지 찾는 구조예요.
| 줄 | 칸 이름 | 보는 법 |
|---|---|---|
| 맨 위 요약 숫자 | Web TG 상태 | Apache 서버가 건강한지. 건강한 서버가 있고 아픈 서버가 없으면 1 |
| WAS TG 상태 | WAS 서버가 건강한지. 같은 방식 | |
| Web ALB 요청수 / 에러 | 들어온 요청 수와 서버가 낸 5XX 오류 수 | |
| WAS ALB 응답 속도 | WAS가 답하는 데 걸린 시간. 길어지면 느려진 것 | |
| RDS 상태 요약 | DB 연결 수와 CPU | |
| Tier 1 CloudFront와 WEB ALB | CloudFront 트래픽 및 오류율 | 사용자가 실제로 겪는 4xx, 5xx 비율. 여기가 올라가면 사용자가 오류를 보고 있는 것 |
| Web ALB 요청수 및 HTTP 상태코드 | 2XX는 정상, 4XX는 요청 잘못, 5XX는 서버 문제 | |
| Web ALB 응답 지연시간 | 평균과 느린 쪽 값. 선이 올라가면 느려진 것 | |
| Tier 2 Apache | Web TG Health 추이 | 건강한 서버 수(Healthy)와 아픈 서버 수(UnHealthy) |
| Web ASG 인스턴스 스케일링 추이 | 서비스 중, 뜨는 중, 꺼지는 중인 서버 수와 최대치 | |
| Web ASG CPU 사용률 | 70% 선을 넘으면 서버가 늘어남 | |
| Web 실제 에러 및 장애 로그 | Apache 로그에서 오류만 골라 보여 줌 | |
| Web 최근 요청 로그 | 방금 들어온 요청 목록 | |
| Tier 3 WAS | WAS TG Health 추이 | WAS가 몇 대 건강한지 |
| WAS ASG 인스턴스 현황 | 부하 테스트 때 2 → 3 → 4로 계단처럼 올라가는 그래프가 여기 | |
| WAS ALB 요청수 및 5XX 에러 | WAS 쪽 오류. 5XX 경보가 보는 값도 여기 | |
| Tier 4 DB | RDS CPU 및 여유 메모리 | CPU는 높을수록, 여유 메모리는 낮을수록 위험 |
| RDS 커넥션 및 잔여 스토리지 | 연결 수가 갑자기 뛰면 WAS가 연결을 많이 여는 것 | |
| RDS I/O 지연시간 및 처리량 | 디스크가 느려졌는지 |
경보와 알림 경로
경보는 대시보드와 별개예요. 사람이 화면을 안 보고 있어도 기준을 넘으면 알려 줘요.
| 경보 | 보는 값 | 울리는 기준 | 알림 |
|---|---|---|---|
assac-alarm-alb-5xx | 내부 ALB가 낸 5XX 수 | 1분에 5건 이상 | Discord |
assac-alarm-asg-cpu | WAS 평균 CPU | 5분 평균 80% 이상 | Discord |
assac-alarm-rds-cpu | DB CPU | 90% 이상이 5분 연속 | Discord |
assac-was-zero-healthy-call | 서비스 중인 WAS 수 | 아래 주의 참고 | 전화 |
경로는 경보 → SNS → Lambda → Discord예요. SNS는 방송실이에요. 한 번 알리면 구독한 곳 모두에게 전달돼요. Lambda는 그 내용을 Discord가 받는 모양으로 정리해요.
로그는 어디에 쌓이나
| 로그 | 위치 | 보관 |
|---|---|---|
| Apache | CloudWatch Logs /assac/web | 30일 |
| WAS | CloudWatch Logs /assac/was | 30일 |
| VPC 안의 통신 기록 (Flow Logs) | /assac/vpc-flowlogs | 30일 |
| AWS 설정 변경 기록 (CloudTrail) | /assac/cloudtrail과 S3 | 30일 |
| DB 오류, 느린 쿼리 | /aws/rds/instance/assac-rds-petclinic/… | 30일 |
| ALB 접근 로그 | S3 assac-logs-2777 | 14일 |
| WAF 로그 | aws-waf-logs-assac-cloudfront (버지니아) | 30일 |
서버 안의 CloudWatch Agent라는 프로그램이 로그 파일과 메모리·디스크 값을 CloudWatch로 보내요. EC2 기본 지표에는 메모리가 없어서 이 프로그램이 필요해요.
Prometheus와 Grafana
CloudWatch가 건물 설비 상황판이라면, Grafana는 진료실 안을 들여다보는 상황판이에요. CloudWatch는 서버 바깥에서 보이는 값(CPU, 요청 수)을 보여 줘요. 프로그램 안에서 무슨 일이 벌어지는지는 안 보여요. 그걸 보려고 Prometheus와 Grafana를 붙였어요.
- Prometheus: 프로그램이 내놓는 숫자를 주기적으로 가져다 쌓아 두는 저장소. 우리는 AWS가 관리해 주는 AMP(
assac-petclinic-amp)를 써요. - Grafana: 그 숫자를 그래프로 그려 주는 화면.
흐름은 PetClinic이 숫자를 내놓음 → 서버의 수집기가 가져감 → AMP에 저장 → Grafana가 그림이에요.
| 묶음 | 지표 이름 | 무슨 뜻 |
|---|---|---|
| DB 연결 풀 | tomcat_jdbc_connections_active | 지금 쓰고 있는 DB 연결 수 |
tomcat_jdbc_connections_idle | 만들어 두고 쉬고 있는 연결 수 | |
tomcat_jdbc_connections_max | 풀이 가질 수 있는 최대 연결 수 | |
tomcat_jdbc_connections_wait_count | 연결이 모자라 기다린 횟수. 0이 아니면 풀이 부족한 것 | |
| 요청 | http_server_requests_seconds_* | 주소별 요청 수와 걸린 시간 |
| JVM | jvm_memory_used_bytes | Java가 쓰는 메모리 |
jvm_gc_pause_seconds_* | 메모리 청소(GC) 때문에 멈춘 시간 | |
jvm_threads_live_threads | 일하고 있는 스레드 수 | |
| 프로세스 | process_cpu_usage, system_cpu_usage | 프로그램과 서버의 CPU 사용률 |
| 수집 상태 | up | 수집이 되고 있으면 1, 끊기면 0 |
DB 연결 풀은 DB와의 연결을 미리 몇 개 만들어 두고 돌려 쓰는 거예요. 요청마다 새로 연결하면 느려서요. WAS 한 대가 처음에 10개를 만들기 때문에 두 대면 합계 20이 보여요.
Grafana 대시보드 읽는 법
대시보드 이름은 "ASSAC · 서비스 흐름과 원인 분석"이고 칸이 50개예요. 8개 줄(00~07)로 나뉘어 있고, 위에서 아래로 내려가며 원인을 좁히는 순서예요. 이걸 드릴다운이라고 해요.
화면 맨 위에 선택 상자가 두 개 있어요. WAS 서버와 요청 경로예요. 특정 서버나 특정 주소만 골라서 볼 수 있어요.
| 줄 | 묻는 것 | 들어 있는 칸 | 보는 법 |
|---|---|---|---|
| 00 한눈에 보기 | 지금 괜찮은가 | 지표가 수집되는 WAS 수 · 앱 요청량(초당) · 앱 평균 처리시간 · 앱 요청수와 서버 오류 | 숫자 네 개. 최근 5분 기준이에요. 요청이 0건이면 정상이 아니라 "자료 없음"이에요. |
| 01 전체 요청 흐름 | 어느 구간에서 문제가 생겼나 | 요청 흐름 CloudFront → WEB → WAS · CloudFront 요청수와 오류 비율 · WAF 허용·차단 · WEB·WAS 정상/비정상 타깃 수 · 서버 오류(5xx) · WEB 응답시간 · WAS 응답시간 · 4xx 오류 · ALB가 서버에 연결 못 한 횟수 | 세 구간의 요청 수를 나란히 봐요. 한 구간에서만 오류나 지연이 오르면 거기가 문제예요. WAF 그래프가 내 파트예요. |
| 02 요청 경로 | 어떤 요청이 느리거나 실패했나 | 느린 요청 경로 순위 · 요청이 많은 경로 · 경로별 평균 처리시간 · 응답 코드별 요청량 · 경로별 오류 건수 · WAS별 느린 응답 기록 | /owners, /vets처럼 주소별로 나눠 봐요. 특정 주소만 느리면 그 기능의 문제예요. |
| 03 WAS 비교 | 어느 WAS를 봐야 하나 | 같은 요청을 처리한 WAS 비교표 | 서버별 요청 수, 평균 처리시간, 5xx 건수를 한 표에서 비교해요. 한 대만 튀면 그 서버가 문제예요. |
| 04 앱과 서버 자원 | 그 서버에 힘이 남아 있나 | 앱 CPU · 서버 전체 CPU · 앱 메모리(Heap) · 메모리 정리 중 정지시간 | 앱 CPU와 서버 CPU를 비교해요. Heap이 차고 정지시간이 길어지면 메모리가 부족한 거예요. |
| 05 DB 연결 | DB 연결을 기다리고 있나 | DB 연결(사용 중 / 준비됨 / 최대) · DB 연결 대기 · 연결 사용률 · RDS에 열린 연결 수 · RDS CPU · RDS 디스크 읽기·쓰기 시간 · RDS CPU와 디스크 대기 | 사용 중 연결이 최대에 붙고 대기가 생기면 풀이 모자란 거예요. 그때 RDS CPU도 높으면 DB가 느린 거예요. |
| 06 오류 로그 | 실제로 뭐라고 찍혔나 | 선택 WAS의 오류 로그 · 앱·DB 연결 오류 로그 · DB 연결 차단 의심 기록 | 그래프가 나빠진 시각의 로그 원문을 봐요. 마지막 칸은 WAS에서 DB 3306으로 가다 거부된 통신이에요. |
| 07 지표 수집 | 이 화면 자체를 믿어도 되나 | WAS 목표·가동·준비 중 대수 · 앱 지표 수집 성공·실패 대수 · 수집 이력 · 마지막 지표 경과시간 · 수집 소요시간 · 수집한 지표 수 · 로그가 마지막으로 들어온 시각 | 그래프가 비어 있을 때 봐요. 서버가 없어서 비었는지, 수집이 끊겨서 비었는지 구분해요. |
용어 두 개만 알면 돼요.
- p95: 요청 100개를 빠른 순으로 줄 세웠을 때 95번째의 시간이에요. 평균은 멀쩡한데 일부만 느린 경우를 잡아내요.
- 타깃: ALB 뒤에 달린 서버예요. "정상 타깃 수"는 헬스체크를 통과한 서버 수예요.
Grafana: 요청이 왜 느린지, 왜 실패하는지 원인을 찾는 화면. 앱 안쪽 값(Prometheus)과 AWS 값(CloudWatch)을 한 화면에 같이 그려요.
CloudWatch
assac-dashboard: 서버 수, 경보, 복구 상태를 보는 운영 화면.5. Terraform
팀 공통 · 각자 자기 모듈 담당
Terraform이 하는 일
건물 설계도예요. 콘솔에서 손으로 누른 설정을 글(코드)로 적어 두는 거예요. 설계도가 있으면 누가 왜 그렇게 만들었는지 기록이 남고, 똑같은 건물을 다시 지을 수 있어요.
- plan: 설계도와 실제 건물을 비교해서 뭐가 달라질지 미리 보여 줌. 아무것도 안 바뀜.
- apply: 설계도대로 실제로 바꿈.
- state: "설계도의 이 줄이 실제의 저 리소스"라고 짝지어 둔 장부. S3에 둬요.
- import: 이미 지어 놓은 건물을 부수지 않고 장부에 올리는 것.
6. 자주 헷갈리는 짝
| 짝 | 한 줄 구분 |
|---|---|
| ALB와 ASG | ALB는 요청을 나눠 주는 곳, ASG는 서버 수를 맞추는 곳. ALB가 "이 서버 아파요"라고 알려 주면 ASG가 바꿔요. |
| Scale-out과 Scale-up | out은 서버 대수를 늘림, up은 서버 한 대의 사양을 올림. 우리는 out. |
| 고가용성과 확장성 | 고가용성은 하나가 죽어도 버팀(2개 영역, Multi-AZ). 확장성은 바빠지면 늘어남(Auto Scaling). |
| Multi-AZ와 백업 | Multi-AZ는 지금 당장 넘어가기 위한 것, 백업은 과거 시점으로 되돌리기 위한 것. |
| 보안그룹과 WAF | 보안그룹은 "누가 몇 번 문으로"만 봄. WAF는 요청 내용까지 봄. |
| CloudWatch, CloudTrail, GuardDuty | CloudWatch는 상태(숫자와 로그), CloudTrail은 누가 뭘 바꿨는지, GuardDuty는 수상한 움직임. |
| Secrets Manager와 Parameter Store | 둘 다 값 보관소. 자동 교체가 필요한 DB 비밀번호는 Secrets Manager에 뒀어요. |
| Health 체크와 실제 정상 | 헬스체크는 정해 둔 주소가 답하는지만 봐요. 실제 기능이 되는지는 따로 확인해야 해요. |
| 502, 503, 504 | 502는 뒤 서버가 이상한 답을 줌, 503은 받을 서버가 없음, 504는 기다리다 시간 초과. |
7. 조회하다 발견한, 말할 때 조심할 표현
- 연결 풀 이름. 기존 자료에는 HikariCP라고 적힌 곳이 있는데, 실제로 쌓이는 지표는
tomcat_jdbc_connections_*이에요. 연결 풀은 Tomcat JDBC Pool이에요. "DB 연결 풀"이라고만 말하면 안전해요. - Multi-stage 빌드. 기존 자료에는 Multi-stage Dockerfile이라고 적혀 있는데, 지금 Dockerfile은 한 단계예요. Maven 빌드는 GitHub Actions에서 하고, Dockerfile은 그 결과물만 Jetty 위에 올려요. "빌드는 CI에서 한 번 하고, 이미지에는 결과물만 넣는다"가 정확해요.
- Tomcat이 아니라 Jetty. 과제 안내에는 Tomcat으로 적혀 있지만 실제 WAS는 Jetty예요.
- NAT 위치. "2a에 1개"가 아니라 두 영역을 함께 맡는 Regional NAT 1개예요.