ikieEngineeringGet started
All posts

성능Postgres서버

가입자 1만 명을 채워 보니 먼저 깨지는 곳은 따로 있었어요

운영이 조금 느려진 것을 계기로 가입자 1만 명을 채운 시험 DB와 동시 접속 1000명 어림으로 어디가 먼저 무너지는지 쟀어요. 판 쿼리는 527ms에서 5ms로, 알림 크론은 462초에서 40ms로 줄었어요. 그런데 가장 먼저 깨지는 것은 판이 아니라 앱을 열 때마다 돌던 캘린더 맞추기였어요.

English

10월 중순, 운영의 숫자가 조금 나빠졌어요. 사흘 사이 판을 받는 GET /api/v1/days의 가운데 값이 77ms에서 138ms로, 홈을 받는 /home이 100ms에서 230ms로 늘었어요. 아직 사용자가 적을 때라 누구도 불편을 말하지 않았지만, 사용자 수가 아니라 데이터가 쌓이는 만큼 느려지고 있다는 신호였어요.

그래서 지금 느린 곳을 고치는 김에 한 걸음 더 갔어요. 가입자가 1만 명이 되면, 그리고 그중 1000명이 아침에 한꺼번에 앱을 열면 어디가 먼저 무너지는지를요.

먼저 어디에 시간을 쓰는지 쟀어요

Vercel 지표에는 요청 전체 시간만 있어서, 로그인 확인·계산·어느 쿼리가 늘었는지 가를 수 없었어요. 그래서 공개 API와 MCP의 모든 답에 표준 Server-Timing 머리글을 붙였어요(로그인 확인, 쓰임새, 쿼리 수와 합, 전체). 150ms를 넘는 요청은 단계별 시간과 가장 느린 쿼리 넷을 로그 한 줄로 남겨요. 같은 쿼리가 열 번 넘게 돌면 그것도 묶어 적어요.

60ms를 넘는 읽기 쿼리는 쿼리마다 15분에 한 번, 읽기 전용 트랜잭션 안에서 EXPLAIN ANALYZE로 한 번 더 돌려 계획·실행·디스크 읽기를 남겨요. 답을 막지 않고, 판단에도 쓰지 않아요. 이걸로 운영의 판 쿼리가 계획에 2160ms, 실행에 8699ms를 쓰고 디스크는 읽지 않는다는 것을 알았어요.

내 판을 읽는데 남의 일정을 훑었어요

판의 후보를 모든 사람의 항목에서 찾은 다음 "이 사람이 볼 수 있나"로 걸렀어요. 시간 구간 인덱스도 모든 사람의 것이라, 가입자가 늘면 남의 일정이 많아지고 내 판이 느려지는 구조였어요.

이걸 재려고 운영과 같은 표에 가입자 1만 명을 채운 시험 DB를 만들었어요. 로컬 Postgres 16에 항목 약 530만 개(사람마다 Google 캘린더 일정·반복·생일·작업 기록·할 일 모음), 알림 약 400만 개, 라이브 액티비티 토큰 3000명, 약 9GB예요. 같은 DB에서 고치기 전과 뒤를 쟀어요.

고친 방법은 "그 사람이 닿는 곳"을 먼저 정하는 거예요. 읽을 수 있는 캘린더, 판에 둔 것, 공유받은 것, 초대받은 것을 모은 다음, 그 안에서만 시간 구간으로 고르게 했어요. 캘린더별 인덱스와 끝 시각 조건을 함께 써서요.

고치기 전고친 뒤
숫자로 보기
사람고치기 전고친 뒤
일정이 11개뿐인 사람527ms5ms
Google 캘린더 둘을 이은 사람564ms13ms
공유받은 캘린더가 있는 사람626ms13ms
작업 기록이 많은 사람668ms17ms
가입자 1만 명 시험 DB에서 사람 모양 넷의 달 판 쿼리 시간이에요. 오늘 판도 249~281ms에서 5~11ms가 됐어요.

일정이 11개뿐인 사람도 527ms가 걸렸다는 게 핵심이에요. 내 데이터가 아니라 남의 데이터 때문에 느렸던 거예요.

1분마다 도는 크론 둘

판보다 더 크게 무너진 것은 사람의 요청 없이 1분마다 도는 일이었어요.

  • 알림 크론은 1분마다 기기가 있는 사람의 모든 알림에 보기 조건을 견줬어요. 알림 400만 개에서 한 번에 462초가 걸렸어요. 1분마다 도는 일이 8분 가까이 걸린 거예요.
  • 라이브 액티비티 크론은 1분마다 토큰을 단 모든 사람의 판을 차례로 계산했어요. 100명에서 46.8초였으니, 3000명이면 한 번에 약 23분이에요.
고치기 전고친 뒤
숫자로 보기
크론고치기 전고친 뒤
알림 크론(알림 400만 개)462초0.04초
라이브 액티비티 크론(토큰 3000명)1,400초0.105초
한 번 도는 데 걸린 시간이에요. 라이브 액티비티의 고치기 전 1400초는 100명에서 잰 46.8초를 늘려 잡은 값이에요. 알림 크론은 처음 한 번 210ms, 그 뒤 40~60ms예요.

둘 다 "모두를 보고 고르기"를 "고를 것만 찾기"로 바꿨어요. 알림은 알림이 걸린 시간 차(10분 전, 1시간 전…)마다 지금 울릴 시각에 시작하는 항목만 인덱스로 찾고, 고른 알림에만 보기 조건을 견줘요. 종일·떠다니는 시각은 시간대를 몰라 ±15시간, 반복은 서머타임을 생각해 ±1시간의 여유를 둬요. 라이브 액티비티도 곧 시작할 할 일을 먼저 찾고, 그 할 일을 볼 수 있는 사람의 기기만 골라요.

이런 고침은 빠뜨리기 쉬워요. 그래서 크론마다 "모두 보기"와 "골라 보기"가 같은 것을 울리는지 하루 넘는 시간을 10분 간격으로 견주는 시험을 뒀어요. 뉴욕의 서머타임 시작, 시각만 정한 반복, 옮긴 회차, 공유받은 캘린더, 생일이 들어 있어요. 서머타임 여유를 빼거나 생일 계산을 어긋나게 하면 시험이 깨지는 것을 확인했어요.

동시 1000명이면 먼저 깨지는 것

여기서부터는 잰 것이 아니라 어림이에요. 1000명의 가상 사용자를 실제로 돌리지는 않았어요. 실제 계정 하나로 앱이 보내는 요청을 세고(읽기만 했어요), 운영 로그의 요청당 DB 시간을 곱했어요. 한 사람이 10분에 앱을 한 번 열고, 일곱 번 넘기고, 두 번 고친다고 잡았어요.

결과는 예상과 달랐어요. 무너지는 곳은 판 받기가 아니라 앱을 열 때마다 도는 캘린더 맞추기였어요. 맞추기 한 번이 운영에서 쿼리 1402개, 10초(그중 DB 6.6초)를 썼어요. 쿼리 수가 매번 똑같았어요. 바뀐 것의 수가 아니라 가진 것의 수만큼 도는 일이었던 거예요.

숫자로 보기
일어림
앱을 열 때마다 캘린더 맞추기117초
판 받기5~15초
동시 1000명일 때 1초마다 쌓이는 DB 일(초)의 어림이에요. 맞추기는 아침에 한꺼번에 열 때(분당 약 1000번 × DB 약 7초), 판 받기는 평균(초당 약 48번 × 0.1~0.3초)이에요.

초마다 DB 117초어치 일이 쌓이면 어떤 크기의 DB도 버티지 못해요. 그래서 맞추기를 앱이 아니라 서버의 일로 옮겼어요.

  • 바뀐 것만 쓰기. 할 일 원본(Notion 등)을 맞출 때 할 일마다 트랜잭션을 열고 바뀌지 않은 연결도 다시 썼어요. 이제 같으면 쓰지 않아요. 캘린더마다 원본 응답까지 다 읽던 것도, 어댑터가 필요하다고 할 때만 읽어요. Google은 증분 토큰이 있어 읽을 것이 없어요.
  • 알림을 받아 맞추기. Google과 Outlook은 캘린더마다 바뀌면 알려 주는 웹훅을 걸고, 알림이 오면 응답한 뒤 그 계정만 맞춰요. 웹훅은 기한(엿새)이 다하기 전에 다시 걸어요.
  • 앱을 열 때는 알림이 없는 것만. iCloud·네이버(CalDAV)와 .ics 구독은 알려 주지 않아서 "지금 맞추기"로 맞춰요. 계정마다 1분에 한 번까지, 이미 도는 중이면 겹쳐 돌리지 않고, 그사이 쓰기나 알림이 왔으면 끝난 뒤 딱 한 번 더 돌아요.

어림으로는 분당 약 1000번이던 맞추기가 70~100번으로 줄어요. 운영에서 고친 뒤 숫자는 아직 재는 중이에요.

요청을 덜, 그리고 묶어서

어림을 하며 하나 더 보였어요. 한 사람이 10분에 요청을 약 44번 보내는데, 그중 3분의 2가 몇 초 전에 "그대로"라고 답을 받은 달을 다시 묻는 요청이었어요.

  • 덜 묻기. 1분 안에 답을 받은 달은 다시 묻지 않고, 고친 뒤·푸시·맞추기 뒤에는 지금 달과 고친 달만 물어요. 1분 안에 앱으로 돌아오면 요청이 6개에서 1개가 됐어요. 대신 같은 캘린더를 함께 쓰는 사람이 고친 것은 최대 1분 늦게 보일 수 있어요.
  • 같은 순간의 요청을 하나로. 앱을 열면 홈, 규칙, 캘린더, 플랜, 달 여럿을 따로 물었어요. 요청마다 로그인 확인과 설정 읽기를 되풀이했고요. 이제 같은 순간(10ms 안)의 요청은 GET /api/v1/view 하나로 묶어 보내고, 답을 다시 원래 요청의 모양으로 나눠 돌려줘요.
  • 로그인 확인 기억하기. 요청마다 세션·사용자 쿼리 두 개(보통 12~40ms)가 먼저 돌았어요. 이제 60초 동안 기억해요. 다른 기기를 로그아웃시키면 최대 60초 늦게 풀려요.
고치기 전고친 뒤
숫자로 보기
순간고치기 전고친 뒤
처음 열기(기기에 아무것도 없을 때)12개4개
다시 열기6개3개
1분 넘어 앱으로 돌아오기7개2개
iOS 앱이 보낸 요청 수예요. 실제 계정을 읽기만 하며 세 번씩 잰 가운데 값이에요. 처음 열기의 4개 중 하나는 언어 설정이 바뀔 때만 가요.

성능 장치는 켜든 끄든 결과가 같아야 하고, 도메인은 그런 장치가 있는지 몰라야 해요.

묶기는 화면이나 저장소가 아니라 서버를 부르는 어댑터 안에서만 해요. 화면과 모델은 여전히 "이 달을 주세요", "홈을 주세요"를 따로 부르고, 어댑터가 같은 순간의 부름을 모아 한 번에 보낸 뒤 찢어 돌려줘요. 웹은 오픈소스 dataloader를, iOS는 같은 방식의 작은 어댑터를 써요. 무엇을 함께 묶을지는 웹과 iOS가 나눠 쓰는 앱 정책 한 곳에 있고, 묶기를 끄면 요청을 따로 보내요. 그리고 켠 것과 끈 것의 답이 같은지 시험해요. 쓰기·푸시 뒤와 시트 열기까지 줄인 이야기는 화면은 그대로 두고, 앱이 서버에 덜 묻게 했어요에 따로 적었어요.

배운 것

  • 재기 전에는 몰랐어요. 우리는 판 읽기를 걱정했는데, 먼저 무너지는 곳은 사람이 아무것도 안 해도 앱을 열 때마다 돌던 맞추기였어요.
  • 느린 것은 "모두를 보고 고르기"였어요. 판, 알림, 라이브 액티비티 모두 같은 모양이었어요. 고를 것을 먼저 찾게 바꾸면 수천 배가 줄었어요.
  • 빠르게 한 것마다 같은 답인지 시험이 있어요. 그리고 그 시험이 고치기 전 코드나 여유를 뺀 코드에서 깨지는 것을 확인해요. 빠른데 틀린 답이 가장 나쁘니까요.
  • 잰 것과 어림을 나눠 적어요. 1만 명 데이터는 쟀고, 동시 1000명은 어림이에요. 운영에서 고친 뒤 숫자가 모이면 이 글에 더할게요.

The ikie teamikie is a calendar for your events and to-dos in one place. Here we write about the problems we run into while building it, and how we solve them.