ikie 웹은 여러 Claude 스레드가 함께 고쳐요. 10월 15일부터 이틀 동안 화면에 닿는 PR이 130개 넘게 합쳐졌어요. 타입 검사와 단위 시험은 CSS가 화면을 어떻게 그리는지 몰라요. 좁은 화면용 규칙 하나가 넓은 화면으로 새어 나가 주 보기 시간표의 높이가 0이 된 적도 있어요(#857). 코드는 모두 맞았고, 화면만 비어 있었어요.
그래서 주요 화면을 그림으로 찍어 두고, 화면에 닿는 PR마다 다시 찍어 픽셀로 견줘요. Playwright의 화면 비교(toHaveScreenshot)예요.
- 10/13처음 아홉 장: 홈 밝은·어두운, 항목 시트, 할 일 모음, 디자인 부품 (#355)
- 10/15폰과 넓은 화면을 일꾼 둘로 함께 찍어요 (#482)
- 10/17Mac 러너로 옮기고, 브라우저만 Docker의 Linux로 (#694)
- 10/17덜 그려진 시트를 따라가 DB의 JIT를 껐어요 (#755)
- 10/19그림 대신 자리를 재는 시험도 더해요 (#857)
- 10/20문서 홈과 문서 한 장을 더해 열세 장 (#899)
무엇을 찍나
화면 일곱 가지를 폰(iPhone 15 크기)과 넓은 화면(1440×900)에서 찍어요. 할 일 모음은 넓은 화면에서는 홈 옆에 늘 보여서 폰에서만 따로 찍어요. 모두 열세 장이에요.
| 화면 | 폰 | 넓은 화면 | 보는 것 |
|---|---|---|---|
| 홈, 밝은 모드 | ○ | ○ | 하루 목록·시간표·지금 카드, 넓은 화면은 옆 칸까지 |
| 홈, 어두운 모드 | ○ | ○ | 같은 판을 어두운 색으로 |
| 항목 시트 | ○ | ○ | 안에 할 일이 든 일정을 연 모습 |
| 할 일 모음 | ○ | 날짜 없는 할 일 목록 | |
| 문서 홈 | ○ | ○ | 최근에 본 문서, 오늘 일정의 회의록 |
| 문서 한 장 | ○ | ○ | 표지·아이콘·하위 페이지 |
| 디자인 부품 | ○ | ○ | /design의 모든 부품 |
날마다 같은 그림이 나오게
화면 비교에서 가장 어려운 것은 견주기가 아니라 같은 그림을 다시 찍는 것이에요. 시계, 데이터, 글꼴, 움직임, 늦게 오는 응답이 모두 그림을 흔들어요. 하나씩 멈췄어요.
| 흔드는 것 | 멈추는 법 |
|---|---|
| 서버의 지금 | 서버를 node --import로 띄워 Date를 한 순간(서울 수요일 아침 9:30)에 멈춰요 |
| 브라우저의 지금 | Playwright page.clock으로 같은 순간에 둬요 |
| 판의 내용 | 시험 DB를 비우고, 정해 둔 하루(일정 다섯·할 일 여섯·문서 여섯)를 공개 API로 채워요 |
| "어제 추가" 같은 글 | DB가 적은 만든 때를 SQL로 그 아침으로 옮겨요. 만든 차례는 그대로 둬요 |
| 언어·시간대 | 한국어, Asia/Seoul로 고정해요 |
| 움직임 | 움직임 줄이기를 켜고, 애니메이션을 끄고, 글 칸 커서를 숨겨요 |
| 글꼴 | 글꼴을 다 받을 때까지 기다리고, 늘 같은 판의 Linux 브라우저로 찍어요 |
| 늦게 오는 것 | 스크롤 자리와 문서 높이가 0.3초 동안 그대로일 때까지 기다려요. 시트는 도는 표시가 사라진 뒤 찍어요 |
| 남는 흔들림 | 픽셀의 1%까지는 같은 그림으로 봐요 |
시계를 서버와 브라우저 둘 다 멈추는 데는 까닭이 있어요. 첫 화면은 서버가 판을 미리 읽어 넘기고, 그 뒤로는 브라우저가 받아요. 둘의 "오늘"이 다르면 한 화면 안에서 날짜가 어긋나요.
판을 공개 API로 채우는 것도 일부러예요. 앱이 쓰는 길과 같은 길로 만들어야 화면에 보이는 값도 앱과 같아요. DB에 줄을 직접 넣으면 계산해서 채우는 칸이 빠질 수 있어요. 시험 DB를 비우는 일이라, 주소가 이 컴퓨터(localhost)가 아니면 지우지 않고 멈춰요.
글꼴은 운영체제마다 그리는 법이 달라요. 같은 Linux라도 Claude 세션의 컨테이너에서 찍은 그림은 CI와 조금씩 달라서, 다시 찍을 때는 CI가 찍은 그림을 받아 올렸어요(#636). 지금은 늘 Playwright 공식 Linux 이미지의 정해 둔 판에서 찍어요. CI가 Mac에서 돌게 된 뒤로는 앱만 Mac에서 띄우고 브라우저만 Docker의 Linux로 붙여요. 그 이야기는 Mac 러너 글에 있어요.
언제 도나
화면에 닿는 파일(화면 코드, 문구, 계산 층, 디자인 토큰, 앱 정책 해석기)이 바뀐 PR에서만 돌아요. 시험 파일이나 다른 패키지만 바뀐 PR은 건너뛰어요.
10월 12일부터 20일까지 700번 돌았어요. 643번은 통과했고 31번은 같은 PR에 새 커밋이 올라와 멈췄어요. 실패는 26번이에요.
실패 26번을 갈라 봤어요
실패마다 CI 기록을 읽어 까닭을 갈랐어요. 하나는 기록이 지워져 읽지 못했어요.
대부분은 일부러 바꾼 화면이었어요
그림이 달라진 15번 중 11번이 항목 시트였어요. 시트는 이 기간에 가장 많이 바뀐 화면이에요. 먼저 할 일 묶음이 생기고, iOS의 칩 시트에 맞추고, 다듬었어요. 이럴 때는 같은 PR에서 그림을 다시 찍어(--update-snapshots) 함께 올려요. 그림을 처음 싣거나 다시 찍은 PR은 18개였고, 그중 시트 그림을 바꾼 것이 가장 많았어요(넓은 화면 12번, 폰 7번). 리뷰하는 사람은 코드 대신 그림 두 장을 견줘 보면 돼요.
빨간 채로 합친 날
10월 15일 일정 초대 PR(#546)은 시트 참석자 묶음에 "초대하기" 단추를 더했어요. 넓은 화면 시트 그림이 46,799픽셀(4%) 달라져 빨갰는데, 그림을 다시 찍지 않고 합쳐졌어요. 화면 비교는 합치기를 막는 필수 검사가 아니었거든요.
그 뒤로 main이 빨갰고, 시트를 건드리지 않은 PR(#542)도 똑같이 46,799픽셀로 빨간 채 합쳐졌어요. 픽셀 수가 같다는 것이 실마리였어요. 같은 원인이라는 뜻이에요. 바로 다음 PR(#547)이 그림만 다시 찍어 맞췄어요.
빨간 검사를 지나쳐 합치면 그 빨강은 다음 사람의 몫이 된다. 그리고 다음 사람은 자기가 무엇을 깼는지 찾느라 시간을 쓴다.
덜 그려진 시트가 DB를 가리켰어요
가장 값진 실패는 그림이 아니었어요. 10월 17일 보안 검토 PR(#755)에서 폰과 넓은 화면 모두 시트를 찍기 전에 멈췄어요. 시트는 판의 값으로 먼저 열리고, 상세(알림·반복 안내)를 받는 동안 시각 옆에 도는 표시를 보여요. 시험은 그 표시가 사라진 뒤 찍는데, 표시가 끝내 사라지지 않았어요.
따라가 보니 시트 상세를 읽는 쿼리가 시험 DB에서 5.7초 걸렸어요. 실행은 몇 ms였어요. 나머지는 Postgres의 JIT 컴파일이었어요.
이 DB의 새 연결에서 JIT를 끄는 마이그레이션 하나로 고쳤어요(alter database … set jit = off). 같은 상세가 0.08초가 됐어요. 결과는 같고 실행 방식만 바뀌어요. DB 주인이 아니라 설정을 바꿀 수 없는 곳에서는 알림만 남기고 넘어가요. 실행 방식 하나 때문에 배포가 멈추면 안 되니까요.
이 시험은 성능을 재려고 만든 게 아니에요. 그런데 "다 받은 뒤 찍는다"는 기다림이 있었기에, 끝나지 않는 기다림이 실패로 드러났어요.
무엇을 기다리는지 적어 두면, 기다림 자체가 시험이 된다. 시간을 정해 두고 그냥 기다렸다면 덜 그려진 시트를 찍고 지나갔을 것이다.
짚지 못한 것도 있어요
화면을 바꾸지 않은 PR에서 그림이 달라진 것도 있었어요. iOS만 고친 PR에서 폰 시트가 5,150픽셀 달라졌고, 같은 날 두 PR에서 폰 디자인 부품이 3,208픽셀로 똑같이 달라졌어요. 뒤의 것은 같은 원인으로 보이지만, 둘 다 무엇이었는지 끝까지 짚지 못했어요.
그림만으로는 모자라요
그림은 "다르다"고만 말해요. 무엇이 왜 틀렸는지는 말하지 않아요. 높이 0이 된 시간표(#857)는 그림으로도 잡히지만, 고친 뒤에는 자리를 재는 시험을 더했어요. "주 보기 시간표가 판 칸을 채우고(300px 넘게), 넓은 화면에서는 옆 칸 오른쪽에 있고, 좁은 화면용 종일 칸은 숨어 있다." 고치기 전 코드에서 이 시험은 높이 0으로 실패해요.
넓은 화면의 마우스와 키보드 동작도 그림 대신 동작으로 재요. 빈 칸 한 번 누르기, 끌면 15분 칸(Alt를 누르면 5분), 오른쪽 클릭 메뉴, 트랙패드 옆 밀기, 단축키 같은 것들이에요. 이런 시험이 12개 있어요. 판은 같은 하루를 읽기만 해요.
남은 것
- iOS는 그림으로 견주지 않아요. iOS는 UI 시험이 동작을 봐요. 화면 그림 비교는 아직 웹뿐이에요.
- 한국어만 찍어요. 다른 다섯 언어에서 글이 넘치거나 잘리는 것은 아직 그림이 지키지 않아요.
- 필수 검사가 아니에요. 빨간 그림을 지나쳐 합칠 수 있어요. 빨간 채로 합친 날처럼요.
배운 것
- 견주기보다 멈추기가 어려워요. 시계, 데이터, 글꼴, 움직임, 늦게 오는 응답을 하나씩 멈춰야 같은 그림이 나와요.
- 픽셀 수는 지문이에요. 서로 다른 PR이 똑같은 픽셀 수로 실패하면 같은 원인이에요.
- 기다리는 조건을 이름으로 적어요. "1초 기다리기" 대신 "도는 표시가 사라질 때까지"라고 적었기에 5.7초가 보였어요.