ikieEngineeringGet started
All posts

자연어온디바이스 모델iOS측정

작은 모델에게는 날짜를 맡기지 않았어요

ikie는 "내일 3시 치과" 한 줄을 서버의 LLM 없이 일정으로 읽어요. 날짜와 시각은 규칙이 계산하고 기기 안의 작은 모델은 "일정인가 할 일인가" 하나만 고르게 한 과정과, 규칙과 모델 셋을 한 시험 세트로 잰 이야기예요.

English

ikie 홈 맨 아래에는 "무엇이든 적기" 칸이 있어요. "내일 3시 치과", "금요일까지 보고서", "다음 주 화요일 오후 2시~4시 워크숍" 같은 한 줄을 적으면 날짜와 시각, 일정인지 할 일인지를 읽어 판에 넣어요.

요즘이라면 큰 언어 모델에 맡기는 게 자연스러워 보여요. 하지만 ikie는 서버에 LLM을 두지 않기로 했어요. 판단은 사용자가 연결한 Claude가 하고, 앱 서버는 캘린더·할 일과 그 규칙만 다뤄요. 그래서 한 줄 읽기는 규칙으로 하고, 예외로 기기 안의 작은 모델만 쓰기로 했어요.

읽는 것과 만드는 것은 나눠요

먼저 길을 나눴어요. 글을 읽는 입구는 하나뿐이고 아무것도 만들지 않아요. 만들기는 글을 받지 않고 값(제목, 날, 시각, 길이, 마감)만 받아요.

export type Captured = {
  title: string;
  on?: string;      // 할 날 YYYY-MM-DD
  at?: string;      // HH:MM, on과 함께
  due?: string;     // 마감 날
  dueTime?: string; // 마감 시각("내일 오후 3시까지")
  minutes?: number; // "3시~5시"·"1시간 동안"
  now?: boolean;    // "지금·당장"
  until?: string;   // 여러 날 일정의 마지막 날
};

처음에는 읽고 바로 만드는 길이 있었어요. 그 길을 연결한 도구(MCP)도 쓸 수 있었는데, Claude가 작업 기록 제목에 쓴 "지금"이라는 낱말이 "지금 시작하는 일정"으로 읽히는 일이 생겼어요. 둘을 나눈 뒤로는 누가 부르든 무엇을 만들지가 먼저 값으로 드러나요. Claude도 이제 읽기 도구로 읽어 본 뒤, 만들기 도구에 값을 넣어 만들어요. 글을 읽는 함수를 자연어 입구 말고 다른 곳에서 부르면 시험이 막아요.

규칙이 바닥이에요

규칙 읽기는 한국어는 직접 쓴 파서로, 영어·일본어·중국어·스페인어는 오픈소스 chrono-node로 해요. 따옴표 안의 글은 먼저 가려서, 따옴표로 묶은 제목 속 "지금"을 시각으로 읽지 않아요.

기기 모델도 같은 포트(CaptureReader → Captured)로 읽어요. 그래서 기기에 모델이 없거나, 늦거나, 실패하면 규칙 읽기가 그대로 남아요. 모델은 더 잘 읽을 기회일 뿐, 꼭 있어야 하는 것은 아니에요.

같은 자로 재요

읽기는 모두 한 시험 세트로 재요. 한국어 107줄, 기준 시각은 2026년 10월 9일 금요일 오후 2시(서울)로 고정했어요. 할 일 67줄, 일정 40줄이고, 날 80줄·시각 50줄·마감 10줄·길이 9줄·"지금" 5줄·여러 날 4줄이 들어 있어요.

애매한 줄도 일부러 넣었어요. "내일 저녁 치킨"은 사 오라는 할 일인지 먹는 약속인지, 제목이 무엇인지 사람도 갈려요. 이런 칸은 채점하지 않는다고(ignore) 적어 둬요.

서버 시험은 규칙이 틀리는 줄이 정해 둔 목록(11줄)과 정확히 같아야 통과해요. 더 틀려도, 덜 틀려도 실패예요. 덜 틀리면 목록을 줄이라는 뜻이니까요. iOS의 Swift 규칙도 같은 세트로 시험해요.

규칙이 틀리는 곳

규칙은 107줄 중 96줄을 맞혀요. 틀리는 11줄은 거의 한 종류였어요. "3시에 보고서 쓰기", "저녁 7시 장보기"처럼 시각이 있는 할 일이에요. 규칙은 시각이 있으면 일정으로 보거든요. 어려운 것은 날짜와 시각 계산이 아니었어요. 그 일이 "시간이 지나면 끝나는 약속"인지 "내가 끝내야 끝나는 일"인지, 뜻을 가르는 일이었어요.

모델에게는 하나만 물어요

처음에는 작은 모델에게 날짜와 시각까지 읽게 해 봤어요. 결과가 나빴어요. 작은 모델은 글에 없는 시각을 지어내고, 시각을 말하지 않았는데 00:00을 채우고, 날짜 셈에 약했어요. 시뮬레이터에서는 "금요일"을 일요일로 읽기도 했어요.

그래서 일을 나눴어요. 날짜와 시각은 규칙이 계산하고, 모델은 종류 하나만 골라요. 모델의 출력은 문법으로 묶어 {"kind":"event"}나 {"kind":"task"} 말고는 낼 수 없게 했어요. llama.cpp는 GBNF 문법으로, Apple Foundation Models는 두 값 중 하나만 고르는 생성 스키마로요. 날짜만 있고 시각이 없는 줄처럼 규칙이 이미 확실한 줄은 모델을 부르지도 않아요.

여기까지는 한국어 이야기예요. 다른 언어에서는 Apple 모델이 더 많이 읽지만, 날짜 셈은 여전히 맡기지 않아요. 앞으로 2주의 날마다 "내일", "다음 주 화요일" 같은 이름을 붙인 표를 주고 그중에서 고르게 해요. 그리고 글에 근거가 없는 값은 버려요. 글에 없는 날, 말하지 않은 자정 같은 것이요.

모델 셋을 같은 세트로

Mac(M2 Max, Metal)에서 당시 100줄 세트로 잰 숫자예요. 모델은 100줄 중 45줄에서만 불렸어요.

규칙LFM2 350MLFM2.5 350MQwen3 0.6B
숫자로 보기
읽기규칙LFM2 350MLFM2.5 350MQwen3 0.6B
맞힌 줄89줄89줄92줄96줄
종류를 맞힌 줄90줄90줄93줄97줄
모델을 부른 줄의 시간(p50/p95)–57/58ms57/59ms87/94ms
첫 부름–208ms127ms273ms
더 쓴 메모리–93MB33MB179MB
파일–229MB229MB397MB
당시 100줄 세트, Mac(M2 Max)에서 잰 숫자예요. 위 둘은 클수록, 아래 넷은 작을수록 좋아요. 규칙은 모델을 부르지 않아 시간·메모리가 없어요.

LFM2는 규칙보다 나을 게 없어 뺐어요. 지금 고를 수 있는 것은 LFM2.5와 Qwen3이고, 둘 다 4비트 양자화한 GGUF 파일을 처음 쓸 때 받아 llama.cpp로 돌려요.

  • 받은 파일은 SHA-256으로 확인하고, 끊기면 이어 받고, 백업에서 빼요.
  • 적기 칸을 열어 받기가 시작되면 와이파이를 기다리고, 설정에서 직접 누르면 셀룰러로도 받아요.
  • 남은 메모리가 파일 크기보다 300MB 넘게 넉넉하지 않으면 모델을 올리지 않고, 메모리 경고가 오면 내려요.
  • RAM이 3.5GB가 안 되는 기기에서는 이 읽기를 고를 수 없어요.

기본은 Apple Foundation Models예요. 쓸 수 있는 기기면 그것, 아니면 규칙이에요. Apple 모델은 그 Mac에 모델 자산이 없어 같은 표에 넣지 못했어요. 실제 iPhone에서 잰 숫자도 아직 없어요. 시뮬레이터는 llama를 CPU로 돌려 한 줄에 6초쯤 걸려서 숫자로 쓰지 않았어요.

앱이 둘을 합치는 법

적는 동안에는 서버의 규칙 읽기와 기기의 모델 읽기를 함께 불러요. 서버 읽기가 먼저 보이고, 모델이 답하면 그것으로 바꿔요. 합칠 때의 차례는 이래요.

  • 사람이 칩으로 고른 날짜·시각이 읽은 값보다 먼저예요.
  • 종류는 사람이 고른 것 → 기기 모델이 고른 것 → 서버 규칙이 정한 것 순서예요.
  • 만들기 요청에는 종류를 사람이 골랐거나 기기 모델이 읽었을 때만 실어요. 서버 규칙의 종류는 싣지 않아요. 서버가 같은 값으로 다시 정하니까요.

마지막 줄은 원칙 검토에서 바로잡은 것이에요. 예전 iOS는 계산한 종류를 늘 보내서, 모델이 없을 때도 앱이 서버 대신 종류를 정하고 있었어요.

프라이버시도 정확히 말해야 해요. 적은 글은 기기 안에만 머물지 않아요. 서버의 규칙 읽기도 함께 부르니까요. 정확한 말은 "어떤 외부·클라우드 LLM도 그 글을 보지 않는다"예요.

비교 화면

설정의 "적은 글 알아보기"에서 읽기를 고르고 모델을 받아요. 시험 빌드에는 비교 화면("적은 글 알아보기 비교")이 있어요. 한 줄을 모든 읽기로 나란히 읽고, 모델이 받은 입력(시스템·사용자·문법), 날것의 출력, 거기서 꺼낸 값, 최종 결과를 보여요. 입력을 고쳐 다시 돌릴 수도 있어요. 문법을 비우면 Qwen3가 긴 <think>를 쓰기 시작하는 것도 이 화면에서 봤어요. 시험 세트 전체를 칸마다 채점하고 첫 부름 시간, p50/p95, 메모리도 보여요.

배운 것

  • 작은 모델에게는 작은 질문을 해요. 날짜 셈과 시각 읽기는 규칙이 더 정확하고 빨라요. 모델은 규칙이 못 하는 "뜻을 가르는" 질문 하나에만 써요.
  • 출력은 문법으로 묶어요. 고를 수 있는 값이 둘뿐이면 지어낼 틈이 없어요.
  • 모델은 바닥이 아니라 위층이에요. 규칙이 바닥이라 모델이 없어도, 실패해도 앱은 같은 일을 해요.
  • 같은 자로 재요. 규칙도, 세 모델도, Apple 모델도 한 시험 세트로 재게 해 뒀어요. 그래서 "모델이 더 낫다"를 느낌이 아니라 숫자로 말할 수 있어요.

The ikie teamikie is a calendar for your events and to-dos in one place. Here we write about the problems we run into while building it, and how we solve them.