룰 vs LLM 결정 매트릭스
— 어디서 어디까지 LLM 쓸까

1. 핵심 원칙 — "점수는 룰, 멘트는 LLM"

왜 이 분리가 중요한가

• 학술 정합성 — 점수·등급은 결정론적 Rule로 재현·감사 가능 (RCT 데이터 신뢰성)
• 비용 통제 — 모든 화면을 LLM으로 채우면 월 ₩수십M. 룰로 95% 처리하고 LLM은 자연어·정성에만
• 속도 — 룰은 p95 50ms · LLM은 800ms~2.5s. 핵심 화면은 룰
• 자연스러움 — 부모는 같은 문구 반복 안 좋아함. LLM이 매번 다른 표현 + 맥락 반영
• 오프라인 작동 — 룰 기능은 LLM 장애에도 작동 (도감·신호등·점수)

2. 3 카테고리 분류

3. 결정 트리 — 신규 기능 어디에 넣을까

판단 예시 (3가지)

4. 41개 핵심 기능 매트릭스

🟢 A (Pure Rule) 24개 · 🟡 B (Rule + LLM) 11개 · 🟣 C (LLM-Primary) 9개 · 합 44개

5. 🟢 Pure Rule (22개) — 결정론·재현·빠름

// WHO MDD 다양성 카운트 (식품군 1-2단계)
function axisDiversity(logs) {
  const groups = new Set();
  logs.forEach(log => log.ingredients.forEach(i => groups.add(i.foodGroup)));
  const mddSatisfied = groups.size >= 5;        // WHO 기준 8 중 5 이상

  // 14 sub 깊이 (1번 축 2단계)
  const subCats = new Set();
  logs.forEach(log => log.ingredients.forEach(i => subCats.add(i.subCategory)));
  const subDepth = subCats.size;

  return {
    pct: !mddSatisfied ? 60 : subDepth >= 10 ? 95 : subDepth >= 6 ? 90 : 85,
    grade: !mddSatisfied ? 'C' : subDepth >= 10 ? 'A+' : subDepth >= 6 ? 'A' : 'B+',
    raw: { mddGroups: groups.size, subDepth }
  };
}

6. 🟡 Rule + LLM Narration (11개) — 점수는 룰, 멘트는 LLM

async function axisNarrative(axisResult, childContext) {
  // 1단계: 룰로 계산 (Cat A) — 이미 끝남
  // axisResult = { axisId:'texture', pct:55, grade:'C',
  //                raw:{pureeChunkPct:65, fingerCount:2, ageMonths:14} }

  // 2단계: 캐시 확인 (같은 raw + ageBand → 자연어 재사용)
  const cacheKey = sha256(JSON.stringify(axisResult.raw) + childContext.ageBand);
  const cached = await redis.get(`narr:${cacheKey}`);
  if (cached) return cached;

  // 3단계: Haiku로 자연어 생성 (5-7일 캐시)
  const narrative = await haiku.generate(NARRATIVE_PROMPT, {
    axis: axisResult,
    childAge: childContext.ageMonths,
    childName: childContext.nickname,
    tonePreference: childContext.parentTone || 'friendly'
  });

  await redis.setex(`narr:${cacheKey}`, 604800, narrative);
  return narrative;  // "지우 어머니, 죽이 65%네요. 14개월이면..."
}

이 카테고리 11개 기능 한 줄 요약

7. 🟣 LLM-Primary (8개) — LLM 코어, 룰은 검증·가드

async function llmPrimary(input) {
  // 1. 입력 sanitize (prompt injection 가드)
  const safe = sanitizeUserInput(input);
  if (detectInjection(safe)) return { error: 'rejected' };

  // 2. LLM 호출 (Sonnet — 복잡 추론용)
  const raw = await sonnet.generate(SYSTEM_PROMPT, safe);

  // 3. zod schema 검증 (LLM 출력은 항상 정형으로 환원)
  const parsed = OutputSchema.safeParse(extractJSON(raw));
  if (!parsed.success) return { error: 'schema_fail', retry: true };

  // 4. 룰로 추가 검증 (학술 정합성 가드)
  if (parsed.data.sosStage > 6) return { error: 'invalid_sos' };
  if (parsed.data.confidence < 0.3) return { ...parsed.data, lowConfidence: true };

  return parsed.data;
}

8. 비용 분석 (MAU 1만 기준)

왜 룰 분리가 핵심인가 (비용은 부수적)

사실 도감·레시피 같은 정적 콘텐츠는 LLM으로 만들어도 한 번 생성 후 영구 캐시되므로 추가 비용 ≈ 0. 비용보다 진짜 이유는 따로 있다.

→ 룰 분리의 진짜 이유는 재현성·속도·오프라인·장애 내성. 비용 차이는 미미하지만, 위 4가지는 학술·UX·신뢰성에 결정적.

9. 가드레일 — LLM이 학술 정합성 깨지 않도록

가드레일 5종

• ① 출력 schema 강제 — LLM 응답은 zod schema 통과 필수. 자유 텍스트만 허용되는 필드(narrative)와 정형 필드(score·grade·status) 분리
• ② 핵심 사실 룰 검증 — narrative 내 인용한 숫자는 룰 출력과 정확 일치 확인 (regex). 불일치 시 폐기 + Sonnet 재호출
• ③ 톤 가드 — design-spec §10 금지 표현(엄마가/정상/조속히 등) 자동 필터. 적발 시 재생성
• ④ 의료 자문 가드 — "진단·치료·약" 표현 차단. 항상 disclaimer 첨부
• ⑤ Confidence threshold — LLM confidence < 0.7 시 narrative 생략하고 룰 결과만 표시 (안전 fallback)

실패 시 fallback (모든 Cat B·C)

• LLM 호출 실패·timeout → 룰 결과 + 표준 템플릿 멘트 ("{축} {등급} 등급이에요")
• 일일 LLM 비용 초과 ($50/day) → Haiku만 유지, Sonnet 차단 → 자연어 품질 약간 ↓ but 작동 유지
• schema 검증 3회 실패 → Cat A 결과만 표시, 사용자에게 "잠시 후 다시 시도해주세요" 안내
• Anthropic API 장애 → Cat A 22개 기능 100% 정상 작동 (도감·신호등·점수·키트)

모니터링 지표

• 일일 LLM 호출 수 (Haiku/Sonnet 분리)
• cache hit rate (목표 60%+)
• schema 검증 실패율 (≤ 3%)
• 학술 가드 차단율 (≤ 1%)
• 일일 비용 (목표 $30/day → MAU 1만 시)