Redis 캐시 장애 대응 72시간 — 캐시 스탬피드 발생부터 아키텍처 개선까지

장애를 일으킨 원래 캐시 패턴 (위험한 코드)
// 전형적인 cache-aside 패턴 — 스탬피드에 취약
async function getDashboardStats(projectId) {
  const cacheKey = `dashboard:${projectId}`;
  const cached = await redis.get(cacheKey);
  
  if (cached) return JSON.parse(cached);
  
  // 캐시 미스 → DB 직접 조회
  // 동시에 500명이 이 코드를 실행하면 500개의 DB 쿼리 발생
  const stats = await db.query(`
    SELECT project_id, COUNT(*) as task_count,
           SUM(CASE WHEN status = 'done' THEN 1 ELSE 0 END) as done_count
    FROM tasks
    JOIN projects ON projects.id = tasks.project_id
    WHERE project_id = $1
    GROUP BY project_id
  `, [projectId]);
  
  await redis.setex(cacheKey, 300, JSON.stringify(stats));
  return stats;
}

수정 1: 뮤텍스 락으로 스탬피드 방지

뮤텍스 락 기반 캐시 조회 패턴
async function getDashboardStatsWithLock(projectId) {
  const cacheKey = `dashboard:${projectId}`;
  const lockKey = `lock:${cacheKey}`;
  const cached = await redis.get(cacheKey);
  
  if (cached) return JSON.parse(cached);
  
  // 분산 락 획득 시도 (5초 TTL)
  const acquired = await redis.set(lockKey, '1', 'NX', 'EX', 5);
  
  if (acquired) {
    try {
      const stats = await db.query(DASHBOARD_QUERY, [projectId]);
      await redis.setex(cacheKey, 300, JSON.stringify(stats));
      return stats;
    } finally {
      await redis.del(lockKey);
    }
  }
  
  // 락 획득 실패 → 짧은 대기 후 캐시 재확인
  await new Promise(r => setTimeout(r, 200));
  const retried = await redis.get(cacheKey);
  if (retried) return JSON.parse(retried);
  
  // 최종 폴백: stale 데이터라도 반환
  return getFallbackStats(projectId);
}

수정 2: stale-while-revalidate 패턴

stale-while-revalidate 구현
async function getWithSWR(key, fetchFn, ttl = 300) {
  const raw = await redis.get(key);
  
  if (raw) {
    const { data, refreshAt } = JSON.parse(raw);
    
    if (Date.now() > refreshAt) {
      // stale 상태 → 백그라운드 갱신
      refreshInBackground(key, fetchFn, ttl);
    }
    return data; // 기존 데이터 즉시 반환
  }
  
  // 캐시 없음 → 뮤텍스 락 + DB 조회
  return fetchWithLock(key, fetchFn, ttl);
}

async function refreshInBackground(key, fetchFn, ttl) {
  const lockKey = `refresh:${key}`;
  const acquired = await redis.set(lockKey, '1', 'NX', 'EX', 10);
  if (!acquired) return; // 이미 갱신 중
  
  try {
    const data = await fetchFn();
    const refreshAt = Date.now() + (ttl * 0.8 * 1000);
    await redis.setex(key, ttl, JSON.stringify({ data, refreshAt }));
  } finally {
    await redis.del(lockKey);
  }
}

수정 3: Redis 서킷 브레이커 추가

서킷 브레이커 + DB 동시성 제한
const Bottleneck = require('bottleneck');

// DB 쿼리 동시 실행 제한 (최대 10개)
const dbLimiter = new Bottleneck({
  maxConcurrent: 10,
  minTime: 50
});

// 서킷 브레이커 상태
let redisCircuitOpen = false;
let redisFailCount = 0;

async function resilientCacheGet(key) {
  if (redisCircuitOpen) return null; // 서킷 열림 → 캐시 스킵
  
  try {
    const result = await Promise.race([
      redis.get(key),
      new Promise((_, reject) =>
        setTimeout(() => reject(new Error('timeout')), 500)
      )
    ]);
    redisFailCount = 0;
    return result;
  } catch (err) {
    redisFailCount++;
    if (redisFailCount >= 3) {
      redisCircuitOpen = true;
      setTimeout(() => {
        redisCircuitOpen = false;
        redisFailCount = 0;
      }, 30000); // 30초 후 반개방
    }
    return null;
  }
}