JYP Garden

수업 #5 — AI는 왜 같은 실수를 안 할까?

Properties1
tagssource, agentic-architecture, harness-engineering, knowledge

8 min read

수업 #5 — AI는 왜 같은 실수를 안 할까?

Source: bbojjak-viewer.vercel.app/lessons/lesson-05 Type: article By: 뽀짝이 / 뽀짝이의 서재 (지피터스 AI스터디) Valid as of: 2026-04-28

Key Insight

AI 에이전트가 같은 실수를 반복하지 않는 비결은 AGENTS.md의 절대 규칙이다. 핵심 원칙: “알고 있다 ≠ 실행한다” — 추상적 원칙은 해석 실패로 이어지므로, 사고에서 탄생한 구체적 규칙(1차 방어선) + 실행 경로 제거(2차 방어선 시스템)의 2중 방어선이 필요하다.

핵심 Takeaway

  • AGENTS.md = 에이전트 업무 매뉴얼: SOUL.md(정체성)와 분리된 행동 규칙 파일. 세션 절차·메모리 규칙·팀원 권한·절대 규칙 수록. “SOUL.md가 DNA라면 AGENTS.md는 사내 업무 매뉴얼” (출처: “AGENTS.md” 섹션)
  • 절대 규칙 = 사고 현장에서 탄생한 구체적 금지 규칙: 실수→원인분석→구체 규칙 작성→AGENTS.md 추가 루프. 9일에 0→14개 성장. 구체성이 핵심 (출처: “절대 규칙” 섹션)
  • “알고 있다 ≠ 실행한다”: 추상적 원칙은 AI가 해석해야 하므로 실패 가능. 구체적 규칙은 해석 여지 없이 실행. “반복을 피하라”(실패) vs “최초 1회만 + 메모리 확인”(성공) (출처: “알고 있다 ≠ 실행한다” 섹션)
  • 지침 vs 시스템 — 2중 방어선: 절대 규칙(1차·AI 매번 판단) + 시스템 구조적 제거(2차·판단 불필요). 위험도 높은 사항은 두 방어선 모두 적용. HEARTBEAT.md 항목 삭제 = 실행 경로 자체 제거 (출처: “지침 vs 시스템” 섹션)
  • 사고 루프 = 에이전트 강화: AGENTS.md가 조직의 실수 DB. “사고를 칠수록 에이전트가 강해진다.” 중요한 건 같은 실수의 반복 여부 (출처: “사고뭉치인 게 나쁜 건가요?” 섹션)

상세 요약

SOUL.md vs AGENTS.md 역할 분리

파일비유내용
SOUL.mdDNA / 성격정체성, 말투, 미션, 페르소나
AGENTS.md사내 업무 매뉴얼절차, 금지사항, 절대 규칙, 권한 체계

두 파일의 역할 분리는 agent-identity-design(SOUL.md)과 agent-error-learning-loop(AGENTS.md 절대 규칙)으로 각각 다룬다.

절대 규칙 3가지 실전 사례

A — 시간대 미명시 → 새벽 0시 아침 브리핑

  • 원인: HEARTBEAT.md에 “아침 브리핑 보내라”만 있고 시각 조건 없음
  • 규칙: “KST 08:30~09:30 사이에만. 시간대 밖이면 절대 발송 금지”
  • 교훈: 조건부 실행은 조건을 명시하지 않으면 항상 실행된다

B — 상태 추적 없음 → 오류 15회 반복 보고 (🚨🚨🚨)

  • 원인: 하트비트 루프가 “확인→에러→보고”를 상태 저장 없이 반복
  • 규칙: “최초 1회만. 메모리 파일로 ‘이미 보고했는지’ 반드시 확인”
  • 교훈: 루프 기반 에이전트는 반드시 상태 기억(memory/) 필요

C — 즉답 욕구 → 기억 의존 오답

  • 원인: 확인 30초 절약을 위해 기억에 의존한 즉답
  • 규칙: “일정/시간/숫자는 원본 데이터 조회 후 작성. 기억 의존 즉답 절대 금지”
  • 교훈: 정확성 > 속도. “1분 늦더라도 정확한 것이 100배 낫다”

2중 방어선 설계

위험도 낮은 상황:  절대 규칙(1차)만으로 충분
위험도 높은 상황:  절대 규칙(1차) + 시스템(2차) 이중 적용

매출 리포트 중복 발송 사례:

  • 1차(지침): AGENTS.md에 “중복 발송 금지” 명시
  • 2차(시스템): HEARTBEAT.md에서 매출 리포트 항목 아예 삭제 → 판단 자체 불필요

시스템(2차)이 강력한 이유: 실행 경로를 단일화하면 “판단 놓침”이라는 취약점이 사라진다.

AGENTS.md = 조직의 실수 DB

이 관점은 harness-engineering의 CLAUDE.md 운영 철학과 동일하다:

  • “같은 실수를 2번 반복하면 CLAUDE.md에 규칙 추가”
  • AGENTS.md 절대 규칙 = CLAUDE.md 지침의 에이전트 버전

에이전트가 오래될수록 AGENTS.md가 두터워진다 = 조직 경험이 코드화된다.

연결되는 위키 페이지

그래프 뷰