JYP Garden

RIGOR

Properties1
tagsontology, rag, ai-methodology, system-architecture, llm, knowledge

4 min read

Definition

RIGOR (Retrieval-Integrated GeneratOr for ontology Requirements)는 LLM과 RAG를 활용하여 고품질 온톨로지를 자동으로 생성하는 AI 시스템이다.

Problem It Solves

전통적 온톨로지 구축:

  • 전문가가 수작업으로 설계 (시간, 비용 막대함)
  • 불완전한 결과 (다른 지식과 미연결)
  • 확장성 낮음 (새 도메인마다 처음부터 시작)

RIGOR의 핵심: LLM의 창의성 + RAG의 지식 접근권 + 이중 검증 프로세스

Architecture: AI Librarian Team

RIGOR은 두 명의 핵심 LLM 멤버로 구성:

1. Generator (생성자)

  • 역할: 카탈로그 초안 창의적 작성
  • 특징: 풍부한 맥락 활용, 새로운 아이디어 제시
  • RAG 접근: 전 세계 지식베이스 참조 가능

2. Reviewer (심판자)

  • 역할: 초안의 꼼꼼하고 냉철한 검토
  • 특징: 엄격한 기준 적용, 오류 포착
  • 기능:
    • 정확성(accuracy) 검증
    • 누락된 내용(completeness) 확인
    • 불필요한 군더더기 제거
    • 이해 난이도(understandability) 평가

Work Process

1. 선택 (Selection)
   ├─ 데이터 창고에서 1개 테이블 선택
   
2. 조사 (Investigation)
   ├─ RAG를 활용하여 관련 정보 전부 조사
   
3. 생성 (Generation)
   ├─ Generator가 카탈로그 초안 작성 (🎨 창의성)
   
4. 검토 (Review)
   ├─ Reviewer가 꼼꼼히 검토 (🔍 정확성)
   
5. 완성 (Finalization)
   ├─ 완벽해지면 마스터 카탈로그에 추가
   
6. 반복 (Iteration)
   └─ 다음 테이블로 진행 (모든 테이블 완료까지 반복)

Secret Weapon: RAG

RAG (Retrieval-Augmented Generation)는 RIGOR에게:

  • 전 세계 지식 도서관 접근권 제공 (library access pass)
  • AI가 상상에서 글 쓰는 것 아님 → 기존 문서 검색·참조
  • 훨씬 정확하고 맥락에 맞는 카탈로그 생성 가능

Key Performance Results

Prior Simple AI Methods

  • 결과: 쓸 만한 결과물 생성 불가
  • 성공률: 거의 0% → 시작조차 못 함

RIGOR Performance

복잡한 질문에 대한 답변 품질:

  • Previous method: 1.5/5.0 점수
  • RIGOR: 4.6/5.0 점수 ✅ 3배 이상 우수

품질 평가 기준 (독립적 AI 심판관):

  • ✅ 정확성 (accuracy)
  • ✅ 완전성 (completeness) — 누락 없음
  • ✅ 간결성 (clarity) — 군더더기 제거
  • ✅ 이해 용이성 (understandability) — 명확한 표현

원본 데이터 반영도: 72.4%

  • RIGOR이 만든 카탈로그는 단순 창작이 아님
  • 원본 데이터의 72% 이상 정확하게 반영

Conclusion

RIGOR은:

References

그래프 뷰