autoresearch
Summary
에이전트가 밤새 자동으로 100번 이상의 실험을 진행하는 진화 루프. 고정 시간 예산(5분)으로 훈련하고 성공만 누적하는 효율적 자율 연구 프레임워크.
에이전트가 밤새 자동으로 100번 이상의 실험을 진행하는 진화 루프. 고정 시간 예산(5분)으로 훈련하고 성공만 누적하는 효율적 자율 연구 프레임워크.
개요
목적: 모델 최적화 또는 아키텍처 개선을 자동화된 진화 루프로 수행
구조:
- 에이전트에게
train.py또는 코드 제공 - 고정 5분 시간 예산으로 훈련/테스트 실행
- 성능 지표(val_bpb) 기준으로 commit(성공) 또는 reset(실패)
- git branch 위에서 자동 반복
효과: 밤새 8시간 = 96번 실험 → 아침에 성공한 변경만 git log에 누적
주요 특징
- 공정한 비교: 5분 고정 예산으로 모든 실험 동일 조건 평가
- 자동 히스토리: 성공만 commit되므로 git log = 진화 과정
- 사람의 역할 최소화:
program.md에 방향만 적으면 자동 실행 - 정보 손실 없음: 모든 로그가 남아 어떤 시도가 효과 있었는지 추적
관련 개념
- Test-Time-Compute-Scaling — 추론 시점 연산 증가
- Ralph-Loop — 반복 루프 패턴