MLX
Summary
유형: 프레임워크 (Apple Silicon 최적화 머신러닝 런타임) 개발: Apple
유형: 프레임워크 (Apple Silicon 최적화 머신러닝 런타임) 개발: Apple
소개
Apple Silicon(M-series) GPU/Neural Engine을 활용한 로컬 LLM 추론 프레임워크. macOS에서 통합 메모리(Unified Memory)를 활용해 CPU-GPU 메모리 공유로 대형 모델 실행이 가능하다. Ollama보다 속도 우수 평가.
특징
- Apple Silicon 통합 메모리 아키텍처 최적화
- LLM-Wiki 시스템에서 인덱싱 전용 모델 운영에 활용
- 128GB 통합 메모리 Mac에서 71GB 소요 모델 3종 동시 운영 가능