로컬 AI (Local AI)
모델을 외부 API가 아닌 자체 PC·서버에서 직접 실행하는 방식
#로컬 AI#로컬AI#Local AI#온프레미스 AI#자체 호스팅
로컬 AI란?
로컬 AI는 LLM이나 추론 모델을 클라우드 API로 호출하지 않고, 조직 내부 장비나 개인 장치에서 직접 실행하는 접근입니다.
주요 장점
데이터 외부 전송을 줄여 프라이버시와 통제권을 높일 수 있고, 반복 호출이 많은 환경에서는 장기 비용을 예측하기 쉽습니다.
주요 고려사항
초기 하드웨어 투자, 모델 배포·업데이트 관리, 운영 인력 확보가 필요합니다.
즉시 확장성과 최신 모델 접근성은 클라우드 대비 불리할 수 있습니다.
관련 용어
AI 인프라/모델 최적화
주권 AI (Sovereign AI)
데이터·모델·인프라 통제권을 조직이나 국가가 직접 보유하는 AI 운영 전략
AI 인프라/모델 최적화
레이트 리미팅 (Rate Limiting)
짧은 시간에 과도한 요청이 몰릴 때 API 호출량을 제한하는 제어 기법
AI 인프라/모델 최적화
로봇 파운데이션 모델 (Robot Foundation Model)
대규모 로봇 데이터와 멀티모달 입력으로 사전 학습되어 다양한 물리 작업에 전이 가능한 범용 로봇 AI 모델
AI 인프라/모델 최적화
모델 증류 (Model Distillation)
대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법
AI 인프라/모델 최적화
버텍스 AI (Vertex AI)
Google Cloud에서 제공하는 기업용 머신러닝·생성형 AI 통합 플랫폼
AI 인프라/모델 최적화
벡터 데이터베이스 (Vector DB)
AI 임베딩 벡터를 저장하고 유사도 기반으로 검색하는 전문 데이터베이스