llms.txt
AI 모델과 에이전트가 사이트 구조와 핵심 문서를 더 쉽게 이해하도록 돕는 텍스트 기반 안내 파일
#llms.txt#LLMs.txt#AI 크롤러 안내 파일
llms.txt란?
llms.txt는 사이트의 핵심 페이지, 문서, 정책 정보를 AI 모델과 에이전트가 더 쉽게 찾고 이해하도록 돕기 위해 제안된 텍스트 파일 형식입니다.
robots.txt와 다른 점
robots.txt가 크롤링 허용과 제한을 다룬다면, llms.txt는 어떤 문서를 우선 참고하면 좋은지 안내하는 역할에 가깝습니다.
언제 유용한가요?
AI 에이전트나 AI 검색 환경에서 브랜드 설명, 문서 구조, 공식 링크를 더 명확하게 전달하고 싶을 때 유용합니다.
관련 용어
AI 인프라/모델 최적화
경사하강법 (Gradient Descent)
손실 함수를 최소화하기 위해 기울기 반대 방향으로 파라미터를 반복 업데이트하는 최적화 방법
AI 인프라/모델 최적화
딥러닝 (Deep Learning)
다층 신경망을 이용해 데이터의 복잡한 표현을 자동으로 학습하는 머신러닝 접근
AI 인프라/모델 최적화
레이트 리미팅 (Rate Limiting)
짧은 시간에 과도한 요청이 몰릴 때 API 호출량을 제한하는 제어 기법
AI 인프라/모델 최적화
로봇 파운데이션 모델 (Robot Foundation Model)
대규모 로봇 데이터와 멀티모달 입력으로 사전 학습되어 다양한 물리 작업에 전이 가능한 범용 로봇 AI 모델
AI 인프라/모델 최적화
로컬 AI (Local AI)
모델을 외부 API가 아닌 자체 PC·서버에서 직접 실행하는 방식
AI 인프라/모델 최적화
모델 증류 (Model Distillation)
대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법