CUDA
NVIDIA GPU를 범용 병렬 연산에 활용할 수 있게 만든 소프트웨어 플랫폼
#CUDA#쿠다#NVIDIA CUDA#GPU 가속
CUDA란?
CUDA는 NVIDIA가 제공하는 병렬 컴퓨팅 플랫폼으로, GPU를 그래픽 처리 외 일반 연산에도 활용할 수 있게 해줍니다.
AI와의 관계
딥러닝 학습·추론에서 대규모 행렬 연산을 빠르게 처리할 수 있어, 현대 AI 인프라의 핵심 기반으로 자리잡았습니다.
실무 의미
프레임워크 최적화, 학습 속도, 추론 처리량이 CUDA 생태계 의존적으로 결정되는 경우가 많아, 하드웨어 선택과 운영 전략에 큰 영향을 줍니다.
관련 용어
AI 인프라/모델 최적화
레이트 리미팅 (Rate Limiting)
짧은 시간에 과도한 요청이 몰릴 때 API 호출량을 제한하는 제어 기법
AI 인프라/모델 최적화
로봇 파운데이션 모델 (Robot Foundation Model)
대규모 로봇 데이터와 멀티모달 입력으로 사전 학습되어 다양한 물리 작업에 전이 가능한 범용 로봇 AI 모델
AI 인프라/모델 최적화
로컬 AI (Local AI)
모델을 외부 API가 아닌 자체 PC·서버에서 직접 실행하는 방식
AI 인프라/모델 최적화
모델 증류 (Model Distillation)
대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법
AI 인프라/모델 최적화
버텍스 AI (Vertex AI)
Google Cloud에서 제공하는 기업용 머신러닝·생성형 AI 통합 플랫폼
AI 인프라/모델 최적화
벡터 데이터베이스 (Vector DB)
AI 임베딩 벡터를 저장하고 유사도 기반으로 검색하는 전문 데이터베이스