A Review of DeepSeek Models' Key Innovative Techniques

1. 전체 요약 이 논문은 DeepSeek-V3 및 DeepSeek-R1 모델이 기존 대형 언어 모델(LLM)과 비교하여 우수한 성능을 어떻게 달성했는지를 분석합니다. 특히, OpenAI 및 Anthropic과 같은 기업의 폐쇄형 모델과 비교할 때 훨씬 적은 학습 비용으로 유사한 성능을 보이는 것이 특징입니다. 논문에서는 다음과 같은 핵심 기술을 다룹니다.1. DeepSeek 모델의 주요 기술(1) Multi-Head Latent Attention (MLA)기존 Multi-Head Attention (MHA) 구조의 단점을 개선하여 KV 캐시(KV Cache) 메모리 사용량을 줄이면서 성능을 유지하는 방식.저차원 행렬 분해를 활용한 Low-Rank Key-Value Joint Compression 기술 ..