A Review of DeepSeek Models' Key Innovative Techniques

1. 전체 요약 이 논문은 DeepSeek-V3 및 DeepSeek-R1 모델이 기존 대형 언어 모델(LLM)과 비교하여 우수한 성능을 어떻게 달성했는지를 분석합니다. 특히, OpenAI 및 Anthropic과 같은 기업의 폐쇄형 모델과 비교할 때 훨씬 적은 학습 비용으로 유사한 성능을 보이는 것이 특징입니다. 논문에서는 다음과 같은 핵심 기술을 다룹니다.1. DeepSeek 모델의 주요 기술(1) Multi-Head Latent Attention (MLA)기존 Multi-Head Attention (MHA) 구조의 단점을 개선하여 KV 캐시(KV Cache) 메모리 사용량을 줄이면서 성능을 유지하는 방식.저차원 행렬 분해를 활용한 Low-Rank Key-Value Joint Compression 기술 ..

• format_list_bulleted AI trend research
• · 2025. 3. 28.
• textsms

LLM 기본2 - ChatGPT가 나오기까지

1. RNN 딥러닝이나 머신러닝 분야에서 텍스트는 단어가 연결된 문장 형태의 데이터를 일컫는다. 이처럼 작은 단위의 데이터가 연결되고 그 길이가 다양한 데이터의 형태를 시퀀스(sequence)라고 한다. 텍스트, 오디오, 시계열같은 데이터는 sequence이다. 역사적으로 이러한 시퀀스 데이터를 처리하기 위해 RNN이나 transformer의 2가지 아키텍처로 대표되는 다양한 모델을 사용했다. transformer가 개발되기 전에는 RNN을 활용해 텍스트를 생성했다.   RNN은 위 그림같이 입력하는 텍스트를 순차적으로 처리해서 다음 단어를 예측한다. 특징으로는 모델이 하나의 잠재 상태 hidden state에 지금까지 입력 텍스트의 맥락을 압축한다는 점이다. 첫번째 입력인 '검은'이 모델을 통과하면 h..

• format_list_bulleted LLM
• · 2025. 3. 27.
• textsms

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

https://arxiv.org/abs/2501.17161?utm_source=pytorchkr&ref=pytorchkr SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-trainingSupervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference bet..

• format_list_bulleted AI trend research
• · 2025. 2. 14.
• textsms

The Illustrated DeepSeek-R1

https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1?utm_source=pytorchkr&ref=pytorchkr The Illustrated DeepSeek-R1A recipe for reasoning LLMsnewsletter.languagemodels.co DeepSeek-R1은 꾸준히 이어지는 AI 발전의 최신 성과 중 하나로, 머신러닝 연구개발(MR R&D) 커뮤니티에 있어 중요한 공개이다. 그 이유는 다음과 같다.오픈 가중치 모델이며, 더 작은 크기의 증류된 버전도 제공된다.OpenAI O1과 같은 추론 모델을 재현할 수 있는 학습 방법을 공유하고 이에 대한 고찰을 제공한다. 복습: LLM은 어떻게 학습되는가 대부분의 기존 대..

• format_list_bulleted AI trend research
• · 2025. 2. 1.
• textsms

딥마인드의 AlphaDev, 새로운 정렬 알고리즘을 발견하다

1. 서문 AlphaDev가 강화학습을 통해 설계된 더 빠른 정렬 알고리즘을 발견했다. 기본 C++ 라이브러리에서 10년만에 정렬 라이브러리에 대한 최초의 변경이며, 오픈소스화하여 전 세계 수백만명의 개발자와 기업이 클라우드 컴퓨팅 및 온라인 쇼핑에서 공급망 관리에 이르기까지 산업 전반의 AI 어플리케이션에서 이 알고리즘을 사용하고 있다 현대 정렬 알고리즘은 컴퓨터 과학자와 프로그래머가 개발하는데 수십년의 연구가 필요했다. 그것들은 매우 효율적이며, 이제는 전기를 절약하는 새로운 방법이나 보다 효율적인 수학적 접근 방식을 찾는 것과 유사하게 추가 개선을 하는 것이 주요 과제이다. 2. 어셈블리 언어에 해답이 있다 AlphaDev는 기존 알고리즘을 개선하지 않고, 처음부터 다시 시작하여 더 빠른 알고리즘을..

• format_list_bulleted AI trend research
• · 2023. 6. 15.
• textsms

강화학습(reinforcement learning) 기본개념 익히기

1. 강화학습(reinforcement learning) 미지의 환경(environment)에서 에이전트(agent)가 임의의 행동(action)을 했을 때 받는 보상(reward)을 통해 먼 미래의 누적 보상을 최대화하고자 어떠한 행동을 할 것인지를 학습하는 알고리즘 마치 반려견을 훈련시키는 것과 유사하다. 강아지 입장에서 "앉아"라는 명령어를 들었을때, 여러 행동 중 우연히 앉았을 때 간식이라는 보상을 받게 된다. 강아지는 처음에 "앉아"를 인식하지 못한 상황에서 보상을 받았기 때문에 행동과 보상의 관계를 인지하진 못한다. 하지만 시행착오를 통해 "앉으면 간식을 받을 수 있구나"라고 학습하게 된다. 강화학습은 에이전트(agent)가 환경에서 특정 행동을 하면, 환경(environment)은 행동에 대..

• format_list_bulleted reinforcement learning
• · 2022. 12. 20.
• textsms