SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

https://arxiv.org/abs/2501.17161?utm_source=pytorchkr&ref=pytorchkr SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-trainingSupervised fine-tuning (SFT) and reinforcement learning (RL) are widely used post-training techniques for foundation models. However, their roles in enhancing model generalization capabilities remain unclear. This paper studies the difference bet..

• format_list_bulleted AI trend research
• · 2025. 2. 14.
• textsms

The Illustrated DeepSeek-R1

https://newsletter.languagemodels.co/p/the-illustrated-deepseek-r1?utm_source=pytorchkr&ref=pytorchkr The Illustrated DeepSeek-R1A recipe for reasoning LLMsnewsletter.languagemodels.co DeepSeek-R1은 꾸준히 이어지는 AI 발전의 최신 성과 중 하나로, 머신러닝 연구개발(MR R&D) 커뮤니티에 있어 중요한 공개이다. 그 이유는 다음과 같다.오픈 가중치 모델이며, 더 작은 크기의 증류된 버전도 제공된다.OpenAI O1과 같은 추론 모델을 재현할 수 있는 학습 방법을 공유하고 이에 대한 고찰을 제공한다. 복습: LLM은 어떻게 학습되는가 대부분의 기존 대..

• format_list_bulleted AI trend research
• · 2025. 2. 1.
• textsms