강화학습의 개념과 주요기법 분석 그리고 LLM에서의 발전 방향

https://discuss.pytorch.kr/t/deep-research-llm/6112 [Deep Research] 강화학습의 개념과 주요 기법 분석, LLM에서의 활용 및 발전 방향에 대한 보고서들어가며 :pytorch:🇰🇷 최근 DeepSeek-R1 모델의 GRPO를 비롯하여 LLM 및 Multimodal LLM의 사후 학습 과정에서 강화학습(RL)을 적용하려는 시도가 많아지고 있습니다. 관련하여 강화학습의 개념과 주요 기discuss.pytorch.kr 1. 강화학습이란 무엇인가? 강화학습(Reinforcement Learning, RL)은 기계학습의 한 분야로, 에이전트(Agent)가 환경(Environment) 과 상호작용하면서 보상(Reward) 이라는 피드백을 받으며 시행착오(tr..

• format_list_bulleted 딥러닝/reinforcement learning
• · 2025. 4. 23.
• textsms

AI 모델 성능 평가 지표로 loss function은 왜 사용하지 않는가?

1. loss function 데이터의 실제 정답과 모델이 내놓은 예측값의 차이로 정의되는 함수 그렇다면 이렇게 생각할 수 있다. loss function의 값이 작을수록 모델의 성능이 좋은 것인가? 여러 모델을 학습시켜보고 loss function의 값이 작은 모델을 선택하면 되는 것 아닌가? 2. loss function과 evaluation metric loss function은 딥러닝 모델 학습 중에 사용되고, 모델이 예측한 출력과 실제 출력 간의 차이를 측정 이 차이를 최소화함으로써 모델의 파라미터를 최적화하는 것이 목적이다. 반면 evaluation metric은 모델을 훈련하고 나서 사용되며, 모델이 새로운 데이터에 대해 얼마나 잘 일반화하고, 정확한 예측을 하는지 평가하는 지표이다. 또한..

• format_list_bulleted 딥러닝/딥러닝 기초
• · 2025. 4. 19.
• textsms

DoReFa-Net과 binarized neural network

1. DoReFa-Net low bit의 weight와 activation을 사용하여 CNN을 train하는 방법 이전에는 weight나 activation을 quantization하는 시도는 많았지만, DoReFa-Net은 gradient를 quantization함 backward pass중에 convolutional layer에 들어가기 전에 parameter의 gradient를 확률적으로 low bit quantize함 bit convolution kernel을 사용하여 training과 inference 속도를 높였다 bit convolution kernel은 bitwise operation만으로 dot product를 계산할 수 있도록 함 그러면서 GPU,ASIC,FPGA 뿐만 아니라 CPU에서..

• format_list_bulleted 딥러닝/light weight modeling
• · 2025. 4. 13.
• textsms

LLM 기본4 - transformer + 텍스트 데이터의 토큰화

1. transformer 아키텍처 2017년 구글에서 발표한 Attention is All you need 논문에서 처음 등장 머신러닝을 통해 언어를 번역하는 기계 번역 성능을 높이기 위한 방법을 연구하였는데, 당시 널리 사용된 RNN에 비해 성능 면에서 큰 폭으로 앞섰다. 또한 RNN에 비해 모델 학습 속도도 빨랐다. 이렇게 완전히 새로운 형태의 모델이 성능과 속도 면에서 뛰어난 모습을 보여  많은 인공지능 연구자들이 각자 연구에 transformer를 적용하기 시작 현재 transformer은 자연어 처리는 물론 컴퓨터 비전, 추천 시스템 등 모든 AI 분야에서 핵심 아키텍처가 되었다. 기존에 자연어 처리 문제에서 사용하던 RNN은 다음과 같이 텍스트를 순차적으로 하나씩 입력하는 형태다    사람이..

• format_list_bulleted 딥러닝/LLM
• · 2025. 4. 6.
• textsms

LLM 기본3 - LLM 애플리케이션을 개발하기 위해 필요한 핵심 개념

1. 지식 사용법을 바꾼 LLM LLM이 사회에 큰 영향을 미치고 있는 이유는 하나의 언어 모델이 다양한 작업에서 뛰어난 능력을 보이기 때문 기존에는 언어에 대해 다루는 AI 분야인 자연어 처리 분야를 크게 언어를 이해하는 자연어 이해,  언어를 생성하는 자연어 생성의 두 분야로 접근했다.   또 각각의 영역에서 일부 좁은 영역의 작업을 해결하기 위해 별도의 모델을 개발하는 방식으로 문제에 접근했다. 하지만 LLM의 경우 언어 이해와 생성 능력이 모두 뛰어나다. 처음부터 자연어 생성을 위한 모델이므로 언어 생성 능력이 뛰어나고  모델의 크기가 커지면서 언어 추론 능력을 포함한 언어 이해 능력마저 크게 높아졌다. 지시 데이터셋으로 사용자의 요청에 응답하는 방식을 학습하면서 다양한 작업에 적절히 응답하는 능..

• format_list_bulleted 딥러닝/LLM
• · 2025. 3. 31.
• textsms

LLM 기본2 - ChatGPT가 나오기까지

1. RNN 딥러닝이나 머신러닝 분야에서 텍스트는 단어가 연결된 문장 형태의 데이터를 일컫는다. 이처럼 작은 단위의 데이터가 연결되고 그 길이가 다양한 데이터의 형태를 시퀀스(sequence)라고 한다. 텍스트, 오디오, 시계열같은 데이터는 sequence이다. 역사적으로 이러한 시퀀스 데이터를 처리하기 위해 RNN이나 transformer의 2가지 아키텍처로 대표되는 다양한 모델을 사용했다. transformer가 개발되기 전에는 RNN을 활용해 텍스트를 생성했다.   RNN은 위 그림같이 입력하는 텍스트를 순차적으로 처리해서 다음 단어를 예측한다. 특징으로는 모델이 하나의 잠재 상태 hidden state에 지금까지 입력 텍스트의 맥락을 압축한다는 점이다. 첫번째 입력인 '검은'이 모델을 통과하면 h..

• format_list_bulleted 딥러닝/LLM
• · 2025. 3. 27.
• textsms