in context learning에 대하여 학습하기

1. 개념 전통적인 머신러닝 모델은 주로 특정 작업을 처리하도록 설계되었으며, 이는 학습 데이터에 기반한 입력-출력 쌍에 의해 한정되었습니다. 이러한 모델은 훈련된 범위를 벗어난 작업에 대해서는 성능이 크게 저하되었습니다. 그러나 대규모 언어 모델(LLMs)의 등장으로 자연어 과제를 해결하는 방식에 큰 전환점이 생겼습니다. In-context learning, ICL은 작업 예시(demonstrations)를 자연어 형식의 프롬프트 안에 통합하여 사용하는 기법입니다. 이 방식은 사전학습된 LLM이 파인튜닝 없이도 새로운 작업을 수행할 수 있게 해줍니다. 전통적인 지도학습(supervised learning)은 역전파(backpropagation)를 통한 학습 단계가 필수이며, 이를 통해 모델 파라미터를 ..

• format_list_bulleted AI 논문/AI trend research
• · 2025. 5. 20.
• textsms

Test Time Scaling의 개념과 연구에 대한 보고서

https://discuss.pytorch.kr/t/deep-research-test-time-compute-test-time-scaling/6153 [Deep Research] Test Time Compute 및 Test Time Scaling의 개념과 최신 연구 동향에 대한 보고서Test Time Compute 및 Test Time Scaling: 개념과 최신 연구 동향 들어가며 :pytorch:🇰🇷 OpenAI의 o1, Google의 Gemini 2.0 Flash Thinking, DeepSeek-R1 모델 등을 비롯하여 추론 시점에 연산을 늘려 성능을 개선하는 기법discuss.pytorch.kr 1. Test Time Compute와 Test Time Scaling의 개념 및 차이점 Ope..

• format_list_bulleted AI 논문/AI trend research
• · 2025. 5. 3.
• textsms