카카오 테크 예시로 배우는 코드 프롬프팅 읽어보기

카카오 테크 예시로 배우는 코드 프롬프팅 읽어보기

바이브 코딩 바이블: AI 에이전트 시대의 새로운 코딩 패러다임 - tech.kakao.com 바이브 코딩 바이블: AI 에이전트 시대의 새로운 코딩 패러다임 - tech.kakao.com1. 바이브 코딩과 AI 에이전트 안드레이 카파시(Andrej Karpathy)는...tech.kakao.com 1. 코드 작성 (Code Generation) 원하는 프로그램이나 함수의 동작을 자연어로 설명하면, AI가 해당 기능을 수행하는 코드를 생성해주는 프롬프트입니다. 예를 들어 기능 명세나 요구사항을 프롬프트로 제공하면, LLM은 그에 맞는 언어의 코드를 작성합니다. 이는 새로운 기능 구현이나 보일러플레이트 코드 생성에 특히 유용하며, 개발자는 AI가 생성한 코드를 기반으로 필요한 수정을 가해 최종 완성도를 ..

  • format_list_bulleted 읽을거리
  • · 2025. 5. 31.
  • textsms

Test Time Scaling의 개념과 연구에 대한 보고서

https://discuss.pytorch.kr/t/deep-research-test-time-compute-test-time-scaling/6153 [Deep Research] Test Time Compute 및 Test Time Scaling의 개념과 최신 연구 동향에 대한 보고서Test Time Compute 및 Test Time Scaling: 개념과 최신 연구 동향 들어가며 :pytorch:🇰🇷 OpenAI의 o1, Google의 Gemini 2.0 Flash Thinking, DeepSeek-R1 모델 등을 비롯하여 추론 시점에 연산을 늘려 성능을 개선하는 기법discuss.pytorch.kr 1. Test Time Compute와 Test Time Scaling의 개념 및 차이점 Ope..

  • format_list_bulleted AI 논문/AI trend research
  • · 2025. 5. 3.
  • textsms

강화학습의 개념과 주요기법 분석 그리고 LLM에서의 발전 방향

https://discuss.pytorch.kr/t/deep-research-llm/6112 [Deep Research] 강화학습의 개념과 주요 기법 분석, LLM에서의 활용 및 발전 방향에 대한 보고서들어가며 :pytorch:🇰🇷 최근 DeepSeek-R1 모델의 GRPO를 비롯하여 LLM 및 Multimodal LLM의 사후 학습 과정에서 강화학습(RL)을 적용하려는 시도가 많아지고 있습니다. 관련하여 강화학습의 개념과 주요 기discuss.pytorch.kr 1. 강화학습이란 무엇인가? 강화학습(Reinforcement Learning, RL)은 기계학습의 한 분야로, 에이전트(Agent)가 환경(Environment) 과 상호작용하면서 보상(Reward) 이라는 피드백을 받으며 시행착오(tr..

  • format_list_bulleted 딥러닝/reinforcement learning
  • · 2025. 4. 23.
  • textsms
LLM 기본3 - LLM 애플리케이션을 개발하기 위해 필요한 핵심 개념

LLM 기본3 - LLM 애플리케이션을 개발하기 위해 필요한 핵심 개념

1. 지식 사용법을 바꾼 LLM LLM이 사회에 큰 영향을 미치고 있는 이유는 하나의 언어 모델이 다양한 작업에서 뛰어난 능력을 보이기 때문 기존에는 언어에 대해 다루는 AI 분야인 자연어 처리 분야를 크게 언어를 이해하는 자연어 이해,  언어를 생성하는 자연어 생성의 두 분야로 접근했다.   또 각각의 영역에서 일부 좁은 영역의 작업을 해결하기 위해 별도의 모델을 개발하는 방식으로 문제에 접근했다. 하지만 LLM의 경우 언어 이해와 생성 능력이 모두 뛰어나다. 처음부터 자연어 생성을 위한 모델이므로 언어 생성 능력이 뛰어나고  모델의 크기가 커지면서 언어 추론 능력을 포함한 언어 이해 능력마저 크게 높아졌다. 지시 데이터셋으로 사용자의 요청에 응답하는 방식을 학습하면서 다양한 작업에 적절히 응답하는 능..

  • format_list_bulleted 딥러닝/LLM
  • · 2025. 3. 31.
  • textsms
LLM 기본2 - ChatGPT가 나오기까지

LLM 기본2 - ChatGPT가 나오기까지

1. RNN 딥러닝이나 머신러닝 분야에서 텍스트는 단어가 연결된 문장 형태의 데이터를 일컫는다. 이처럼 작은 단위의 데이터가 연결되고 그 길이가 다양한 데이터의 형태를 시퀀스(sequence)라고 한다. 텍스트, 오디오, 시계열같은 데이터는 sequence이다. 역사적으로 이러한 시퀀스 데이터를 처리하기 위해 RNN이나 transformer의 2가지 아키텍처로 대표되는 다양한 모델을 사용했다. transformer가 개발되기 전에는 RNN을 활용해 텍스트를 생성했다.   RNN은 위 그림같이 입력하는 텍스트를 순차적으로 처리해서 다음 단어를 예측한다. 특징으로는 모델이 하나의 잠재 상태 hidden state에 지금까지 입력 텍스트의 맥락을 압축한다는 점이다. 첫번째 입력인 '검은'이 모델을 통과하면 h..

  • format_list_bulleted 딥러닝/LLM
  • · 2025. 3. 27.
  • textsms
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs viaReinforcement Learning

대규모 언어 모델(LLM, Large Language Model)은 최근 몇 년간 비약적으로 발전하며 인공지능(AI) 연구에서 핵심적인 위치를 차지하고 있습니다. 특히 OpenAI, Anthropic, Google 등의 연구 기관이 개발한 최신 모델들은 언어 이해와 생성뿐만 아니라 수학, 과학, 코딩 등 다양한 논리적 추론 작업에서 탁월한 성능을 보여주고 있습니다. 하지만 기존 연구들은 대부분 사전 학습(pre-training)과 지도학습(supervised fine-tuning)을 기반으로 하고 있으며, 이는 막대한 데이터와 연산 자원이 필요하다는 한계를 가지고 있습니다.  최근 들어 **사후 훈련(post-training)**이 전체 훈련 과정에서 중요한 요소로 떠오르고 있습니다.  이는 추론 작업의..

  • format_list_bulleted AI 논문/AI trend research
  • · 2025. 1. 31.
  • textsms