LLM 기본3 - LLM 애플리케이션을 개발하기 위해 필요한 핵심 개념

1. 지식 사용법을 바꾼 LLM LLM이 사회에 큰 영향을 미치고 있는 이유는 하나의 언어 모델이 다양한 작업에서 뛰어난 능력을 보이기 때문 기존에는 언어에 대해 다루는 AI 분야인 자연어 처리 분야를 크게 언어를 이해하는 자연어 이해,  언어를 생성하는 자연어 생성의 두 분야로 접근했다.   또 각각의 영역에서 일부 좁은 영역의 작업을 해결하기 위해 별도의 모델을 개발하는 방식으로 문제에 접근했다. 하지만 LLM의 경우 언어 이해와 생성 능력이 모두 뛰어나다. 처음부터 자연어 생성을 위한 모델이므로 언어 생성 능력이 뛰어나고  모델의 크기가 커지면서 언어 추론 능력을 포함한 언어 이해 능력마저 크게 높아졌다. 지시 데이터셋으로 사용자의 요청에 응답하는 방식을 학습하면서 다양한 작업에 적절히 응답하는 능..

• format_list_bulleted LLM
• · 2025. 3. 31.
• textsms

LLM 기본2 - ChatGPT가 나오기까지

1. RNN 딥러닝이나 머신러닝 분야에서 텍스트는 단어가 연결된 문장 형태의 데이터를 일컫는다. 이처럼 작은 단위의 데이터가 연결되고 그 길이가 다양한 데이터의 형태를 시퀀스(sequence)라고 한다. 텍스트, 오디오, 시계열같은 데이터는 sequence이다. 역사적으로 이러한 시퀀스 데이터를 처리하기 위해 RNN이나 transformer의 2가지 아키텍처로 대표되는 다양한 모델을 사용했다. transformer가 개발되기 전에는 RNN을 활용해 텍스트를 생성했다.   RNN은 위 그림같이 입력하는 텍스트를 순차적으로 처리해서 다음 단어를 예측한다. 특징으로는 모델이 하나의 잠재 상태 hidden state에 지금까지 입력 텍스트의 맥락을 압축한다는 점이다. 첫번째 입력인 '검은'이 모델을 통과하면 h..

• format_list_bulleted LLM
• · 2025. 3. 27.
• textsms

LLM 기본1 - 언어 모델링의 역사

1. 딥러닝 기반의 언어 모델 LLM은 기술적으로 딥러닝에 기반을 둔다. 딥러닝은 인간의 두뇌에 영감을 받아 만들어진 신경망으로서, 데이터의 패턴을 학습하는 머신러닝의 한 분야이다. 딥러닝은 표 형태의 정형 데이터뿐만 아니라 텍스트와 이미지 같은 비정형 데이터에서도 뛰어난 패턴 인식 성능을 보여  2010년대 중반 이후 AI 분야의 주류 모델로 자리 잡았다. LLM은 사람의 언어를 컴퓨터가 이해하고 생성할 수 있도록 연구하는 자연어 처리(Natural language processing)에 속한다. 특히 그중에서도 사람과 비슷하게 텍스트를 생성하는 방법을 연구하는 자연어 생성(natural language generation)에 속한다. LLM은 다음에 올 단어가 무엇일지 예측하면서 문장을 하나씩 만들어..

• format_list_bulleted LLM
• · 2025. 3. 3.
• textsms

static embedding과 dynamic embedding

Static Embedding은 자연어 처리(NLP)에서 단어를 고정된 벡터로 표현하는 방식입니다. 단어마다 고유한 벡터를 가지며, 문맥에 따라 변하지 않는다는 특징이 있습니다. 이는 단어의 의미를 수학적으로 나타내기 위해 자주 사용됩니다.주요 특징고정된 벡터같은 단어는 항상 동일한 벡터로 표현됩니다. 예를 들어, "bank"라는 단어는 "강둑"이든 "은행"이든 동일한 벡터로 나타납니다.사전 학습된 임베딩대규모 코퍼스를 학습해 단어 간의 의미적 유사도를 반영한 벡터를 생성합니다. 학습이 끝난 후에는 임베딩이 고정됩니다.문맥 정보 부족단어의 문맥을 고려하지 않으므로 다의어(같은 단어인데 다른 의미)가 정확히 표현되지 않을 수 있습니다.예시 알고리즘 및 모델Word2Vec (Google, 2013)Conti..

• format_list_bulleted NLP
• · 2025. 1. 18.
• textsms

2024 LLM 최신 트렌드(카카오)

https://tech.kakao.com/posts/633 LLM, 더 저렴하게, 더 빠르게, 더 똑똑하게 - tech.kakao.com안녕하세요. 카카오 기술전략 소속의 로빈입니다. 현재 저는 카카오의 AI 교육 자...tech.kakao.com  1. LLM의 사용 가격은 지속적으로 낮아지고 있다    2023.05 gpt 3.5 turbo는 100만 토큰당 2달러였으나 2024.07 gpt 4o mini는 100만 토큰당 0.24달러 구글의 gemini도 이에 맞춰 가격 인하 Claude 역시 가격 인하 이러한 가격 인하 흐름은 오픈소스 모델의 API 가격 경쟁이 영향을 끼친 것으로 예상    2. LLM은 점점 빨라진다 AI를 활용한 서비스를 구축할 시 LLM의 토큰 생성 속도는 프로젝트의 핵심 ..

• format_list_bulleted LLM
• · 2025. 1. 12.
• textsms

quantization의 종류들 구체적으로 살펴보기(quantization aware, post training ... )

1. how much quantization을 얼마나 했느냐에 따라 32bit가 full precision이라면 절반씩 줄여나가는 16bit quantization, 8bit, 4bit, 2bit, 1bit quantization   mixed precision으로 quantization하는 기법은 hardware-oriented compression(혹은 hardware-aware compression)에 사용된다고 함 무슨 말이냐면 hardware 친화적인 compression, 사용하는 hardware에 맞춘 compression 구체적으로 아주 미세한 layer 단위에서 어떤 layer는 3bit, 어떤 layer는 5bit quantization을 하는 등 layer 단위로 섞어서 다른 quan..

• format_list_bulleted light weight modeling
• · 2024. 11. 27.
• textsms