LLM 기본1 - 언어 모델링의 역사

1. 딥러닝 기반의 언어 모델 LLM은 기술적으로 딥러닝에 기반을 둔다. 딥러닝은 인간의 두뇌에 영감을 받아 만들어진 신경망으로서, 데이터의 패턴을 학습하는 머신러닝의 한 분야이다. 딥러닝은 표 형태의 정형 데이터뿐만 아니라 텍스트와 이미지 같은 비정형 데이터에서도 뛰어난 패턴 인식 성능을 보여  2010년대 중반 이후 AI 분야의 주류 모델로 자리 잡았다. LLM은 사람의 언어를 컴퓨터가 이해하고 생성할 수 있도록 연구하는 자연어 처리(Natural language processing)에 속한다. 특히 그중에서도 사람과 비슷하게 텍스트를 생성하는 방법을 연구하는 자연어 생성(natural language generation)에 속한다. LLM은 다음에 올 단어가 무엇일지 예측하면서 문장을 하나씩 만들어..

• format_list_bulleted LLM
• · 2025. 3. 3.
• textsms

GLUE 벤치마크(benchmark)는 왜 필요한가?

1. GLUE(General Language Understanding Evaluation) 대량의 데이터를 사전학습하고 원하는 task에 대해 fine-tuning만 하면 사람의 말을 기계가 잘 이해한다는 일반적인 주장이 통용 task를 전부 잘해야한다는 걸 보여줘야하니 다양한 측면을 평가해주는 데이터 군들이 중요하게 다가왔다. 어떤 모델이든 동일한 체계 위에서 공정하게 평가하는 하나의 기준이 필요했다는 것이다. QQP는 질문 2개를 임의로 뽑아 사실상 같은 질문인지 아닌지 파악하는 과제 SST-2는 stanford에서 나온 문장이 부정적인지 긍정적인지 파악하는 과제 CoLA는 문장에 문법적인 오류가 있는지 없는지 파악하는 언어 수용성 과제 STS-B, MRPC는 2개 문장의 유사도를 평가하는 과제 RT..

• format_list_bulleted NLP
• · 2024. 8. 14.
• textsms

RAG(Retrieval-Augmented Generation)의 개념 간단하게

LLM은 뛰어난 능력을 보여왔지만, 실제 사용을 위해서는 환각 현상이나 느린 지식 업데이트, 답변 투명성 부족 등 같은 문제를 해결해야합니다. RAG는 검색 - 증강 생성이라는 뜻으로 LLM에서 질문에 대한 답변이나 텍스트를 생성하기 전에,  광범위한 데이터베이스 집합에서 관련 정보를 검색하고 이러한 정보를 포함하여 자연스러운 답변을 생성하는 방법 LLM 내부적으로 훈련된 데이터가 시대에 뒤떨어져있을 수 있고, 특정 영역에 대해 지식이 부족할 수 있으며  응답의 투명성이 부족하다는 문제를 해결하는데 중점을 둔다    RAG는 답변의 정확도를 크게 향상시키고 지식 집약적인 작업에서 모델의 환각을 줄이는데 도움이 된다. 또한 사용자가 출처를 인용하여 답변의 정확성을 검증할 수도 있어 모델의 출력에 대한 신뢰..

• format_list_bulleted LLM
• · 2024. 8. 11.
• textsms

문장 생성의 성능평가 지표2 - bleu score

1. precision과 recall의 문제점 정답문장에 대해 2개의 모델로 예측문장을 얻었다고 해보자.   두번째 모델로 만든 문장의 경우 모든 단어가 정답문장 단어와 매칭이 되는데 순서가 전혀 맞지 않는다는 것이 문제다.  그럼에도 불구하고 precision과 recall은 100% 때로는 언어에서 순서는 매우 중요한데 단어만 맞췄다고 완벽한 번역이라고 볼수있을까? precision과 recall, f-measure는 계산방식으로부터 알 수 있겠지만  오직 부합하는 단어의 수에만 집중하기 때문에 순서정보를 전혀 반영하지 않는다는 것이 문제다.  2. introduction  bleu score는 순서를 반영하지 않는다는 precision과 recall의 문제점을 개..

• format_list_bulleted NLP
• · 2024. 4. 24.
• textsms

문장 생성의 성능평가 지표1 - precision and recall, F-score

1. precision and recall translation 후에 생성된 문장이 정확한지 평가할 필요가 있다. 기본적으로 단어를 생성하는 방법은 target 각 단어별 실제 정답과의 softmax loss가 최소화되게 만든다. test data에 대해서도 예측된 단어와 정답인 단어의 softmax loss로 분류 정확도를 계산한다. 이런 논리에 기반하여 정답문장과 예측문장사이 각 단어별 matching count로 정확도를 평가하는 방법을 생각할 수 있다. I love you라는 정답문장을 출력해야하는데 oh I love you를 출력했다고한다면 각 matching count=0이니까 정확도는 0%이다. 그런데 크게 떨어지는 번역품질이라고 보기 어렵다 나쁘지 않은 번역.. 그러니까 0%라고 보기 어렵..

• format_list_bulleted NLP
• · 2024. 4. 24.
• textsms

Pytorch에서 padding sequence vs. packed sequence 차이 이해하고 구현하기

https://heekangpark.github.io/ml/shorts/padded-sequence-vs-packed-sequence Padded Sequence vs. Packed Sequence | Reinventing the Wheel 문제상황 자연어와 같은 sequence 데이터들을 다루다 보면 짜증나는 요소가 하나 있는데, 바로 그 길이가 일정하지 않다는 것이다. 이미지 데이터의 경우 crop이나 resize 등으로 가로 세로 크기를 맞 heekangpark.github.io 자연어같은 sequence 데이터는 input들의 길이가 다 다른 경우가 보통이기 때문에 이것을 어떻게 처리할 지 고민할 필요가 있다. 이미지는 crop이나 resize로 이미지 크기를 전부 맞추고 진행하면, batch로 ..

• format_list_bulleted Pytorch
• · 2024. 4. 19.
• textsms