Transformer^2: Self-adaptive LLMs

Transformer^2: Self-adaptive LLMs

대규모 언어 모델(Large Language Models, LLMs)은 인공지능(AI) 발전의 핵심이 되었지만, 기존 LLM은 본질적으로 정적인 구조를 가지고 있어 새로운 작업이나 환경에 빠르게 적응하기 어렵습니다. 기존 모델은 정적인 학습 구조를 기반으로 설계되어 한 번 학습된 이후에는 추가적인 작업을 처리하기 위해 전체 모델을 재학습해야 하며, 이는 높은 계산 비용과 자원 소모를 초래합니다. Sakana AI가 제안하는 Transformer²는 이러한 한계를 극복하기 위해 설계된 새로운 프레임워크로, AI 시스템이 환경과 작업에 따라 실시간 적응할 수 있도록 지원합니다. 이 프레임워크는 기존 LLM의 정적 구조를 개선하여 특이값 기반 파인튜닝(Singular Value Fine-tuning, SVF)..

  • format_list_bulleted AI trend research
  • · 2025. 1. 22.
  • textsms
Train 400x faster Static Embedding Models with Sentence Transformers

Train 400x faster Static Embedding Models with Sentence Transformers

임베딩이란 무엇인가? 임베딩은 자연어 처리에서 가장 다용도로 사용되는 도구 중 하나로, 다양한 작업을 해결하는 데 유용합니다. 본질적으로 임베딩은 텍스트, 이미지, 오디오 등과 같은 더 복잡한 객체를 수치적으로 표현한 것입니다.    임베딩 모델은 항상 동일한 고정 크기의 임베딩을 생성합니다. 그런 다음 각 임베딩의 유사성을 계산하여 복잡한 객체들의 유사성을 계산할 수 있습니다.    이것은 매우 많은 사용 사례를 가지고 있으며, 추천 시스템, 검색, 이상치 탐지, 원샷 또는 퓨샷 학습, 유사성 검색, 군집화, 패러프레이즈 탐지, 분류 등 많은 분야의 핵심 역할을 합니다.  현대 임베딩오늘날의 많은 임베딩 모델은 몇 가지 변환 단계로 구성됩니다. 이러한 단계를 따르는 것을 "추론"이라고 합니다.   토크..

  • format_list_bulleted AI trend research
  • · 2025. 1. 20.
  • textsms

static embedding과 dynamic embedding

Static Embedding은 자연어 처리(NLP)에서 단어를 고정된 벡터로 표현하는 방식입니다. 단어마다 고유한 벡터를 가지며, 문맥에 따라 변하지 않는다는 특징이 있습니다. 이는 단어의 의미를 수학적으로 나타내기 위해 자주 사용됩니다.주요 특징고정된 벡터같은 단어는 항상 동일한 벡터로 표현됩니다. 예를 들어, "bank"라는 단어는 "강둑"이든 "은행"이든 동일한 벡터로 나타납니다.사전 학습된 임베딩대규모 코퍼스를 학습해 단어 간의 의미적 유사도를 반영한 벡터를 생성합니다. 학습이 끝난 후에는 임베딩이 고정됩니다.문맥 정보 부족단어의 문맥을 고려하지 않으므로 다의어(같은 단어인데 다른 의미)가 정확히 표현되지 않을 수 있습니다.예시 알고리즘 및 모델Word2Vec (Google, 2013)Conti..

  • format_list_bulleted NLP
  • · 2025. 1. 18.
  • textsms
Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks

Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks

대규모 언어 모델(Large Language Model, LLM)의 발전은 자연어 처리(NLP) 작업에서 혁신적인 성과를 가져왔습니다. 특히, 검색-보강 생성(Retrieval-Augmented Generation, RAG)은 외부 지식 기반을 활용하여 모델의 문맥 이해력을 크게 향상시키는 방법으로 주목받아 왔습니다.  RAG는 특정 작업에서 외부 데이터 소스를 동적으로 검색하고 이를 기반으로 문맥에 적합한 응답을 생성하는 시스템입니다. 이는 개방형 질문 응답(Open-Domain Question Answering)과 같은 지식 집약적 작업에서 탁월한 성능을 발휘해 왔습니다. 하지만 RAG에는 다음과 같은 한계가 있습니다:실시간 검색은 시스템의 지연(latency)을 초래하여 사용자 경험을 저하시킬 수 ..

  • format_list_bulleted AI trend research
  • · 2025. 1. 14.
  • textsms
네이버 검색에서 LLM의 활용(LLM으로 학습 데이터를 만드는 사례)

네이버 검색에서 LLM의 활용(LLM으로 학습 데이터를 만드는 사례)

1. 검색 검색은 탐색형과 정보성으로 나뉜다. "캠핑"과 같은 검색은 구체적인 정보 취득보다는 탐색을 목적으로 검색하고, 발생 빈도가 높다 이런 검색은 개인화를 고려해서 캠핑 장비 등 검색 의도 단위로 문서 reranking이 이루어진다 반면, "19개월 잠만자요"같은 검색은 영유아가 잠만 자는 문제에 대한 구체적인 정보를 원하는 질문으로  다양하고 발생 빈도가 낮아 롱테일 질의라고 부른다. 이런 질의는 인기글이나 지식인 등 출처를 기준으로 나뉜 컬렉션 단위 랭킹이 이루어진다. 네이버 검색에는  "19개월 잠만자요" "신차구매시 기존 자동차보험 어떻게 해야하나요" "세입자가 안들어왔다고 돈을 안주는" "80대 요관암 말기 암 항암치료" 의도가 아주 세밀하나, 사용자들이 자주 검색하지는 않는 다양한 롱테일..

  • format_list_bulleted AI trend research
  • · 2025. 1. 3.
  • textsms
GLUE 벤치마크(benchmark)는 왜 필요한가?

GLUE 벤치마크(benchmark)는 왜 필요한가?

1. GLUE(General Language Understanding Evaluation) 대량의 데이터를 사전학습하고 원하는 task에 대해 fine-tuning만 하면 사람의 말을 기계가 잘 이해한다는 일반적인 주장이 통용 task를 전부 잘해야한다는 걸 보여줘야하니 다양한 측면을 평가해주는 데이터 군들이 중요하게 다가왔다. 어떤 모델이든 동일한 체계 위에서 공정하게 평가하는 하나의 기준이 필요했다는 것이다. QQP는 질문 2개를 임의로 뽑아 사실상 같은 질문인지 아닌지 파악하는 과제 SST-2는 stanford에서 나온 문장이 부정적인지 긍정적인지 파악하는 과제 CoLA는 문장에 문법적인 오류가 있는지 없는지 파악하는 언어 수용성 과제 STS-B, MRPC는 2개 문장의 유사도를 평가하는 과제 RT..

  • format_list_bulleted NLP
  • · 2024. 8. 14.
  • textsms