On the generalization of language modelsfrom in-context learning and finetuning: acontrolled study

1. 연구 배경 및 문제 제기 대형 언어 모델(LLM)은 파인튜닝(finetuning)을 통해 새로운 과제에 적응할 수 있지만, 학습한 관계를 단순히 뒤집거나(예: “B의 어머니는 A다”를 학습했을 때 “A의 아들은 누구인가?”를 유추) 논리적 추론을 수행하는 데 어려움을 보인다. 반면 문맥 내 학습(in‑context learning, ICL)은 서로 다른 귀납적 편향을 지녀 일부 상황에서 더 유연한 일반화를 달성한다. 2. 통제된 실험 설계 사전학습 지식과 겹치지 않도록 허구의 용어와 구조로 구성된 여러 합성 데이터셋(단순 역전, 삼단논법, 유명인 역전 데이터셋, 의미 계층 구조 데이터셋 등)을 만들었다. 각 데이터셋에 대해 (a) 파인튜닝, (b) 전체 훈련 데이터를 문맥으로 제공하는 ICL, ..

• format_list_bulleted AI 논문/AI trend research
• · 2025. 5. 22.
• textsms

가장 좋은 augmentation을 찾기 위한 시도들 - AutoML, Rand augmentation

1. issue  task나 dataset 종류에 따라서 잘 되는 augmentation이 다르고 적용해야하는 강도나 크기도 달라  숫자를 인식해야하는 MNIST 데이터셋의 경우 9라는 이미지를 180도 회전한 이미지로 바꾸면 6으로 인식되는데  label은 여전히 9라고 하는데 누가봐도 6으로 보이니 성능이 저하될 수 있음 capacity가 작은 모델에 학습이 어려운 augmentation을 적용하면 오히려 부담을 느껴 성능이 저하됨  2. AutoAugment 그렇다면 컴퓨터의 힘을 빌려 AutoML을 통해 task와 데이터에 최적화된 augmentation을 찾아보자   데이터로부터 data augmentation의 policy를 학습하는 모델을 만드는것 모델로부터 데이터의 특징을 잘 살려주는 au..

• format_list_bulleted 딥러닝/light weight modeling
• · 2024. 10. 1.
• textsms

컴퓨터 비전에서 사용하는 기본적인 data augmentation 2

1. overview  기존 데이터에 변화를 가해 추가로 데이터를 확보하는 방법 데이터가 적거나 imbalance된 상황에서 효과적으로 활용가능  적절한 변환을 하더라도 이미지 데이터의 불변하는 성질을 모델에 전달하여 robust하게 만든다  예를 들어 강아지 이미지는 회전을 하더라도 늘리더라도 일부분만 보이더라도 여전히 강아지 이미지임   어떻게 변환을 하더라도 이미지가 나타내는것은 사자임에는 변함없다  그러나 데이터 종류마다 augmentation의 종류나 특성이 달라질 것이다.  정형데이터는 정형데이터만의 augmentation이 있고  음성데이터는 음성데이터만의 augmentation이 있고  이미지 데이터는 이미지 데이터만의 augmenation이 있어 2. 경량화 관점에서 augmentatio..

• format_list_bulleted 딥러닝/Computer Vision
• · 2024. 9. 23.
• textsms

Regularization에 대해 꼭 생각해봐야하는 점(L2 regularization, dropout의 단점, early stopping의 단점, data augmentation의 단점)

모델이 validation set에 성능을 내지 못할때, training data에 overfitting이 되었을때 데이터를 더 많이 얻는 것은 좋은 방법이지만 항상 그럴 수는 없다. 그럴때 시도하면 좋은 것이 regularization L2 regularization은 가중치 W의 L2 norm, L1 regularization은 가중치 W의 L1 norm을 더해주는데... 1. 여기서 하나 bias도 parameter인데 왜 가중치 W 항만 더해주는것인가? 모델의 거의 모든 parameter가 W에 집중되어 있기 때문에 bias를 더할수도 있지만 계산비용 대비 거의 차이가 없다고 한다 2. L2 regularization을 일반적으로 많이 사용한다. L1 regularization을 사용하면 가중치 ..

• format_list_bulleted 딥러닝/Deep Learning Specialization
• · 2024. 1. 13.
• textsms

data augmentation & data generation 기본 개념 재활하기

1. data augmentation은 어떤 의미를 가질까 1-1) 목적 데이터를 일반화하는 과정 주어진 데이터가 가질 수 있는 case나 state에 다양성을 주도록 만들고자 한다 수집한 데이터가 어떤 환경에서 정확히 찍혔는지 잘 모르겠지만 데이터를 학습한 모델의 사용처를 생각해본다면 데이터에 발생한 noise를 조금은 추출해볼수도 있다??? 야외에서 찍힌 이미지는 발생가능한 상황이 밤이나 폭우 폭설같은 경우도 생각해볼 수 있다 하지만 사용하려는 데이터에는 이런 예외적인? 상황이 포함되어 있지 않은 경우가 많은데 그럼에도 불구하고 밤, 폭우는 충분히 발생 가능한 상황이다 1-2) idea 해당 domain에서 noise를 충분히 고려하여 데이터에 담을 수 있다면 나중에 test 과정에서 들어온 데이터들..

• format_list_bulleted 프로그래밍/Pytorch
• · 2023. 4. 28.
• textsms

pytorch에서 data augmentation은 어떻게 이해해야하는가

data augmentation 설명하면 항상 이렇게만 설명함 “image를 랜덤하게 자르거나 확대하거나 축소하는 등 변형하여 데이터 수를 의도적으로 늘려 머신러닝 모델이 다양한 데이터를 학습하도록 유도함” 그런데 나는 항상 이런 생각을 했음 “data augmentation에서 augmentation의 뜻이 증강임..” 이 설명은 가지고 있는 data set을 증가시킨다는 느낌을 줌 그래서 처음에 augmentation 한번 구현해볼까? 하고 생각한게 transforms.Compose로 transform을 정의하고 torchvision의 transform이 제공하는 함수를 이용하여 이미지를 변형시켜 데이터를 읽어온다 이렇게 변형된 이미지 데이터셋을 처음부터 순회해서, label별로 tensor를 다시 ..

• format_list_bulleted 프로그래밍/Pytorch
• · 2023. 4. 27.
• textsms