Loading...
2024. 1. 13. 02:35

Regularization에 대해 꼭 생각해봐야하는 점(L2 regularization, dropout의 단점, early stopping의 단점, data augmentation의 단점)

모델이 validation set에 성능을 내지 못할때, training data에 overfitting이 되었을때 데이터를 더 많이 얻는 것은 좋은 방법이지만 항상 그럴 수는 없다. 그럴때 시도하면 좋은 것이 regularization L2 regularization은 가중치 W의 L2 norm, L1 regularization은 가중치 W의 L1 norm을 더해주는데... 1. 여기서 하나 bias도 parameter인데 왜 가중치 W 항만 더해주는것인가? 모델의 거의 모든 parameter가 W에 집중되어 있기 때문에 bias를 더할수도 있지만 계산비용 대비 거의 차이가 없다고 한다 2. L2 regularization을 일반적으로 많이 사용한다. L1 regularization을 사용하면 가중치 ..

2023. 4. 28. 02:27

data augmentation & data generation 기본 개념 재활하기

1. data augmentation은 어떤 의미를 가질까 1-1) 목적 데이터를 일반화하는 과정 주어진 데이터가 가질 수 있는 case나 state에 다양성을 주도록 만들고자 한다 수집한 데이터가 어떤 환경에서 정확히 찍혔는지 잘 모르겠지만 데이터를 학습한 모델의 사용처를 생각해본다면 데이터에 발생한 noise를 조금은 추출해볼수도 있다??? 야외에서 찍힌 이미지는 발생가능한 상황이 밤이나 폭우 폭설같은 경우도 생각해볼 수 있다 하지만 사용하려는 데이터에는 이런 예외적인? 상황이 포함되어 있지 않은 경우가 많은데 그럼에도 불구하고 밤, 폭우는 충분히 발생 가능한 상황이다 1-2) idea 해당 domain에서 noise를 충분히 고려하여 데이터에 담을 수 있다면 나중에 test 과정에서 들어온 데이터들..

2023. 4. 27. 01:55

pytorch에서 data augmentation은 어떻게 이해해야하는가

data augmentation 설명하면 항상 이렇게만 설명함 “image를 랜덤하게 자르거나 확대하거나 축소하는 등 변형하여 데이터 수를 의도적으로 늘려 머신러닝 모델이 다양한 데이터를 학습하도록 유도함” 그런데 나는 항상 이런 생각을 했음 “data augmentation에서 augmentation의 뜻이 증강임..” 이 설명은 가지고 있는 data set을 증가시킨다는 느낌을 줌 그래서 처음에 augmentation 한번 구현해볼까? 하고 생각한게 transforms.Compose로 transform을 정의하고 torchvision의 transform이 제공하는 함수를 이용하여 이미지를 변형시켜 데이터를 읽어온다 이렇게 변형된 이미지 데이터셋을 처음부터 순회해서, label별로 tensor를 다시 ..

2021. 12. 26. 23:46

여러가지 regularization 기법

1. regularization generalization이 잘 되게하고자 학습을 방해하는 요소를 추가하여 학습뿐만 아니라 test에도 잘 동작하는 모형을 만드는 방법 여러가지 방법들 모두 시도해보면서 잘 되면 좋고 아님 말고… 2. Early stopping Early stopping은 iteration이 증가할 수록 test error는 증가하니 증가하기 전에 멈추자는 원리 특히 test data는 학습 과정에서 사용하면 안되니까 train data의 일부인 validation set으로 평가했다는 점이 주목할만 하다. 3. Parameter norm penalty Parameter norm penalty는 네트워크의 parameter가 크기면에서 너무 커지지 않았으면 하는 바람에서 나온 것 L1, ..

통계학로봇

딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck

카테고리

블로그메뉴

관리자 / 글쓰기 / RSS

공지사항

최신글

태그 클라우드

최신댓글

글 보관함

링크

방문자수

오늘. / 어제. / 전체.

티스토리툴바