Transformers without Normalization

Transformers without Normalization

개요현대 신경망에서 정규화(Normalization) 계층은 필수적인 요소로 여겨짐.본 연구에서는 정규화 없이도 동일하거나 더 나은 성능을 내는 방법을 제시.Dynamic Tanh (DyT)라는 간단한 연산을 도입하여 정규화 계층을 대체함.DyT는 DyT(x) = tanh(αx)의 형태를 가지며, 입력값을 조정하고 극단값을 억제하는 역할 수행. 주요 기여정규화 계층이 없어도 학습 가능Layer Normalization (LN) 없이도 Transformer 모델이 안정적으로 학습됨을 실험적으로 입증.DyT는 tanh 형태의 S-커브를 활용하여 정규화 계층의 효과를 모방.다양한 영역에서 검증시각 인식, 언어 모델링, 음성 인식 등 다양한 태스크에서 DyT 적용.ViT, ConvNeXt, LLaMA 등의 최신..

  • format_list_bulleted AI trend research
  • · 2025. 3. 25.
  • textsms
1일차 neural network, supervised learning, activation 간단하게

1일차 neural network, supervised learning, activation 간단하게

1. neural network And so given these input features, the job of the neural network will be to predict the price y. And notice also that each of these circles, these are called hidden units in the neural network, that each of them takes its inputs all four input features. So for example, rather than saying this first node represents family size and family size depends only on the features X1 and ..

  • format_list_bulleted Deep Learning Specialization
  • · 2024. 1. 10.
  • textsms
Vanilla RNN에서 hidden vector로 예측값을 만드는 과정

Vanilla RNN에서 hidden vector로 예측값을 만드는 과정

hidden vector의 차원은 hyperparameter이다. 여기서는 2차원이라고 가정해보자. 3차원의 입력벡터 Xt가 들어가고 2차원의 hidden state vector인 ht−1이 RNN의 입력으로 들어간다고 해보자. 처음에는 Xt와 ht−1이 concatenation되어 hidden layer에 fully connected 된다. 당연하지만 ht−1이 2차원이기때문에 ht를 뽑아내는 layer의 차원도 2차원이다. hidden layer의 선형변환 W와 입력벡터의 곱 WX에 nonlinear activation인 tanh(WX)로 ht가 뽑힌다. Vanilla RNN이 실제로 tanh()를 activate function으로 썼다..

  • format_list_bulleted NLP
  • · 2023. 7. 11.
  • textsms
여러가지 활성화함수(activation function)

여러가지 활성화함수(activation function)

1. sigmoid(logistic function) 함수가 [0,1]에서 값을 가지며 큰 x>0와 작은 x

  • format_list_bulleted 딥러닝 기초
  • · 2021. 12. 31.
  • textsms