tqdm(enumerate(dataloader))와 enumerate(tqdm(dataloader))

tqdm은 for문에서 iterable을 순회할때 어느정도 남아있는지 알려주는 대표적인 라이브러리 기본적으로 tqdm(iterable) 형태로 다음과 같이 사용 필요에 따라 dataloader를 순회할때 어느정도 남아있는지 궁금하다면... dataloader는 indexing이 불가능해서 range(len(dataloader)): 형태로는 사용하기 어렵다 그래서 enumerate(dataloader)로 사용하는데 여기서 tqdm을 어떻게 써야하나 tqdm(enumerate(train_dataloader)) 형태로 쓰면... 이렇게 어느 정도 남아있는지 알수가 없음 반대로 enumerate(tqdm(train_dataloader)) 형태로 사용하면 어느정도 남아있는지 보여줌

• format_list_bulleted 프로그래밍/Pytorch
• · 2024. 3. 28.
• textsms

data augmentation & data generation 기본 개념 재활하기

1. data augmentation은 어떤 의미를 가질까 1-1) 목적 데이터를 일반화하는 과정 주어진 데이터가 가질 수 있는 case나 state에 다양성을 주도록 만들고자 한다 수집한 데이터가 어떤 환경에서 정확히 찍혔는지 잘 모르겠지만 데이터를 학습한 모델의 사용처를 생각해본다면 데이터에 발생한 noise를 조금은 추출해볼수도 있다??? 야외에서 찍힌 이미지는 발생가능한 상황이 밤이나 폭우 폭설같은 경우도 생각해볼 수 있다 하지만 사용하려는 데이터에는 이런 예외적인? 상황이 포함되어 있지 않은 경우가 많은데 그럼에도 불구하고 밤, 폭우는 충분히 발생 가능한 상황이다 1-2) idea 해당 domain에서 noise를 충분히 고려하여 데이터에 담을 수 있다면 나중에 test 과정에서 들어온 데이터들..

• format_list_bulleted 프로그래밍/Pytorch
• · 2023. 4. 28.
• textsms