pytorch dataset과 dataloader 기본개념 재활

1. dataset class 1-1) torch.utils.data에 존재하는 라이브러리? 주어진 Vanilla data를 “모델이 좋아하는 dataset”으로 변환시켜줌 원하는 augmentation이나 preprocessing 방식도 추가 가능 미리 만든 MNIST같은 데이터셋 말고도 어떠한 데이터에 대해서도 새로 만든 dataset class가 필요함 1-2) 기본 구조 Mydataset이라는 class는 torch.utils.data의 Dataset의 기능들을 전부 가졌으면 해서 Dataset을 상속받음 다음 3가지는 dataset이라는 class가 가져야할 기본 기능이다. 1) __init__는 Mydataset이 처음 선언되면 최초 1번 호출되는 함수 보통 Vanilla data의 위치나 경..

• format_list_bulleted 프로그래밍/Pytorch
• · 2023. 4. 27.
• textsms

docker에서 nodejs + python-shell 사용할때 배운 docker 기본기와 개발 기본기

다음과 같이 dockerfile이 작성되었고 FROM python:3.8 WORKDIR /SubPjt2/backend/ RUN pip install --upgrade pip RUN pip install matplotlib RUN pip install tensorflow RUN pip install CMake RUN pip install dlib RUN pip install torch RUN pip install torchvision FROM node:16.18 WORKDIR /SubPjt2/backend/ COPY --from=0 . . COPY . . RUN npm install EXPOSE 3001 CMD ["npm", "start"] 이렇게 구성된 dockerfile에서 다음과 같은 python-s..

• format_list_bulleted 프로그래밍/docker & jenkins
• · 2023. 2. 13.
• textsms

머신러닝 관점에서 information transmission

2. acceleration 시간에 따른 거리의 변화량이 속도이고 속도의 변화량이 가속도(acceleration) 2-1) python list와 numpy array python list는 각각의 element를 개별 object 단위로 저장 numpy array는 비슷한 data type들을 메모리 상 동일한? 비슷한? 위치에 한번에 잡아서 처리함  python list는 element 개별 주소를 부여하여 저장 numpy array는 동일한 type의 element를 한번에 묶어서 저장 numpy array는 c를 기반으로 만들어져 python list에 비해 가속(속도가 빠름)되었음   실제로 numpy array가 0.1초 정도 빠름 2-2) python과 C python도 C를 기반으로 만들어..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 3.
• textsms

데이터프레임에서 행별로 이상치 판단하기 (코딩테스트 복기)

1. 예시 데이터 생성 import pandas as pd import numpy as np a = ['xdjwew1235453kdrew',75,np.nan,np.nan] b = ['jgierw0548323kgfe',54,36,89] c = ['hjeir3058372jdkw',23,85,np.nan] d = ['gjewoe02853klfw',98,94,92] e = ['guehrwenk29584034kgneiew',np.nan,np.nan,55] df = pd.DataFrame([a,b,c,d,e]) 여기서 소소한 팁으로 np.nan으로 NaN값을 넣을 수 있다 'NaN'이나 nan이나 NaN이나 이런거 안됨 2. 행의 값들을 가져오는 방법 df.values하면 데이터프레임의 행들을 numpy array..

• format_list_bulleted 프로그래밍/Pandas
• · 2022. 3. 25.
• textsms

class내에서 method 내부에 다른 method 호출하기

1. 문제 영어 소문자로 주어지는 문자열에서 모음을 제거한 나머지 문자열을 출력하는 method와 자음을 제거한 나머지 문자열을 출력하는 method를 작성한다면?? 2. 제한사항 입력으로 주어지는 문자열 s에는 최소한 하나 이상의 모음과 자음이 포함된다 3. 풀이 class FilterLetter: def __init__(self,s): self.s = s def filter_vowel(self): vowel_list = ['a','e','i','o','u'] remove_vowel_s = self.s for char in vowel_list: remove_vowel_s = remove_vowel_s.replace(char,'') return remove_vowel_s def filter_consona..

• format_list_bulleted 프로그래밍/Python
• · 2022. 3. 25.
• textsms

파이썬 object의 magic method

파이썬의 객체는 이미 내장되어있는 __가 들어간 method를 활용하여 자신만의 객체를 만들 수 있다 1. __init__ __init__ method는 인자를 받아서 인스턴스 내부에 여러가지 속성을 부여한다. 팥과 고구마 붕어빵을 가르는 역할을 해준다는 것 name과 position, back_number를 받아서 객체에 속성을 부여하는 __init__ __init__이 있는경우 초기값을 지정하지 않으면 에러가 남 마지막에는 같은 클래스 틀에서 생성되었지만 서로 다른 인스턴스가 된다는 것을 보여준다 2. __str__ __str__ method는 print()하면 출력해주는 내용을 지정해준다 str method를 지정하지 않으면 메모리 주소만 출력해줌 str method로 리턴값을 지정해주면 print..

• format_list_bulleted 프로그래밍/Python
• · 2022. 2. 19.
• textsms