(매우 중요)대용량 데이터로 colab 딥러닝 학습할 때 첫번째 epoch이 매우 느리다면(colab 대용량 데이터, dataloader 병목현상)

colab에서 7만개 정도의 이미지 데이터를 학습하고 6만개 정도 이미지 데이터를 test할려고 하는데 평소에 한 것처럼 구글 드라이브에 데이터를 넣어두고 학습 시도 하지만 예전에 경험한 것처럼 한 폴더에 너무 많은 데이터를 넣어두면 파이썬이 구글 드라이브 폴더에 아예 접근을 못함 https://deepdata.tistory.com/1084 구글드라이브로 대용량 데이터를 다룰 때 필요한 테크닉(압축해제, 자동압축, 파일 크기 확인방 구글 드라이브의 한 폴더 내에 너무 많은 데이터가 있을 경우, colab에서 구글 드라이브로 연동할때, 파이썬이 구글 드라이브의 폴더 내의 데이터에 제대로 접근하지 못한다 그래서 한 폴더당 1000 deepdata.tistory.com 그래서 한 폴더에 500개 정도로 해서 ..

• format_list_bulleted Python
• · 2024. 1. 18.
• textsms

구글드라이브로 대용량 데이터를 다룰 때 필요한 테크닉(압축해제, 자동압축, 파일 크기 확인방법)

구글 드라이브의 한 폴더 내에 너무 많은 데이터가 있을 경우, colab에서 구글 드라이브로 연동할때, 파이썬이 구글 드라이브의 폴더 내의 데이터에 제대로 접근하지 못한다 그래서 한 폴더당 10000개 이내로 데이터를 분할해서 저장해두는게 유리하다 --------------------------------------------------------------------------------------------------------------------- 개인 드라이브에서 구글 드라이브로 데이터를 옮길때, 압축된 상태에서 옮기고 연동한 다음 파이썬으로 압축을 해제해서 사용하는게 유리할 수 있다 colab으로 구글 드라이브로 연동한 다음, 구글 드라이브의 zip파일을 압축해제하면 된다 https://cod..

• format_list_bulleted Python
• · 2024. 1. 14.
• textsms

matplotlib 기본 간단하게

1. matplotlib 파이썬의 대표적인 시각화 도구 가장 먼저 나와서 유명함 pyplot 객체(그림판)을 사용하여 데이터 표시 일단 메모리에 그림을 올려놓고 flush하여 메모리에 올린 그림을 사람에게 보여줌 import matplotlib.pyplot as plt로 부르는 것이 관례 argument,kwarg형태로 받아서 인자가 뭐가있는지 찾기가 어려움 2. plt.plot() plt.plot()은 기본으로 line graph 요즘은 plt.show()안해도 보여준다고는 한다 하나의 판 위에 그림을 계속 쌓아가는 개념이다. 하나의 판 위에 2개의 그림을 그림 1개를 먼저 그리고 다음 그림을 또 그려 쌓아가는거임 3. add_subplot plt.figure()로 figure()객체를 만들고 add_..

• format_list_bulleted Visualization
• · 2024. 1. 3.
• textsms

Pandas 기초 9편

1. add_prefix 변수명에 접두사 추가 2. rename 변수명을 변경 3. pivot_table 엑셀테이블이고 교차빈도표 느낌인데 잘 정리된 데이터프레임 느낌..? 제대로 써본적이 없어서 잘 모르겠다.. 각 칸은 aggfunc으로 구해진 값으로 채워진듯 NA는 fill_value = 0으로 채웠을 것이고 crosstab은 pivot table의 특수한 형태라는데 뭔 차이인지 모르겠다 4. persistence 데이터베이스로 연결해주는 기능 제공(sqlite3) pickle이나 엑셀로 객체를 저장하여 다른 곳에 불러와서 사용할 수 있는 기능도 제공 요약하자면 객체를 피클이나 엑셀로 저장해서 다른 곳에도 쓸 수 있게하는 지속성(persistence)을 제공한다는 것 같음

• format_list_bulleted Pandas
• · 2024. 1. 3.
• textsms

Python 개발의 문서화 도구 Sphinx 사용해보기

PytorchKR 레포지토리 기여 중에 Sphinx에 대해 알게되었다 자세한 활용은 해보지 않았으니 생략하고 이런게 있다는 느낌정도만 가져가자고 Sphinx는 Python 프로젝트를 문서화하는 라이브러리인데 pip install sphinx로 설치 가능 !pip install sphinx sphinx로 작성하는 문서는 rst파일로 되어있는데 고쳐야하는 부분을 고치면 된다 다행히 python 코드가 입력되는 부분은... code :: python으로 되어있고 python 문법을 따르더라고 다음 빌드를 위해 sphinx-quickstart를 입력 설명에 따라 입력해주면 되는데 소스 코드와 빌드 경로를 분리할건지 아닌지? 기본값은 n이라네 그 외에 프로젝트 이름이나 작가 이름, 버전, 프로젝트 언어 등을 입력..

• format_list_bulleted Python
• · 2023. 12. 14.
• textsms

frontend(vue.js)에서 FastAPI로 타입이 여러개 담긴 Formdata 보내기

1. formdata로 FastAPI에 값 보내기 formdata로 파일만 보내는 경우가 있지만, 때로는 formdata로 파일도 보내고 싶고 string이나 integer 등등 단순 데이터도 같이 보내고 싶을 수 있다 //vue.js async stopSoundToKeyword () { this.isLoading = true this.isRecording = false this.mediaRecorder.stop() this.mediaRecorder.onstop = (event) => { const blob = new Blob(this.audioArray, {type: 'audio/mp3'}) this.audioArray.splice(0) const formData = new FormData() form..

• format_list_bulleted FastAPI
• · 2023. 5. 14.
• textsms