개발자가 숫자를 0부터 세야하는 이유 - loss function 사용할때 class는 0부터 시작하기(cuda error)

text classification 모델을 training할려고 하는데.. 익숙한 cuda error를 만났다 경험상 정확한 원인은 알 수 없고 tensor 타입이라든지 gpu cpu 안맞다든지.. 등등 여러가지 이유로 발생하는거고 CUDA_LAUNCH_BLOCKING=1 넣어보라는건 아무 효과도 없음 이런 경우는 가장 좋은건 데이터를 하나만 빼서 model에 넣어봐서 output을 하나만 계산해봐야함 그리고 저 에러만나면 런타임 다시 시작해야함 ------------------------------------------------------------------------------ 근데 뭐 여러가지 시도해봄 device에 torch.device("cuda:0")냐 torch.device("cuda")..

• format_list_bulleted Pytorch
• · 2023. 4. 21.
• textsms

비전공자도 이해할 수 있는 AI 지식4 -GPU가 인공지능을 완성하다-

1. 무어의 법칙 -시간이 지나면서 반도체의 성능은 계속 증가- 1989년 얀 르쿤이 신경망으로 우편번호를 인식하려고 했을 때 고작 10개의 숫자를 인식하기 위해 모델을 학습하는데만 거의 3일이 걸렸다. 당시 신경망 구조는 지금과 크게 다르지 않았고 성능 또한 뛰어났지만 시스템만큼은 지금과는 큰 차이가 있었다. 인텔의 공동 창업자 고든 무어는 1965년 무어의 법칙을 내놓았다. 반도체 집적회로의 성능은 2년마다 2배씩 증가한다는 것으로 이 법칙은 오랫동안 컴퓨터 발전사에 통용되어온다. 얀 르쿤의 1989년 신경망 첫 실험과 2021년의 시스템 사이에 약 32년간의 시간차이가 있었는데, 단순 무어의 법칙에 의해 65536배의 성능 증가가 있었다. 3일이 걸렸던 학습 과정을 2021년에는 4초만에 끝낼 수 ..

• format_list_bulleted 비전공자도 이해할 수 있는 AI지식
• · 2022. 9. 21.
• textsms