1. compression과 acceleration의 차이점 완전히 뜻이 달라보이는 두 단어는 보통 같이 따라다니는 단어라고??? compression같은 경우는 공간적으로 중요한 정보는 남기고 그렇지 않은 것은 제거하는 것으로 software level에서 하는 이야기 acceleration은 hardware level에서 시간적으로 속도 상승의 이야기 2. hardware의 성능이란 hardware는 보통 사람이 원하는 것을 수행해주는 도구의 역할을 함 사람이 무언가를 설계하여 software로 구현을 하면 compiler가 번역하여 그것을 hardware가 수행하여 output을 낸다 설계된 프로그램?에 사람이 input을 집어넣으면 algorithm에 의해 output이 나옴 사람이 이렇게 ..
1. introduction 정형 데이터를 위한 딥러닝 모델 테이블 형식의 데이터에 적합한 학습 아키텍처 전처리 과정이 필요없음 기존에는 feature 선택과 모델 학습 과정이 나누어져 있지만 TabNet은 한번에 가능하게 만듦 각 의사결정 단계에서 순차적인 attention으로 추론할 feature를 선택함 feature의 선택으로 어떠한 feature가 중요한 특징을 가지는지 설명도 가능함 label이 없는 데이터가 많을 때 self-supervised learning으로 representation에 효과적인 성능 향상을 보여줌 의사결정 각각 에서 왜 그 feature를 선택했는지 local interpretability와 모델이 만들어지면서 어떤 근거로 feature들이 선택되었는지 glo..
pytorch에서 model에 input을 넣어 forward 과정을 거쳐 output을 낼려고 할 때 종종 에러가 나는데 input으로 3d, 4d, 5d를 받아야하는데 2d가 들어왔다고 말하는거 딥러닝은 모델이 너무 복잡하기 때문에 머릿속에서 생각만으로 어디가 문제인지 알아내기 어렵다 모델 내부에서나, input, output등에 대해 중간중간에 shape를 찍어봐야함 중간에 grad_CAM의 shape를 찍어보면 실제로 2d라는 걸 확인할 수 있음 2d를 2번 unsqueeze(0)해서 4d로 만들고 넣었더니 더 이상 에러가 없었다 왜 2번했냐고? 1번만 하면 또 에러나서 그래 ------------------------------------------------------------..
https://deepdata.tistory.com/37 선형대수학 기본 용어 -상급자편 4-1. vector space 추상적으로는 벡터들의 집합이지만 일반적으로는 임의의 $v _{1} ,v _{2} \in V$와 scalar c에 대하여 $v _{1}+v _{2} \in V$를 만족시키고 $cv _{1} \in V$를 만족시키면 $V$를 vector space라고 부릅니다.deepdata.tistory.com https://deepdata.tistory.com/39 선형대수학 기본 용어 -상급자편 5-1. dimension vector space $V$의 basis의 원소의 개수를 $V$의 dimension이라고 부르고 기호로 dim(V)로 표시합니다. 모든 vector space는 basis를 가지..
https://atcoder.jp/contests/abc362/tasks/abc362_c C - Sum = 0AtCoder is a programming contest site for anyone from beginners to experts. We hold weekly programming contests online.atcoder.jp n개의 구간 (Li,Ri)가 주어질때, 이 구간들 각각에서 정수 Xi를 하나 골라 n개 합쳐서 0을 만들 수 있는지? 그렇다면 그러한 정수 배열을 하나 찾는 문제 먼저 그러한 정수 배열이 존재하는지 알 수 있을까? 이것부터 어렵더라고 근데 생각보다 간단했다 $$L_{1} $$L_{2} ... $$L_{n} 이들을 합해도 부등식이 유지되므로, $$\sum_{i =..
1. data engineering? 1) 전통적인 데이터 엔지니어링 data cleansing후에 data preprocessing을 수행하고 정제된 데이터로부터 feature engineering을 통해 적절한 feature를 선택하면 task에 맞는 적절한 ML 알고리즘을 선택하고 선택한 알고리즘의 hyperparameter를 tuning한다 딥러닝 관점에서 ML 알고리즘을 선택하는 과정은 task에 맞는 적절한 backbone network를 선택하는 것과 비슷 hyperparameter를 선택하는 과정은 딥러닝에서는 loss나 optimizer나 batchsize 등등을 선택하는 것과 비슷하다 2) 모델을 학습하는 과정? task에 대한 데이터셋이 주어지면 cleansing..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
