정형데이터를 위한 딥러닝 모델 TabNet 간단하게

1. introduction 정형 데이터를 위한 딥러닝 모델 테이블 형식의 데이터에 적합한 학습 아키텍처  전처리 과정이 필요없음   기존에는 feature 선택과 모델 학습 과정이 나누어져 있지만 TabNet은 한번에 가능하게 만듦  각 의사결정 단계에서 순차적인 attention으로 추론할 feature를 선택함 feature의 선택으로 어떠한 feature가 중요한 특징을 가지는지 설명도 가능함 label이 없는 데이터가 많을 때 self-supervised learning으로 representation에 효과적인 성능 향상을 보여줌 의사결정 각각 에서 왜 그 feature를 선택했는지 local interpretability와  모델이 만들어지면서 어떤 근거로 feature들이 선택되었는지 glo..

• format_list_bulleted 정형데이터
• · 2024. 8. 25.
• textsms

Pytorch model forward에서 에러나는 경우 대처하기(input output model shape print해보기)

pytorch에서 model에 input을 넣어 forward 과정을 거쳐 output을 낼려고 할 때 종종 에러가 나는데   input으로 3d, 4d, 5d를 받아야하는데 2d가 들어왔다고 말하는거   딥러닝은 모델이 너무 복잡하기 때문에 머릿속에서 생각만으로 어디가 문제인지 알아내기 어렵다 모델 내부에서나, input, output등에 대해 중간중간에 shape를 찍어봐야함   중간에 grad_CAM의 shape를 찍어보면 실제로 2d라는 걸 확인할 수 있음   2d를 2번 unsqueeze(0)해서 4d로 만들고 넣었더니 더 이상 에러가 없었다 왜 2번했냐고? 1번만 하면 또 에러나서 그래 ------------------------------------------------------------..

• format_list_bulleted Pytorch
• · 2024. 8. 25.
• textsms

AutoML의 개념 알아보기

1. data engineering?  1) 전통적인 데이터 엔지니어링  data cleansing후에 data preprocessing을 수행하고   정제된 데이터로부터 feature engineering을 통해 적절한 feature를 선택하면   task에 맞는 적절한 ML 알고리즘을 선택하고   선택한 알고리즘의 hyperparameter를 tuning한다  딥러닝 관점에서 ML 알고리즘을 선택하는 과정은 task에 맞는 적절한 backbone network를 선택하는 것과 비슷 hyperparameter를 선택하는 과정은 딥러닝에서는 loss나 optimizer나 batchsize 등등을 선택하는 것과 비슷하다  2) 모델을 학습하는 과정?  task에 대한 데이터셋이 주어지면 cleansing..

• format_list_bulleted light weight modeling
• · 2024. 8. 23.
• textsms

precision과 accuracy 개념 간단하게

precision은 정답과는 무관하게 데이터들끼리 얼마나 같은 경향을 나타내는가 데이터들끼리 얼마나 멀리 분포하는지, 얼마나 좁게 분포하는지 variance에 관한 이야기  accuracy는 분포하는 경향과는 무관하게 데이터 하나하나가 정답을 맞췄는지 아닌지 bias에 관한 이야기    빨간 점이 정답과는 상관없이 비슷한 경향, 가깝게 뭉쳐있으면 precision이 높다고함 반면 accuracy는 정답인지 아닌지를 판단함    2번과 4번을 보면 정답에 있더라도 뭉쳐있지 않은 2번은 precision이 떨어지고 4번은 precision이 높음 3번과 4번을 보면 정답이 아니더라도 뭉쳐있는 둘은 precision이 높음

• format_list_bulleted 딥러닝 기초
• · 2024. 8. 21.
• textsms

저작권법 기본 상식 알아보기

1. 왜 알아야할까? 교육으로 주어지는 데이터들은 저작권이 기본적으로 해결되어있어서 크게 생각 안해왔지만 사회는 다르다 대부분 문제를 풀기 위한 적절한 데이터는 존재하지 않아 스스로 모아야함 저작권을 고려하지 않으면 반쪽짜리 데이터가 됨  합법적으로 사용할 수 없는 데이터로 학습한 모델도 합법적으로 사용할 수 없다   그냥 데이터를 막 모으면 개인적인 연구 목적으로는 가능하겠지만 공개하여 연구성과로는 인정받기 어렵다  학계에서도 라이센스에 대해 주목하고 있는 추세이다.  2. 저작권법의 현 상황 저작권법 당시 AI가 주목받고 있지는 않아 아직 AI 모델을 고려하고 있지는 않다. 그러나 현재 AI 모델에 대해서도 고려중이다.  3. 용어 1) 저작권 사람의 생각이나 감정을 표현한 결과물에 대하여 창작자에게..

• format_list_bulleted 읽을거리
• · 2024. 8. 20.
• textsms

현실에서 고려해야하는 모델 성능평가 지표

1. 처리시간 하나의 입력이 처리되어 출력이 나올때까지 걸리는 시간 수식인식기의 경우 offline test는 ‘이미지 입력 후 수식 영역 정보가 출력될 때까지의 시간’ online test는 ‘이미지 촬영 후 이미지에서 수식 영역 정보가 화면 상에 표현되기까지의 시간’ 무슨 차이지? 무슨 차이인지 생각한다는게 좀 그런가? online tests는 사용자 체감 시간이 중요하다는 뜻인것 같다 시간차이의 경우에도 앱으로 사진을 포팅할때 offline과 online의 시간차이도 분명 있는 것 같다  2. 목표 정확도 해당 기술 모듈의 정량적인 정확도 신용카드 인식의 경우 offline test는 입력된 이미지 내 카드번호와 실제 정답의 distance online test는 사용자가 AI 모델에 인식하였을 때..

• format_list_bulleted 딥러닝 기초
• · 2024. 8. 19.
• textsms