1. ChatGPT의 빛과 어둠 1) 마이크로소프트 빌게이츠 "ChatGPT는 인터넷, PC정도로 중요한 발견이다" 2) 만들어진지 5일만에 100만 유저 달성 3) 이탈리아, ChatGPT의 개인정보 유출문제로 차단 4) 일론머스크, "멈출 수 없는 AI 레이스를 6개월만 쉬어가자" 5) 구글에 "ChatGPT"가 무엇인지 검색하면, 너무 많은 검색 결과를 주지만 ChatGPT한테 물어보면 검색 + 요약 + 설명을 깔끔하게 한번에 해 6) 하지만 아주 간단한 설명도 틀리게 말하는 경우가 많다 2. ChatGPT 이전의 시대 1) RNN - 자연어 처리 모델의 시초 1997년 개발 이후 2010년대까지 꾸준히 사용 한번에 한 단어만 모델에 넣을 수 있어서 병렬화가 불가능하여 학습시간이 매우 오래걸린다는 ..
1. validation set은 왜 필요할까 1-1) 필요성 학습 후 test set에 적용하여 모델의 성능을 평가해야하는데 학습 과정에는 평가하기 위한 데이터가 없으니 제대로 학습을 하고는 있는 것인지 정확한 검증이 어려움 학습에 이용되지 않은 데이터로 모델이 학습을 잘 하고 있는지 중간 검증을 하고 있는 것은 분명히 필요함 일반화를 잘 하고 있는지 아닌지 판단이 가능함 test set을 학습 중에 사용할 수는 없으니 train set의 일부로 validation set을 만들어 남은 train set으로 학습을 진행하고 validation set으로 중간 검증을 수행 data가 오히려 줄어드는 것이 아닌가? train set으로부터 validation set을 만들면 데이터가 줄어들어서 오히려 bi..
0. bias와 variance 1) overfitting model이 학습을 너무 해버리면 모델의 차원이나 복잡도가 증가 데이터의 세세한 부분까지 fitting하는 overfitting 현상 발생 모든 데이터는 noise가 존재하는데 overfitting하면 데이터의 noise까지 세세하게 fitting하게 되는 경향성을 가짐 다양한 데이터가 나올 가능성이 높다. 넓은 범위에서 데이터가 나올 가능성이 높아서 high variance라고도 부른다 2) underfitting 반면 학습을 너무 하지 않으면 너무 데이터를 고려하지 않게 된다 데이터를 많이 fitting하지 못한다 일부분에만 fitting되어 일부분에만 편향된다고 하여 high bias라고도 부른다 data set을 만드는 과정에서 일반화를 ..
0. computer vision은 왜 발전했을까 YOLO는 실시간으로 object detection을 가능하게 만들었다 길, 사람, 자동차 등을 segmentation하여 더욱 수준 높은 self driving을 구현하려고 노력하고 있다 이것은 어떻게 가능했을까? ImageNet이라는 대형 dataset이 등장한 것이 엄청난 영향력을 행사했다고 말할 수 있다 고도화된 알고리즘이나 모델이 아닌 약 1400만개의 image와 20000개의 category를 보유한 단순한 대용량의 대형 dataset 실생활에서 발견할 수 있는 다양한 variance들을 다 충족할 수 있는 엄청 큰 대형 dataset 그래서 획기적인 알고리즘 개발이 물론 중요하지만 ImageNet에 검증을 못하면 그런 알고리즘도 실생활에 쓸..
1. data preprocessing의 중요성 1-1) introduction 디스크 안에 단순히 파일로 존재하는 데이터(Vanilla data)는 그대로 모델에 쓰기에는 추가적으로 무언가 할 것이 많음 명확히 정의한 문제들을 바탕으로 ‘다양하고 일반화시킬 수 있는 여러 작업들이 병행된’, 그러면서 ‘문제 해결을 위해 나올 수 있는 여러 가능성이나 주제를 적용시킨’ “모델을 위한 dataset”으로 변환이 필요함 이런 모델을 위한 dataset으로 변환을 하고 나서 model training을 진행함 “일반적으로 쓸 수 있는” 데이터를 하나 하나씩 뱉어낼 수 있는 기능을 구현한다면 모델 학습에 무리가 없을 것 dataset 구축의 기본기를 잘 갖춰나야 앞으로 나올 음성, 시계열, 텍스트 등등 엄청 큰 ..
1. 기계학습 구성 요소 경험사례, 모델, 평가기준 인공신경망 같은 모델을 학습시키고자 한다면..? 많은 경험사례를 통한 반복학습 입력과 기대하는 출력의 pair를 반복적으로 보여줌 모델한테 보여주는건 좋은데 모델이 학습을 잘 하고있는지 기준이 필요함 학습을 못하고있으면 잘하도록 만들어야하니까 이러한 평가 기준이 cost(loss function) 2. 가장 좋은 모델 f를 찾는 방법? 기대하는 출력과 모델이 데이터를 보고 낸 출력 사이 차이가 최소화가 되도록 하는 모델을 찾는 것 기대하는 출력과 모델이 낸 출력 사이 차이를 최소화시키도록 만드는 방향으로 학습 3. 예시로 이해하는 기계학습 시간의 흐름과 주가와의 관계를 파악 시간을 넣어주면 모델이 해당하는 기댓값 주가를 출력 과거의 결과가 다음같이 나온..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
