1. ILSVRC ImageNet에서 개최하는 이미지 빅데이터 대회 classification, detection, localization, segmentation 등 문제는 다양하다 2015년부터 인간을 이기는 알고리즘이 등장함 human의 점수는 이 논문에서 실험을 통해 적절하게 추정을 했나봄.. 이 대회에서 1등을 하는 딥러닝 알고리즘은 기본적으로 parameter 수를 점점 줄이면서 네트워크의 길이는 deep하게 하였다. 그러면서 학습 성능을 높였다 parameter 수는 줄이고 layer는 deep하게 하면서 performance를 높임 그러한 과정에서 1*1 conv를 적절하게 배치하는 아이디어 더 적은 크기의 kernel을 여러번 배치하면 큰 크기의 kernel을 적게 배치하는 것과 rece..
제어문은 상황에 따라 명령어의 실행을 선택하고 순서를 바꾸거나 반복시키는 명령 1. if문 기본1 if (조건식) { 조건이 참이면 실행시킬 명령 } if 다음 조건식은 괄호로 둘러싸주고 {} 내에 여러 문장 사용 가능하고, 실행시킬 명령이 단 1문장이면 {}는 생략가능하나, 웬만하면 쓰는게 좋다. using System.Collections; using System.Collections.Generic; using UnityEngine; public class HelloWorld : MonoBehaviour { // Start is called before the first frame update void Start() { int age = 18; if (age < 20) { Debug.Log("애기")..
1. 사칙연산 +,-,*은 덧셈, 뺄셈, 곱셈인데 나눗셈 / 연산은 몫을 구해줌 %는 나머지를 구해주고 당연하지만 연산자는 우선순위가 있다. 곱셈, 나눗셈(나머지)을 먼저 하고 덧셈, 뺄셈은 뒤에 한다. 하지만 이런게 헷갈리면 먼저 연산하고 싶은걸 괄호 쳐서 하면 됨 using System.Collections; using System.Collections.Generic; using UnityEngine; public class HelloWorld : MonoBehaviour { // Start is called before the first frame update void Start() { int a = 5; int b = 3; Debug.Log(a + b); Debug.Log(a - b); Debug..
1. encoder encoder는 self attention 구조와 feed forward Neural Network 구조의 두개의 sub layer로 구성되어 있다 단어 입력의 경우에는 먼저 embedding vector로 변환하는 것이 기본이다. 당연하지만 word embedding은 맨 밑단 첫 입력에서만 일어남 벡터 크기는 hyperparameter로 적절하게 정한다고 한다. embedding된 벡터 각각은 자기만의 경로를 따라 encoder를 지나간다 위에서 보면 첫 통과 layer로 self attention을 지나가는데 도대체 무슨 일이 일어날까? 예를 들어보면 ‘The animal didn’t cross the street because it was too tired.’을 생각해보자. 이..
1. sequential model의 어려운 점 sequence data가 다루기 어렵다는 이유 중 input의 차원이 어느 정도인지 알기 어렵다는 점이 있었다. 추가로 시간 순서가 바뀌어서 들어온다든지 일부가 잘려서 들어온다든지 아니면 섞여서 들어온다든지 그래서 또 다루기가 어렵다 2. transformer 핵심 아이디어 위와 같은 input의 무작위성 때문에 sequence data를 다루기 어렵다는 한계를 극복하고자 등장했다. 처음 도입되었을 때는 기계어 번역 문제를 풀기 위해 도입했다. 지금은 이미지 분류, detection 등 다방면에서 활용되고 있다. sequence를 다루는 모델인데 그 동안 RNN이 재귀적구조를 활용했다면 Transformer은 attention구조를 활용했다. 3. tra..
1. object에 script 붙이기 Hierarchy에서 create empty하면 Gameobject 생성 생성된 gameobject 클릭 후 inspector 창에서 add component - new script로 스크립트 생성하면, 클릭한 gameobject에 붙는 script가 자동 생성 혹은 project창에서 create - C# script로 스크립트를 만들 수 있다. 생성된 스크립트 파일을, gameobject를 선택한 다음 inspector창에 드래그해서 붙일 수 있다 2. Hello, World!를 출력하는 프로그램 오브젝트에 스크립트를 붙이고 나서, 스크립트를 더블클릭하면 비주얼 스튜디오로 연결됨 cs확장자는 c#파일을 나타낸다. Start()함수는 스크립트 실행시 처음에 한번 ..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
