컴퓨터의 근본 원리가 된 finite state machine 개념 익히기

1. definition 특정 input을 받으면 현재 상태에서 특정 상태로 변화하는 일종의 machine 컴퓨터 작동의 기본 원리 동그라미 2개 된 곳은 terminal state input을 받으면 S1에서 시작하고 a를 주면 S2로 간다는 뜻이 아니라 S1에서 a를 받으면 S2로 가는것 S2에서 b를 받으면 S1으로 가는 것이고 c를 받으면 S4(terminal state)로 가는것 2. example - theory of computation 모든 computing 연산은 finite state machine로 나타낼 수 있다. input state에서 algorithm, time, space 등을 받으면 output state로 변화하는 computing 연산 3. example - databa..

• format_list_bulleted 딥러닝/light weight modeling
• · 2022. 11. 4.
• textsms

boosting에 대하여

boosting에 대한 알고리즘 설명이 2가지 정도 있습니다. 주어진 training data set이 있다고 생각해봅시다. 여기서 random하게 sampling하여 sample dataset을 구성합니다. sampling을 하는 과정을 boosting round라고 부릅니다. boosting round에서 구성한 sample dataset을 이용하여 하나의 model A를 학습시킵니다. (처음 가지고 있던 train set으로 학습시키는게 아니고 sampling한 것으로 학습시킴) 이 학습시킨 model A를 가지고 있던 training data set 전체에 대해서 validation을 수행합니다. 일부 뽑은 sample set으로 validation을 하는 것이 아니라 전체 train data s..

• format_list_bulleted 정형데이터
• · 2021. 10. 29.
• textsms

정보이론의 기초3 -KL divergence란?-

1. KL divergence에 대하여 The Kullback–Leibler divergence (or information divergence, information gain, or relative entropy)은 두 확률분포를 비교하기 위한 방법이다. 데이터의 진짜 확률분포(true distribution)을 P라 하고 데이터가 따를 것 같다고 생각하는 우리가 예측한 확률분포 모형이 Q라한다면 Q에 대한 P의 The Kullback–Leibler divergence은 $$D _{KL} (P||Q)=E(log \frac{P}{Q} ) _{P} = \sum _{x \subset P} ^{} P(x)log \frac{P(x)}{Q(x)}= \sum _{x \subset P} ^{} P(x)logP(x)-..

• format_list_bulleted 정보이론
• · 2021. 10. 10.
• textsms