backpropagation의 개괄적인 설명

손실함수를 가중치나 절편에 대해 최소화시키는 방법 L이 loss이고 W는 가중치 b는 절편 손실함수를 가중치나 절편에 대해 최소화시키는 방법 그런데 미분값을 계산하는 과정에서 최상층에서 최하층으로, 역으로 미분 계산이 진행된다해서 Backpropagation이라 부른다. 합성함수 미분법에 의한 연쇄법칙이 기반 예제) 2층신경망의 역전파 알고리즘 방법은? 비슷한 방식으로 도 구할 수 있다. 확률적 경사하강법 등을 이용하여 손실함수 L을 최소화시키는 방향으로 가중치 W와 절편 b을 계속 갱신해나감

• format_list_bulleted 딥러닝 기초
• · 2022. 1. 26.
• textsms

bag of word - 왜 단어는 숫자 벡터로 표현해야할까? -

1. 왜 단어는 숫자 벡터로 표현해야할까 대부분의 딥러닝 기술들이 수치형태의 입출력을 다룬다. 그래서 언어 그 자체를 수치로 변환하지 않고서는 딥러닝 모델에 넣을 수가 없다 2. word embedding 단어를 벡터공간 상의 한 점으로 나타내는 과정 자연어 처리에 이런 딥러닝 기술들을 적용하기 위해서는 text를 단어 단위로 분리하고 각 단어를 특정 차원으로 이루어진 수치 벡터로 표현하는 embedding 과정을 거친다. 3. bag of words 딥러닝 이전에 자연어 처리에 적용되던 단어를 숫자로 나타내는 간단한 기술 1. 주어진 언어 데이터에서 유일한 단어를 모아 사전으로 구축 ‘john really really loves this movie’ ‘jane really likes this song’..

• format_list_bulleted NLP
• · 2022. 1. 25.
• textsms

텍스트마이닝(Text Mining)과 정보검색(information retrieval)이란?

1. text mining KDD,WSDM,ICWSM,CIKM 등에서 연구 선도 빅데이터 분석의 한 종류 대규모의 텍스트 데이터로부터, 예를 들면 과거 1년간 몇백만건의 뉴스기사를 모아 거기서 나타난 뉴스들의 키워드를 시간순으로 나열하여 (AI트렌드,상품트렌드)트렌드를 분석함 혹은 유명인의 이미지 변화를 분석함 회사에서 출시한 상품에 관한 리뷰들을 키워드로 분석하여 소비자 반응을 알아봄 서로 다른 단어지만 비슷한 의미를 가지는 키워드들을 그룹화한 document clustering, topic modeling sns 빅데이터를 분석하여 신조어 현황을 파악하여 사회 전반적인 현상을 파악, social science에 대한 insight를 얻음 예를 들어 sns에 ‘혼밥’이라는 단어가 다수 등장한다는 것은 ..

• format_list_bulleted NLP
• · 2022. 1. 25.
• textsms

Computer Vision을 어떻게 구현할까?

1. computer vision을 어떻게 구현할까 앞에서 설명한 아이디어를 바탕으로 computer vision을 구현하는 것은 machine visual perception을 구현하는 것 그 입력으로 실제 세상의 한 모습인 이미지나 비디오같은 visual data를 주는 것이다. visual perception의 종류는? 색깔 인지, 움직임 인지, 사회적 감각 인지 등등 많다 사람의 시각능력을 biological하게 이해하고 이것을 어떤 식으로 구현할지 알고리즘을 연구하는 것도 포함한다 2. 우리의 시각능력은 사실 불완전하다 우리 시각은 단순히 시력이 나쁜 것 말고도 평소에 느끼기 어려운 치명적인 불완전성이 있을 수 있다 이렇게 거꾸로 선 사람을 보면 못생겨보여도 큰 위화감이 안든다 근데 똑바로 세우..

• format_list_bulleted Computer Vision
• · 2022. 1. 23.
• textsms

NLP란 무엇인가?

1. natural language problem 컴퓨터가 주어진 인간의 단어나 문장을 이해하는 understanding과 적절한 자연어를 생성하는 generation으로 나뉜다. 컴퓨터 비전(CV) 분야와 더불어 딥러닝의 발전과 함께 인공지능이 가장 활발하게 적용된 분야중 하나 현재까지 주어진 단어나 문장, 문단을 보고 다음 단어를 예측하는 language modeling 주어진 문장을 이해하여 적절한 번역문을 차례대로 생성하는 machine translation 주어진 지문을 이해하고 그에 대한 질문에 적절한 대답을 제시하는 question answering 다양한 카테고리의 여러 문서를 적절한 카테고리로 분류하는 document classification 인간의 물음을 이해하고 적절한 대답을 생성하..

• format_list_bulleted NLP
• · 2022. 1. 20.
• textsms

그래프(graph)란 무엇인가?

1. 그래프(graph) 정점(vertex) 집합과 간선(link) 집합으로 이루어진 수학적 구조 네트워크(network)라고도 부른다. 정점은 node라고도하고 간선(link)은 edge라고도 한다. 두개의 정점을 연결하는 선이 간선(link) 정점 쌍이 반드시 간선으로 직접 연결될 필요는 없다. 1,2,3,4,5,6 숫자 점이 정점(node) 각 node가 연결되는 선들이 간선(link) 이들의 모임이 그래프(graph), 네트워크(network) 특히 3번과 6번은 직접 연결되어있지 않다 2. 그래프의 중요성 2-1) 복잡계(complex system) A complex system is a system composed of many components which may interact with e..

• format_list_bulleted Graph
• · 2022. 1. 19.
• textsms