텍스트마이닝(Text Mining)과 정보검색(information retrieval)이란?

1. text mining

 

KDD,WSDM,ICWSM,CIKM 등에서 연구 선도

 

빅데이터 분석의 한 종류

 

대규모의 텍스트 데이터로부터, 예를 들면 과거 1년간 몇백만건의 뉴스기사를 모아

 

거기서 나타난 뉴스들의 키워드를 시간순으로 나열하여 (AI트렌드,상품트렌드)트렌드를 분석함

 

혹은 유명인의 이미지 변화를 분석함

 

회사에서 출시한 상품에 관한 리뷰들을 키워드로 분석하여 소비자 반응을 알아봄

 

서로 다른 단어지만 비슷한 의미를 가지는 키워드들을 그룹화한 document clustering, topic modeling

 

sns 빅데이터를 분석하여 신조어 현황을 파악하여 사회 전반적인 현상을 파악, social science에 대한 insight를 얻음

 

예를 들어 sns에 ‘혼밥’이라는 단어가 다수 등장한다는 것은 사회가 전반적으로 혼자 밥먹는 것이 대세라는 것을 보여준다.

 

 

2. information retrieval

 

SIGIR, WSDM,CIKM 등에서 연구 선도

 

정보 검색 기술을 연구하는 분야

 

검색 기술은 이미 고도화되어 꽤 성숙한 상태라서 기술 발전이 상대적으로 느리다

 

그러나 추천시스템(recommendation system)은 굉장히 활발히 연구되고 있는 분야

 

사용자가 마음에 드는 영상을 보았을 때 비슷한 영상을 또 보고싶은데

 

수동으로 키워드를 나열하여 검색하는 것보다 알고리즘으로 추천해주는 것이 사용자 입장에서 편할 것.

 

유튜브,넷플릭스 추천 알고리즘이나 네이버 음악추천, 개인화된 광고상품추천 등

 

상업적인 파급력도 크다.