2022/09/12 1. abstract 쿼리 기반의 transformer은 많은 이미지 영역 task에서 긴 범위의 attention을 구성하는데 큰 잠재력을 보여주었다. 그러나 point cloud data의 압도적인 크기 때문에 LiDAR기반의 3D object detection에서 드물게 고려된다. 이 논문에서 우리는 CenterFormer을 제안한다. center 기반의 transformer network로 3D object detection을 위한 것이다. CenterFormer은 먼저 center heatmap을 사용하여 voxel(volume+pixel) 기반의 표준 point cloud encoder의 위쪽에 대한 center 후보를 선택한다. 그 때 center 후보들의 feature를..
2022/09/01 1. abstract 딥러닝의 강화학습 agent는 sampling을 비효율적으로 하기로 악명높아서 현실세계 문제에 적용하는데 상당히 제한적이다. 최근에 많은 모델 기반의 방법들이 이러한 이슈를 다루기 위해 디자인되어 있고 세상의 모델을 상상하면서 학습하는 방법이 가장 유망한 방법중의 하나이다. 그러나 시뮬레이션된 환경에 가상적으로 제한없이 상호작용하는 것은 매력적으로 보이지만, 세상의 모델은 오랜 시간에 걸쳐서 정확해진다. sequence modeling에서 transformer의 성공에 동기부여를 받아 우리는 IRIS를 소개한다. 이는 데이터 효율적인 agent이고 discrete autoencoder, autoregressive transformer로 구성된 세상의 모델에서 학습..
2022/09/01 1. abstract adaptive gradient algorithm은 수렴을 빠르게 하기 위해 gradient의 1차, 2차 적률을 추정하는 heavy ball acceleration의 moving average idea를 빌려왔다. 그러나 nesterov acceleration은 이론상 heavy ball acceleration보다 더 빠르게 수렴하고 또한 많은 경험적인 사례에서 adaptive gradient 세티에서 훨씬 덜 조사된다? 이 논문에서 우리는 deep neural network의 training 속도를 올리기 위해 ADAptive Nesterov momentum algorithm, 줄여서 Adan을 제안한다. Adan은 먼저 기본 Nesterov acclerati..
2022/08/31 1. abstract 제한된 자원을 대부분 활용하는 것이 NLP 분야를 발전시키지만, 자원에 대해서는 여전히 보수적이다. 그러한 자원은 data, time, storage, energy가 있다. 최근 NLP 연구는 거대함(scaling)으로부터 흥미로운 결과들을 낳고 있지만, 그렇게 해서 개선된 결과를 낳는다는 것은 또한 자원 소비도 증가한다는 의미다. 그러한 관계가 적은 자원으로 비슷한 결과를 내는 efficient method에 대한 연구에 동기 부여를 했다. 이 조사는 NLP에서의 효율성에 대한 방법을 발견하고, 이 분야에서 새로운 연구자들을 안내하며 새로운 방법의 발견에 영감을 주고자 한다. 공부용으로 아주 적절할듯 2. introduction 점점 커지는 deep learni..
2022/08/15 1. abstract long term time series forecasting(LTSF)에 대해 transformer 기반의 해결책들이 최근에 많이 뜨고 있다. 과거 몇년간 성능이 증가하고 있음에도 불구하고 이 주제에서 이런 연구의 유효성에 대해 의문을 품고 있었다. 특히 transformer가 틀림없이 긴 sequence에서 원소들 사이에 의미적인 연관관계를 추출하는데 가장 성공한 solution이라는 것은 분명하다. 그러나 time series 모델링에서 우리는 연속적이면서 순서를 가진 점의 집합에서 시간적인 관계를 추출해야한다. positional encoding과 transformer의 부분 수열에 token을 쓰는 것이 어느정도 순서적인 정보를 보유하는데 도움을 주지만 순..
2022/08/26 1.abstract 임의의 모양의 text를 detection하는 것은 상당히 다양한 크기와 비율 측면, 임의의 방향이나 모양, 부정확한 주석 등 때문에 어려운 문제이다. pixel level의 prediction의 확장성과 segmentation 기반의 방법은 다양한 크기의 텍스트에 적용할 수 있고, 그래서 최근에 상당한 관심을 끌고 있다. 그러나 정확한 pixel-level의 텍스트 annotation이 상당하지만 현존하는 scene text detection을 위한 데이터셋이 거친 경계가 있는 annotation만을 제공하고 있다 그 결과로 수많은 잘못 분류된 text pixel들이나 annotation내에서 배경 pixel들이 항상 존재하고 segmentation기반의 text..
딥러닝/머신러닝, 통계학, IT프로그래밍, 알고리즘을 좋아하는 사람 https://github.com/yundaehyuck
