TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second

https://paperswithcode.com/paper/meta-learning-a-real-time-tabular-automl Papers with Code - TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second Implemented in 2 code libraries. paperswithcode.com 1. abstract 우리는 작은 tabular dataset을 1초보다 적은 시간으로 지도학습 분류를 수행할 수 있고 hyperparameter tuning도 필요없으며 SOTA classification 방법과 견줄만한 TabPFN을 제안한다 TabPFN은 세트로 training, test samp..

• format_list_bulleted AI trend research
• · 2022. 10. 28.
• textsms

Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models

1. abstract multilingual language model이 주류 언어의 영향력으로 비주류 언어의 NLP 성능을 개선시킬 수 있는 반면에 그들은 또한 모든 언어의 평균적인 성능을 감소시켰다. 이를 "multilinguality의 저주"라고 부른다. 여기 우리는 multilingual model의 또 다른 문제로 "주류 언어의 문법적 구조가 비주류 언어에 출혈을 일으키는(안좋은 영향을 주어서) 현상으로 grammatical structure bias"를 보여줄 것이다. 우리는 스페인어나 그리스어 단일 모델의 유창함 대비, multilingual model의 유창함을 비교하는 새로운 방법에 숨은 이러한 bias를 보여줄 것이다. 2가지 주의깊게 선택된 변화하는 문법적 구조로, 스페인어의 선택적인..

• format_list_bulleted AI trend research
• · 2022. 10. 18.
• textsms

Mega: Moving Average Equipped Gated Attention

1. abstract transformer attention에서 weak inductive bias와 quadratic 계산복잡도를 포함해서, 디자인을 선택하는 것은 long sequence를 모델링할 때 제한 사항으로 작용한다. 이 논문에서 우리는 MEGA를 제안한다. 단순하며 이론적으로 근거가 있고, 단일한 gated attention에 exponential moving average를 사용하여, 위치를 인식(position-aware)하는 local dependency의 inductive bias를 위치를 무시하는(position-agnostic) attention 메커니즘과 통합시킨다. 우리는 게다가 선형 시공간 복잡도를 가졌지만, 오직 최소의 loss를 만들어내서 효율적으로 전체 sequence..

• format_list_bulleted AI trend research
• · 2022. 10. 7.
• textsms

Ask Me Anything: A simple strategy for prompting language models

1. abstract 매우 큰 언어 모델은 자연어 지시사항(natural language prompt)이 단순히 주어지면, 새로운 task에 대해 transfer을 매우 잘하며, 이는 추가적인 training없이도 task를 얼마나 잘 수행하는지를 입증한다. prompting은 약간만 바꾼다고 해도 모델의 예측에 큰 변형을 일으킬 수 있기 때문에 다루기 힘든 과정이고, 그러므로 task에 대해 공들여서 완벽한 prompt를 디자인 하는 것은 상당한 노력이 든다. prompting에 관한 노력의 정도를 완화하기 위해 우리는 대신 다양하면서 효율적인, 그러나 완벽하지 않은 prompt를 통합시키는 것이 고품질의 prompting 전략을 만들어내는지 의문을 가졌다. 우리의 관찰들이 우리가 제안하는 prompt..

• format_list_bulleted AI trend research
• · 2022. 10. 7.
• textsms

알파고 3종 논문 서문 읽어보기

1. Mastering the game of Go with deep neural networks and tree search "트리 탐색과 딥러닝으로 바둑을 마스터하다" 바둑은 거대한 탐색 공간과 바둑판의 이동이나, 국면을 판단하기 어렵기 때문에 인공지능에게는 가장 어려운 과제로 여겨져왔다. 여기서 우리는 value network를 사용하여 바둑의 국면을 판단하고, policy network를 이용해 다음 수를 선택하는 새로운 접근법을 소개한다. 이러한 deep neural network는 인간 전문가 게임에 의한 지도학습의 새로운 조합에 의해 학습되고 스스로 대국한 게임으로 배우는 강화학습에 의해 학습된다. 어떠한 역추적 없이(lookahead search) 신경망은 자기 스스로의 수천번의 random..

• format_list_bulleted 고전이 된 AI 논문
• · 2022. 10. 7.
• textsms

Efficient Few-Shot Learning Without Prompts

2022/09/22 1. abstract 최근의 few-shot method, 예를 들어 parameter-efficient fine tuning(PEFT)와 pattern exploiting training(PET)가 label이 부족한 세팅에서 놀랄만한 결과를 보여주었다. 그러나 그들은 수동적으로 만들어진 prompts에 의한 높은 변동성과 높은 성능을 얻기 위해 수십억개의 parameter을 가진 language model을 요구하기 때문에 employ하기가 어렵다 이러한 단점을 다루기 위해 우리는 SETFIT(Sentence Transformer Fine-Tuning)을 제안한다. 이것은 효과적이고 prompt가 필요없는 프레임워크로 sentence transformer의 few-shot fine..

• format_list_bulleted AI trend research
• · 2022. 10. 7.
• textsms