Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models

1. abstract

 

multilingual language model이 주류 언어의 영향력으로 비주류 언어의 NLP 성능을 개선시킬 수 있는 반면에 그들은 또한 모든 언어의 평균적인 성능을 감소시켰다.

 

이를 "multilinguality의 저주"라고 부른다.

 

여기 우리는 multilingual model의 또 다른 문제로 "주류 언어의 문법적 구조가 비주류 언어에 출혈을 일으키는(안좋은 영향을 주어서) 현상으로 grammatical structure bias"를 보여줄 것이다.

 

우리는 스페인어나 그리스어 단일 모델의 유창함 대비, multilingual model의 유창함을 비교하는 새로운 방법에 숨은 이러한 bias를 보여줄 것이다.

 

2가지 주의깊게 선택된 변화하는 문법적 구조로, 스페인어의 선택적인 pronoun drop, 그리스어의 선택적인 subject-verb ordering에 대한 그들의 선호도를 테스트할 것이다.

 

우리는 multilingual BERT가 우리의 monolingual model에 비해, 영어같은 세팅(명시적인 pronoun, subject-verb-object ordering)에 bias 된다는 것을 발견했다.

 

우리의 케이스 스터디에서 주류언어가 multilingual model의 성능에 영향을 미치고 편향될 수 있는 어떤 세밀한 방법을 밝히고 언어적으로 인식 유창성을 평가하는데 장려했으면 좋겠다.

 

https://paperswithcode.com/paper/multilingual-bert-has-an-accent-evaluating

Papers with Code - Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models