Think Twice Before You Answer: Mitigating Biases of Question Answering Models

Mgr. Lukáš Mikula

Master's thesis

Abstract:

Veľké jazykové modely (z angl. Large Language Models) založené na architektúre Transformerov predstavujú najlepšie modely pre vačšinu problémov spracovania prirodzeného jazyka (z angl. Natural Language Modeling). Napriek tomu majú tieto modely tendenciu učiť sa skreslenia a systematické chyby z trénovacích datasetov. Toto učenie im síce môže pomôcť na datasetoch s rovnakou distribúciou, lenže znižuje ich presnosť pri dátach z rozdielnej distribúcie. Táto práca sa zameriava na získanie robustnejšieho BERT modelu pre problém extraktívneho hľadania odpovedí (z angl. Question Answering). V našej práci skúmame, detekujeme a zmierňujeme systematické chyby, ktoré sú prítomné v datasete SQuAD a to tak, že upravujeme trénovací dataset, aby exponoval tieto chyby menej počas fázy dotrénovania (z angl. fine-tuning) modelu. Vďaka zmierňovaniu týchto chýb očakávame, že sa model bude učiť zložitejšie štruktúry, čo vo výsledku zlepší jeho robustnosť. Prezentujeme a evaluujeme sedem heuristík pre detekciu systematických chýb. Trénovacie dáta upravujeme pre tie z nich, ktoré identifikujeme ako štatisticky významné. Ukazujeme, že náš prístup vedie ku zmierneniu učenia sa týchto chýb a taktiež ku robustnejšiemu modelu.

Abstract:

Large Language Models based on Transformer architecture hold state-of-the-art in a majority of Natural Language Modeling tasks. Nevertheless, these models tend to learn biases from training dataset, which help them on the training dataset, but hurt their out-of-domain accuracy as a result. This work focuses on obtaining more robust BERT models for the Extractive Question Answering task. We explore, detect and then mitigate biases present in the SQuAD by adjusting the training dataset to expose these biases less during model fine-tuning. By mitigating the biases, we expect the model to learn more complex structures, improving the model's robustness. We create and evaluate seven heuristics for the bias detection, and we adjust the training dataset by resampling the biases that we identify as significant. We show that our approach leads to the mitigation of learning such biases and subsequently, to more robust Question Answering models.

Keywords

BERT, SQuAD, biases, Extractive Question Answering, robustness, super-sampling, fine-tuning, Transformers

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 22. 6. 2022
• Supervisor: Mgr. Michal Štefánik
• Reader: RNDr. Vít Suchomel, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Big data