Agreement indexes are widely used in Computational Linguistics and NLP to assess the reliability of annotation tasks. The paper aims at reviewing the literature on the topic, illustrating chance-corrected coefficients and their interpretation.
I coefficienti di Inter-Annotator Agreement sono ampiamente utilizzati in Linguistica Computazionale e NLP per valutare il livello di “affidabilità” delle annotazioni linguistiche. L’articolo propone una breve revisione della letteratura scientifica sull’argomento.
Inter-annotator agreement in linguistica: una rassegna critica / Gagliardi, Gloria*. - ELETTRONICO. - 2253:(2018), pp. 206-212. (Intervento presentato al convegno 5th Italian Conference on Computational Linguistics, CLiC-it 2018 tenutosi a Torino nel 10-12 dicembre 2018).
Inter-annotator agreement in linguistica: una rassegna critica
Gagliardi, Gloria
2018
Abstract
Agreement indexes are widely used in Computational Linguistics and NLP to assess the reliability of annotation tasks. The paper aims at reviewing the literature on the topic, illustrating chance-corrected coefficients and their interpretation.I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.
