Il ruolo dei connettivi nella comprensione del significato di frasi in modelli linguistici neurali

Questo contributo presenta un corpus di frasi italiane costruito per studiare l’effetto dei connettivi nella comprensione da parte di modelli linguistici neurali (Neural Language Models, NLM) a confronto con i giudizi raccolti da parlanti nativi di italiano. Il corpus si articola in tre sezioni, che corrispondono a compiti linguistici diversi, organizzati in coppie di frasi o frasi singole: valutazione dell’accettabilità, cloze test e riconoscimento dell’inferenza testuale. Le prime due sezioni sono state sottoposte all’annotazione dei parlanti, la quale ha confermato la validità della risorsa, e in seguito somministrate a due NLM preaddestrati sull’italiano. I risultati degli esperimenti computazionali evidenziano che i modelli riconoscono con facilità quando il connettivo influisce negativamente sulla grammaticalità della frase, assegnando probabilità minore alle frasi in cui questo avviene. Inoltre, nella maggioranza dei casi del compito di cloze test, i sistemi predicono come completamento più probabile un connettivo corretto. Tuttavia, i NLM mostrano delle difficoltà nel riconoscere la non accettabilità di frasi sintatticamente ben formate ma implausibili e dal confronto con i giudizi degli annotatori emerge come non sembrino basarsi sulle stesse caratteristiche linguistiche per decretare l’accettabilità di una frase.