Dealing with uncertainty in automated test assembly problems

The recent development of computer technologies enabled test institutes to improve the test assembly process by automated test assembly (ATA). A general framework for ATA consists in adopting mixed-integer programming models. These models are intended to be solved by common commercial solvers which, notwithstanding their success in handling most of the known problems, are not always able to find solutions for highly constrained and large-sized ATA problems. Moreover, all parameters are assumed to be fixed and known, a hypothesis that is not true for estimates of item response theory (IRT) parameters. In this work, we propose a chance-constrained model for dealing with uncertainty in ATA without increasing the complexity of the model.

Il recente sviluppo delle tecnologie informatiche ha consentito agli istituti di valutazione di migliorare il processo di assemblaggio dei test tramite l’automated test assembly (ATA). Una struttura generale per ATA consiste nell’adottare modelli di programmazione intera-mista. Questi modelli sono pensati per essere risolti dasolver commerciali che, nonostante il loro successo nella gestione della maggiorparte dei problemi noti, non sono sempre in grado di risolvere problemi di ATA molto vincolati o di grandi dimensioni. Inoltre, tutti i parametri sono considerati fissi e noti, un’ipotesi che non vale per le stime dei parametri di item response theory (IRT). In questo lavoro proponiamo un modello chance-constrained per affrontarel’incertezza nei modelli di ATA senza aumentarne la complessità