The entropy of an ergodic source is the limit of properly rescaled oneblock entropies of sources obtained applying successive non-sequential recursive pair substitutions (NSRPS). In this paper we prove that the cross-entropy and the Kullback–Leibler divergence can be obtained in a similar way.

Relative entropy via non-sequential recursive pair substitution / D. Benedetto; E. Caglioti; G. Cristadoro; M. Degli Esposti. - In: JOURNAL OF STATISTICAL MECHANICS: THEORY AND EXPERIMENT. - ISSN 1742-5468. - ELETTRONICO. - 2010:(2010), pp. 1-14. [10.1088/1742-5468/2010/09/P09010]

Relative entropy via non-sequential recursive pair substitution

CRISTADORO, GIAMPAOLO;DEGLI ESPOSTI, MIRKO
2010

Abstract

The entropy of an ergodic source is the limit of properly rescaled oneblock entropies of sources obtained applying successive non-sequential recursive pair substitutions (NSRPS). In this paper we prove that the cross-entropy and the Kullback–Leibler divergence can be obtained in a similar way.
2010
Relative entropy via non-sequential recursive pair substitution / D. Benedetto; E. Caglioti; G. Cristadoro; M. Degli Esposti. - In: JOURNAL OF STATISTICAL MECHANICS: THEORY AND EXPERIMENT. - ISSN 1742-5468. - ELETTRONICO. - 2010:(2010), pp. 1-14. [10.1088/1742-5468/2010/09/P09010]
D. Benedetto; E. Caglioti; G. Cristadoro; M. Degli Esposti
File in questo prodotto:
Eventuali allegati, non sono esposti

I documenti in IRIS sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/11585/91572
 Attenzione

Attenzione! I dati visualizzati non sono stati sottoposti a validazione da parte dell'ateneo

Citazioni
  • ???jsp.display-item.citation.pmc??? ND
  • Scopus 1
  • ???jsp.display-item.citation.isi??? 1
social impact