entropie de l'information

NOMBRES - Curiosités, théorie et usages Accueil DicoNombre Rubriques Nouveautés Édition du: 15/02/2019 Orientation générale DicoMot Math Atlas Références M'écrire Barre de recherche DicoCulture Index alphabétique
	Chaos
Débutants Général	Chaos & complexité				Glossaire Général
INDEX Chaos	Complexité	Chaos	Entropie	Catastrophes
		Sommaire de cette page >>> Entropie en Physique >>> Entropie de l'information: méthode >>> Valeurs >>> Suite >>> Contingence et déterminisme

Entropie en physique

Grandeur caractérisant le désordre d'un système. L'entropie ne peut qu'augmenter dans une transformation irréversible (cas d'un système isolé).

Unité: joule par kelvin (J.K^-1)

L'entropie d'un système est une fonction d'état S, de différentielle: dS = dQ / T avec dQ la quantité de chaleur reçue de façon réversible par un système à la température T.

Source Futura-Sciences

Concept thermodynamique subtil, l'entropie suscite encore moult débats et interprétations parmi les physiciens. Information inaccessible pour les uns, mesure du désordre ou de l'imprédictibilité pour les autres... mais tous s'entendent sur une chose : elle ne fait qu'augmenter. Lorsqu'on l'évalue à l'échelle du cosmos, notre ignorance de sources d'entropie potentielles interdit de prédire l'avenir de l'Univers. Quand on l'étudie dans les monstruosités cosmiques que sont les trous noirs, des paradoxes apparaissent. Elle explique aussi la dynamique des galaxies. Bref, l'entropie est partout - et peut-être même à l'origine de la gravitation, pensent certains. Un concept subtil... et majeur.

Source La Recherche – N° 544 – Février 2019

Voir Thermodynamique

ENTROPIE DE L'INFORMATION

Comment caractériser le niveau d'ordre ou de désordre dans un message. Lors d'une transmission de message, faut-il tout envoyer, ou peut-on espérer compresser le message.

Entropie de l'information – MÉTHODE

Message

Un message formé de 0 et de 1 de longueur N. Tel quel, on peut le transmettre: il comportera N bits.

Une transmission plus astucieuse (éconmique): on compte la quantité de 1 et celle de 0. Chacune de ces quantités est transmise. Il faut au plus 2 fois log N bits.

Encore mieux: si on note:

N₀ la quantité de 0 et

N₁ la quantité de 1.

Il y a différents types de messages possibles, mais ils sont tout de même en quantité limitée. C'est, en fait:

A = (N₀ + N₁) ! / N₀! . N₁ !

Lors de la transmission, il suffit de donner le rang du message à transmettre: c'est log A.

Formule de l'entropie

En effectuant les calculs, on trouve:

Définition introduite par Shannon en 1948. En introduisant les fréquences, la formule devient:

VALEURS
p₀	p₁	E	*Commentaires*
1/2	1/2	1	Autant de 0 que de 1. Il faut transmettre tout le message. Il n'y a aucun avantage à faire autrement. Le message ne peut pas être condensé. Le message est dit *contingent.*
1/3	2/3	0,918…	On gagne 8%.
1	0	0	Le message ne comporte que des 0. Il suffit de le dire, sans transmettre la suite des zéros.
		1 ?	Très rare. Il est improbable de ne pas trouver une certaine régularité quelle part. Une certaine suite de 0, un motif particulier. Un certain niveau de codage est possible. L'entropie est peut-être voisine de 1, mais légèrement inférieure à 1.

SUITE contingente

Une suite est dite contingente lorsqu'on ne peut pas la décrire plus simplement qu'en donnant tous ses termes.

Une suite est contingente si son entropie se rapproche de 1 lorsqu'on considère de plus en plus de termes dans la suite.

C'est une suite pour laquelle il est impossible de formuler une règle donnant certaines séquences de ses termes.

Suite dite aussi " au sens de Kolmogorov et Martin-Löf "

On aurait pu dire aléatoire au lieu de contingente

Aléatoire laisserait entendre un effet du hasard avec une certaine probabilité.

Contingente veut simplement dire qu'on ne sait pas deviner la suite des termes à partir des précédents.

Propriété extraordinaire:

Les suites contingentes sont également aléatoires.

CONTINGENCE et DÉTERMINISME
*Suites contingentes*	*Suites déterministes*
Aucune règle. Aucune prévision possible pour les termes suivants. Contingentes, mais aussi aléatoires. Prévisions statistiques possibles.	Résultent d'un procédé de calcul par itérations. Les termes suivants sont déduits des termes précédents. Elles peuvent sembler aléatoires tant que l'on ne connaît pas la règle de construction.
PROBABILITÉS	CHAOS DÉTERMINISTE
Évidemment tous les modèles intermédiaires sont possibles. L'un, avec un peu plus de valeurs statistiques. L'autre, un peu plus de chaotique.