En el mbito de la teora de la informacin la entropa, tambin llamada entropa de la informacin y entropa de Shannon (en honor a Claude E.

Shannon), mide la incertidumbre de una fuente de informacin. La entropa tambin se puede considerar como la cantidad de informacin promedio que contienen los smbolos usados. Los smbolos con menor probabilidad son los que aportan mayor informacin; por ejemplo, si se considera como sistema de smbolos a las palabras en un texto, palabras frecuentes como "que", "el", "a" aportan poca informacin, mientras que palabras menos frecuentes como "corren", "nio", "perro" aportan ms informacin. Si de un texto dado borramos un "que", seguramente no afectar a la comprensin y se sobreentender, no siendo as si borramos la palabra "nio" del mismo texto original. Cuando todos los smbolos son igualmente probables (distribucin de probabilidad plana), todos aportan informacin relevante y la entropa es mxima. El concepto de entropa es usado en termodinmica, mecnica estadstica y teora de la informacin. En todos los casos la entropa se concibe como una "medida del desorden" o la "peculiaridad de ciertas combinaciones". La entrop a puede ser considerada como una medida de la incertidumbre y de la informacin necesarias para, en cualquier proceso, poder acotar, reducir o eliminar la incertidumbre. Resulta que el concepto de informacin y el de entropa estn ampliamente relacionados entre s, aunque se necesitaron aos de desarrollo de la mecnica estadstica y de la teora de la informacin antes de que esto fuera percibido.
La entropa de la teora de la informacin est estrechamente relacionada con la entropa termodinmica. En la termodinmica se estudia un sistema de partculas cuyos estados X (usualmente posicin y velocidad) tienen una cierta distribucin de probabilidad, pudiendo ocupar varios microestados posibles (equivalentes a los smbolos en la teora de la informacin). La entropa termodinmica es igual a la entropa de la teora de la informacin de esa distribucin (medida usando el

logaritmo neperiano) multiplicada por la constante de Boltzmann k, la cual permite pasar de nats (unidad semejante al bit) a J/K. Cuando todos los microestados son igualmente probables, la entropa termodinmica toma la forma k log(N). En un sistema aislado, la interaccin entre las partculas tiende a aumentar su dispersin, afectando sus posiciones y sus velocidades, lo que causa que la entropa de la distribucin aumente con el tiempo hasta llegar a un cierto mximo (cuando el mismo sistema es lo ms homogneo y desorganizado posible); lo que es denominado segunda ley de la termodinmica. La diferencia entre la cantidad de entropa que tiene un sistema y el mximo que puede llegar a tener se denomina neguentropa, y representa la cantidad de organizacin interna que tiene el sistema. A partir de esta ltima se puede definir la energa libre de Gibbs, la que indica la energa que puede liberar el sistema al aumentar la entropa hasta su mximo y puede ser transformada en trabajo (energa mecnica til) usando una mquina ideal de Carnot. Cuando un sistema recibe un flujo de calor, las velocidades de las partculas aumentan, lo que dispersa la distribucin y hace aumentar la entropa. As, el flujo de calor produce un flujo de entropa en la misma direccin.