La teoría formal de la información nació de los artículos publicados en 1948 por el matemático estadounidense Claude E. Shannon. En ellos enunció: la medida de la información más ampliamente usada hoy en día es la entropía. La entropía había venido siendo un concepto central de la termodinámica, la rama de la física que trata del calor. Suele decirse que la entropía termodinámica expresa el desorden de un sistema físico. En 1877 el físico austriaco Ludwig Boltzmann la caracterizó más precisamente como el número de estados microscópicos distintos en los que pueden hallarse las partículas que componen un trozo de materia de forma que siga pareciendo el mismo trozo desde un punto de vista macroscópico. En el caso del aire de una habitación, se contarían las maneras en que podrían distribuirse y moverse las moléculas de gas por la habitación.
Claro que esta conceptualización de Boltzmann va muy de acuerdo con la idea de que la suma de las partes aisladas no da como resultado el todo. Actualmente se acepta que a la suma de las partes debe agregársele los valores de las interacciones de estas partes, las ligas que contienen la Información que determina su comportamiento.
Cuando Shannon buscó una manera de cuantificar la información contenida en un mensaje, la lógica le condujo a una fórmula que tenía el mismo aspecto que la de Boltzmann. La entropía de Shannon de un mensaje es el número dígitos binarios, o bits, necesarios para codificarlo. Aunque no nos ilustra acerca del valor de la información, que depende mucho del contexto; en cuanto medida objetiva de la cantidad de información, la entropía de Shannon ha sido enormemente útil en ciencia y técnica. El diseño de todos los aparatos modernos de comunicación -desde los teléfonos portátiles hasta los módems y los reproductores de discos compactos- se basa en la entropía de Shannon.
La entropía termodinámica y la de Shannon son conceptualmente equivalentes: el número de configuraciones que se cuentan en la entropía de Boltzmann refleja la cantidad de información de Shannon que se necesitaría para realizar cualquier configuración determinada. Tales entropías presentan, sin embargo, dos diferencias principales. En primer lugar, la entropía termodinámica que emplea un químico o un experto en refrigeración se expresa en unidades de energía dividida por temperatura, mientras que la entropía de Shannon aplicada por un ingeniero de telecomunicaciones se da en bits, magnitud que carece de dimensión. Esta diferencia no es más que una cuestión de convenciones.
Claro que esta conceptualización de Boltzmann va muy de acuerdo con la idea de que la suma de las partes aisladas no da como resultado el todo. Actualmente se acepta que a la suma de las partes debe agregársele los valores de las interacciones de estas partes, las ligas que contienen la Información que determina su comportamiento.
Cuando Shannon buscó una manera de cuantificar la información contenida en un mensaje, la lógica le condujo a una fórmula que tenía el mismo aspecto que la de Boltzmann. La entropía de Shannon de un mensaje es el número dígitos binarios, o bits, necesarios para codificarlo. Aunque no nos ilustra acerca del valor de la información, que depende mucho del contexto; en cuanto medida objetiva de la cantidad de información, la entropía de Shannon ha sido enormemente útil en ciencia y técnica. El diseño de todos los aparatos modernos de comunicación -desde los teléfonos portátiles hasta los módems y los reproductores de discos compactos- se basa en la entropía de Shannon.
La entropía termodinámica y la de Shannon son conceptualmente equivalentes: el número de configuraciones que se cuentan en la entropía de Boltzmann refleja la cantidad de información de Shannon que se necesitaría para realizar cualquier configuración determinada. Tales entropías presentan, sin embargo, dos diferencias principales. En primer lugar, la entropía termodinámica que emplea un químico o un experto en refrigeración se expresa en unidades de energía dividida por temperatura, mientras que la entropía de Shannon aplicada por un ingeniero de telecomunicaciones se da en bits, magnitud que carece de dimensión. Esta diferencia no es más que una cuestión de convenciones.
Incluso cuando se les ha reducido a unidades comunes, los valores típicos de las dos entropías difieren mucho en magnitud. Un microchip de silicio que contenga un gigabyte de datos, por ejemplo, posee una entropía de Shannon de unos 1010 bits (un byte son ocho bits), muchísimo menor que la entropía termodinámica del chip, unos 1023 bits a temperatura ambiente. Esta discrepancia se debe a que esas entropías se calculan para grados de libertad diferentes. Un grado de libertad es cualquier cantidad que pueda cambiar, así una coordenada que especifica la localización de una partícula o una componente de su velocidad. La entropía de Shannon del chip sólo atiende al estado global de cada pequeño transistor impreso en el cristal de silicio: está on u off; representa un 0 o un 1 –un único grado de libertad binario--. La entropía termodinámica, por el contrario depende de los estados de todos y cada uno de los miles de millones de átomos (con sus electrones en órbita) que forman cada transistor. A medida que la miniaturización nos acerque más al día en que cada átomo nos almacenará un bit de información, la entropía útil de Shannon del mejor microchip del momento se ira acercando a la entropía termodinámica de su materia. Cuando las dos entropías se calculan para los mismos grados de libertad, resultan iguales.
¿Cuáles son los grados de libertad fundamentales? Después de todo, los átomos se componen de electrones y núcleos, los núcleos de protones y neutrones, y éstos de quarks. Muchos consideran hoy en día que los electrones y los quarks son excitaciones de supercuerdas, de las que piensan que son entes más fundamentales. Pero las vicisitudes de un siglo de revelaciones en la física nos previenen contra el dogmatismo. Podría haber más niveles de estructura en nuestro universo que los que sueña la física actual.
No se puede calcular la capacidad máxima de información de un pedazo de materia, o, de manera equivalente, su verdadera entropía termodinámica, sin conocer la naturaleza de los últimos constituyentes de la materia o del nivel más profundo de la estructura, al que llamaré “nivel X”. (Esta ambigüedad no le causa problemas en el análisis de la termodinámica práctica, por ejemplo, la de un motor de coche, ya que se puede ignorar los quarks del interior del átomo; ellos no cambian de estado bajo las condiciones relativamente moderadas del motor.) Dado el vertiginoso progreso de la miniaturización, juguemos a imaginar un día en que los quarks sirviesen para almacenar información, quizás un bit cada uno.
¿Cuánta información cabría entonces en nuestro cubo de un centímetro de lado? ¿Y cuánta si lográsemos controlar la supercuerda, o niveles más profundos aún ni soñados? Sorprendentemente, los desarrollos de la física de la gravitación en los treinta últimos años han proporcionado algunas respuestas claras a preguntas que parecían inabordables.
En cuanto a la “flecha del tiempo”, que está relacionada con la entropía en el sentido que el aumento de ésta última marca la dirección en la que transcurre el tiempo, y que tiene que ver con la irreversibilidad de los procesos termodinámicos, este autor, como otros, acude a la relatividad de estos fenómenos y a su dependencia de las leyes de la probabilidad. La reversibilidad de los procesos físicos, que existe en las leyes de Newton, no tiene porque no ocurrir en los procesos termodinámicos por muy improbable que esto sea.
Ni que decir tiene que soy muy partidario de las tesis de los autores que venimos mencionando, en primer lugar porque sitúan a la información en ese lugar intermedio entre la consciencia y la materia en el que yo la sitúo y en segundo, porque son muy afines a las ideas de Roger Penrose. Este autor inglés ha dicho en relación con algunos aspectos de la vida, en los que la información juega un papel importante, que probablemente se requiera una extensión de las leyes físicas y químicas como las conocemos hoy.
Ni que decir tiene que soy muy partidario de las tesis de los autores que venimos mencionando, en primer lugar porque sitúan a la información en ese lugar intermedio entre la consciencia y la materia en el que yo la sitúo y en segundo, porque son muy afines a las ideas de Roger Penrose. Este autor inglés ha dicho en relación con algunos aspectos de la vida, en los que la información juega un papel importante, que probablemente se requiera una extensión de las leyes físicas y químicas como las conocemos hoy.
Vuelvo a leer este tema y sigo diciendo que ha sido el más difícil de entender, lo que mencionas es muy cierto, Shannon realizó excelentes aportaciones y tu abarcas algunos de ellos y eso es bueno.
ResponderEliminarPero realmente lo que más me llamo la atención es la grafia que muestras, no lo había visto desde ese punto de vista y lo explicas muy bien, su relación entre la entropia y el tiempo, siendo sinceros fue lo que más entendí, no porque tu blog sea malo sino porque el tema es difícil de comprender.