Charles Seife - Descodificando el universo

EL LOGARITMO

El logaritmo es lo opuesto a la exponenciación, al igual que la división es lo opuesto a la multiplicación.

Para deshacer una multiplicación por 6, dividimos por 6: 5 × 6 = 30, y 30 ÷ 6 = 5.

Para deshacer una exponenciación en que 6 tiene un cierto poder, tomamos el logaritmo de base 6. Así: 65 = 7776, y log6 7776 = 5, en el que log6 representa el logaritmo de base 6.

En muy pocas ocasiones veremos la base escrita explícitamente, lo cual puede ser una fuente de confusión porque log puede tener distintos significados en contextos diferentes. La mayoría de las veces, log quiere decir logaritmo de base 10. Así pues, generalmente log 1000 = 3 puesto que log10 103 = 3.

No obstante, esto no es una convención universal. Muchos científicos de la computación piensan en términos de números binarios y para ellos es más útil tener log con el significado de log base 2. Para estos científicos, log 1000 no es log10 1000, sino log2 1000, lo cual es un poco menos de 10. Y para muchos matemáticos, es más natural pensar en términos de un número entre 2 y 3 conocido como e; para ellos, log 1000 es, en realidad, loge 1000, lo que da un resultado aproximado de 7. (Los que no son matemáticos utilizan a menudo el símbolo «ln», que significa «logaritmo natural» para representar «loge» pero esto no es universal entre todos los matemáticos).

Tal vez pensemos que esto puede provocar muchos problemas pero, de hecho, no representa una gran diferencia sobre cuál es la base del logaritmo. Todo está tan relacionado que, en muchas ecuaciones, la base es lo menos ambiguo.

Por ejemplo, en la ecuación de Boltzmann, S = k log W, es indiferente que el logaritmo sea de base 2, base 10, base e, o base 42. La elección de la base queda anulada por k. Imaginemos, a modo de ilustración, que la ecuación siguiente se refiere al logaritmo de base 10.

Así ocurre que:

S = k log W = k (log10 42) (log42W) = k’ log42W

donde k’ es nuestra nueva constante —k multiplicada por log10 42. La ecuación es exactamente la misma en base 42 como en base 10: S = k’ log W aunque, en esta ocasión, log se refiere a log42 en lugar de a log10. Podemos ignorar por completo la base y la ecuación tendrá una apariencia exactamente idéntica.

Por este motivo, he utilizado el símbolo «log» para hacer referencia al logaritmo sin especificar la base. En la ecuación de Boltzmann, generalmente se suele hacer referencia al log de base 10 o al log de base e, en función del valor que tenga la constante usada. En la entropía de Shannon, se trata del log de base 2; y más adelante, en este mismo libro, cuando hablo de la anulación, la energía, la entropía y la computación, me refiero al log de base e.

Como las diferencias en las ecuaciones en cuestión es un asunto puramente estético, por motivos de espacio he omitido sistemáticamente la base cuando utilizo el logaritmo.

ENTROPÍA E INFORMACIÓN

En este libro, la ecuación de la entropía (simbolizada mediante la letra S) se ha tratado de tres formas distintas que, aunque difieren entre sí ligeramente, son prácticamente iguales.

La primera ecuación de la entropía es la de Boltzmann: S = k log W, donde W es el número de veces que el sistema puede tener el estado cuya entropía estamos calculando.

La segunda ecuación de la entropía es la que derivo de un sistema específico —lanzamiento de canicas en una caja—, el cual es S = k log p, donde p es la probabilidad de una determinada configuración de canicas en la caja. De hecho, sostengo que S es una función de k log p. Lo veremos enseguida.

La tercera ecuación de la entropía es la de Shannon, que no he tratado explícitamente en el texto principal. Para el caso que nos ocupa, S = Σpi log pi, donde cada p representa la probabilidad de cada mensaje concreto en el conjunto de mensajes posibles que una fuente puede enviarnos, y la letra griega sigma Σ, representa la suma de todos estos términos. (Por cierto, la pi puede representar los posibles símbolos más que los posibles mensajes; el resultado es el mismo, pero la matemática para este ejemplo sería un poco más complicada ya que requeriría el uso de probabilidades condicionales, lo cual implica una cadena de argumento mayor).

Tomemos las tres ecuaciones para analizar el sistema. Digamos, por ejemplo, que alguien lanza cuatro canicas idénticas en una caja y se va; hay la misma oportunidad de que cada canica caiga en la parte izquierda que en la derecha. Más tarde, si nos aproximamos a la caja y miramos dentro, vemos que dos canicas están en la izquierda y dos en la derecha. ¿Cuál es la entropía del sistema?

De acuerdo con la ecuación de Boltzmann, S = k log W, W representa el número de veces que podemos obtener el estado en cuestión, concretamente, dos canicas en cada parte de la caja. De hecho, hay seis formas (1 y 2 acaban en la derecha, o son 1 y 3 las que lo hacen, o 1 y 3 o 2 y 3, o 2 y 4, o 3 y 4). Por tanto, la entropía, S = k log 6.

De acuerdo con la derivación de las canicas en la caja, S es una función de k log p. Más concretamente, S = k log p + k log N, donde N es el número de veces en el que las canicas distinguibles pueden colocarse en la caja. En este caso específico, N es 16. (El término k log N sirve simplemente para mantener la entropía y evitar que sea negativa; suprimirlo implicaría muy poca diferencia).

La probabilidad de tener dos canicas en cada mitad de la caja es de 3/8, tal como mostraba la tabla del capítulo 2, de manera que S = k log (3/8) + k log 16. Pero 3/8 es lo mismo que 6/16, y log 6/16 es lo mismo que log 6 − log 16. De este modo, tendremos que la formulación de las canicas de la caja es S = k log 6 − k log 16, lo cual es, lógicamente, k log 6.

La ecuación de Shannon está relacionada con los mensajes más que con las canicas de las cajas, pero nosotros podemos convertir fácilmente lo uno en lo otro. Digamos que 1 representa una canica que cae en la mitad derecha de la caja y que 0 representa una canica que hace lo propio en la mitad izquierda. Cuando lanzamos las canicas al interior de la caja, podemos escribir el resultado en un mensaje de bits: 1100 significa que en una secuencia de una tirada de cuatro canicas en la caja, las canicas 1 y 2 aterrizarán en la parte derecha y las canicas 3 y 4 lo harán en la izquierda. Si miramos la caja, veremos dos canicas en cada mitad, con lo cual sabemos que el sistema ha tenido que recibir uno de los siguientes seis mensajes: 1100, 1010, 1001, 0110, 0101, 0011.

Al observar el interior de la caja, no sabemos cuál de los mensajes ha llegado; no conocemos cuáles son las canicas concretas que están en la derecha y cuáles las que están en la izquierda porque todas parecen iguales. Pero sí sabemos que uno de estos seis mensajes ha sido recibido. A causa del modo en que se ha diseñado el sistema —un 50% de posibilidades de que la canica caiga en la izquierda o en la derecha—, tenemos la seguridad de que cada uno de estos mensajes es igual de probable. Así, dado nuestro conocimiento del sistema, vemos que cada mensaje tiene una probabilidad de 1/6. Esto significa que la expresión −Σ pi log pi tiene seis términos, uno para cada mensaje, y cada pi, cada probabilidad en la expresión, es 1/6. Por tanto,

S = −Σ pi log pi

= −[(1/6) log(1/6) + (1/6) log(1/6) + (1/6) log(1/6)

+ (1/6) log(1/6) + (1/6) log(1/6) + (1/6) log(1/6)]

= −6 [(1/6) log(1/6)]

= −log(1/6).

Pero −log(1/6) es lo mismo que log 6, con lo cual