Documentos (I): “A Mathematical Theory of Communication” de Shannon
Están abiertos a un examen riguroso y con criterio cientÃfico, no sólo de los últimos avances, sean estos en sus vertientes más estrictamente cientÃficas o las más enfocadas al lado comercial de los últimos descubrimientos, sino también al repaso de las eternas cuestiones a las cuales todos los que movidos por la Inteligencia Artificial siempre nos enfrentamos: qué es la inteligencia, cuáles son sus lÃmites, cabe diferencia entre inteligencia humana y artificial, ¿y la consciencia? ¿es trasunto necesario de la actividad inteligente?
Estos temas, entre otros, muchos que son siempre nuestras eternas cuestiones abiertas, que, paradójica y probablemente, dada nuestra condición de seres inteligentes, más que frenar el avance en la disciplina, la continúa reflexión sobre ellos facilita cada dÃa nuevos avances en la materia.
Además, es un privilegio poder contribuir en un blog como del que hablamos, en cuanto las disponibilidades de tiempo lo permiten. Privilegio, por otra parte, al cual se os invita mediante las participaciones y contribuciones que estiméis oportunas.
Por todo lo anterior, reconozco que fui un poco atrevido en este tema, propuse hace algunos dÃas inaugurar post periódico en el blog que apareciera cada cierto tiempo, bajo la denominación de DOCUMENTOS. En él, se recogerÃa el documento original que marco algún hito o algún paso fundamental tanto en el campo de las TecnologÃas de la Información en su sentido amplio, o bien, en el camino de progreso hacia la consecución de Sistemas Inteligentes. Algo que fuera un poco a modo de nuestros “viejos clásicosâ€.
Este post periódico o micro-sección, se podrÃa plantear de distintas maneras. Una de ellas, opción A, serÃa un enlace directo a la Wikipedia, y a correr, haciendo una breve mención de lo que se enlazaba y ya está. Otra opción para hacerlo, opción B, serÃa colgar del blog el documento tal cual, en su versión PDF y también a correr, sin más añadidos. Pero como la virtud está en el medio, creemos que podrÃa ser interesante hacerlo todo lo anterior, y un poquito más.
Es decir, añadir además del enlace al documento original que estableció el hito del que hablamos, y de los pertinentes enlaces a la Wikipedia, una pequeña valoración, muy subjetiva si se quiere, pero una aproximación a ese avance y el tiempo en el que se dio. Y qué movió o pudo mover a una determinada persona a establecer principios de tanta transcendencia y, a veces, en apariencia, tan simples.
Esperemos que os guste el nuevo micro-post periódico que incluiremos bajo el tÃtulo de DOCUMENTOS, y que ayude a alimentar el debate y la reflexión cientÃfica. Que son la gasolina de nuestro quehacer. Saludos cordiales.
Empezamos la primera aportación con el Documento
“A Mathematical Theory of Communicationâ€
By E. C. E. SHANNON
Reprinted with corrections from The Bell System Technical Journal,
Vol. 27, pp. 379–423, 623–656, July, October, 1948.
Disponible en : http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf
Bueno, este documento estableció las bases para el diseño y la cuantización de la información apta para ser transmitida por un canal con ruido. Y por extensión, dado el amplio alcance teórico de sus planteamientos, ha servido posteriormente para el diseño y desarrollo de sistemas de almacenamiento y procesamiento de la información más eficientes y fiables.
Recomiendo vivamente su lectura, pues se establecen principios que, desde que los aprendimos en la carrera, no nos han abandonado ya nunca más. La potencia investigadora desarrollada durante la II Guerra Mundial en los problemas criptográficos por Turing y su equipo, sin duda se extendió como una mancha de aceite en los cÃrculos académicos que ya estaban automatizando los procesos de cómputo en los años cuarenta.
Pero hay algo en el trabajo de Shannon que lo hace original y distinto. Primero, la asunción para su análisis del carácter estocástico o aleatorio que puede tener una fuente de información. Y la segunda, la perdida de significación de la semántica en los mensajes a la hora de demostrar sus postulados, lo cual hace por ello con la mayor dosis de generalidad. Y que por tanto, continúan todavÃa vigente.
Uno de los momentos cumbres de su trabajo, llega en la página 11 del documento (demostración del Teorema en el Apéndice II , página 29) cuando establece que:
Ya avanza Shannon en la introducción de su trabajo la elección del logaritmo como elemento básico en la matemática implicada en su sistema. Pero creo que subyace algo más también, y que el menciona expresamente, las consideraciones entrópicas de la información. Al ser las fuentes de información algo estocástico, la probabilidad implicada en la creación de mensajes, se considera claramente a la Información como todo aquello que reduce nuestra incertidumbre sobre el estado de un sistema. Y cuando hablamos de esta manera, estamos hablando de Termodinámica y 2ª Ley. El número posibles de estados de un sistema, y el grado de probabilidad de los mismos da cuenta de la situación de equilibrio o no, de ese sistema. Cuando Shannon introduce este teorema, nos está introduciendo el concepto de que la Información, la cantidad de Información que obtenemos o procesamos, puede resultar o venir dada de una cierta situación de equilibrio o desequilibrio del sistema emisor.
La cuestión sigue abierta. En nuestra búsqueda de Sistemas Inteligentes, que se comporten y hablen como nosotros ¿construimos algoritmos y máquinas fieles a la 2ª Ley? ¿Sómos nosotros, los seres inteligentes, los que nos la saltamos, o también somos esclavos de ella?
El debate quedó abierto hace la friolera de 61 años por Shannon, y sigue todavÃa vigente.
¿Qué opinais?
Para saber más: http://es.wikipedia.org/wiki/Teorema_de_Shannon-Hartley
Autor: SerafÃn Casamayor
Si te gustó esta entrada anÃmate a escribir un comentario o suscribirte al feed y obtener los artÃculos futuros en tu lector de feeds.
Comentarios
Los vinculos entre teoria de informacion y termodinamica son profundos. El nexo no esta en el equilibrio, sino en la incertidumbre (como bien has mencionado), que es lo que cuantifica la entropia. Los sistemas fisicos, cuando estan en equilibrio, tienen asociada mayor incertidumbre, simplemente porque el estado de equilibrio es compatible con un numero mayor de microestados posibles (y por tanto su microestado exacto es mas incierto)
La segunda ley de la termodinamica aplica a cualquier sistema fisico, incluidos nosotros los seres humanos. La inteligencia no consiste en "saltarsela" (fisicamente imposible por otro lado) aunque si que es cierto que los seres inteligentes _como consecuencia_ de su inteligencia tienden a reducir entropia en sistemas locales (su cuerpo) a costa del sistema global (entorno).
Para lograr esto utilizan energia en su cognicion y actividad. La cognicion trata de extraer regularidades del entorno para dirigir su actividad en funcion de las predicciones que estas regularidades realicen. Las regularidades son discriminadas positivamente hacia una baja complejidad kolmogorov, implementando un sesgo navaja de occam. Expongo esta concepcion para decir que en mi opinion la inteligencia esta fundamentalmente ligada a la teoria de la informacion, pero no porque haya que saltarse la segunda ley en la implementacion del sistema, sino que veo el vinculo por el lado de la compresion (kolmogorov) de la informacion percibida.
David
PD ya que has mencionado la criptografia, os dejo otro clasico suyo:
Gracias por tu apreciación Jose Carlos, muy generosa conmigo. Y David, gracias también por por tu comentario. Para un "penrosista" convencido como soy, lo irrebatible y lo claro de tus razonamientos hace que los "penrosistas" nos sintamos un poco como una secta. Cada post que pones, hace que nos retiremos a madurar una respuesta a la altura, y rindamos culto una vez más a la efigie de Gödel. Nos lo pones difícil David. Pero habrá respuesta, habrá.
Saludos cordiales.
P.D. No obstante, soy un optimista convencido. Creo que ambas posturas, son reconciliables. Me explico. Por una parte existe una innegable incertidumbre física de origen cosmológico, y que no impide que los principios físicos de conservación (como la 2ª Ley, entre otros. De a lo que conducen otros principios de conservación o límites físicos a determinadas magnitudes, hablar de ello excedería con creces el alcance de este post) los prinicipios, como decía, sean aplicables en el experimento físico para ser validado. Pero por otra parte, esa innegable incertidumbre (de indeterminación, mejor dicho, al mediar una observación) hacen que los principios de conservación no sean algo rígido e inviolable en algunas ocasiones ( ¡qué sería de nuestros aparatos electrónicos sin el efecto tunel!) con tal de preservar la conservación de otras constantes o magnitudes.
La extraña sabiduria con la que la naturaleza juega en este último caso en relación a la inteligencia humana (sale de nuevo el penrosista puro a pasear), preservando unos principios en detrimento de otros en ciertos procesos de cómputo (imaginar o soñar una noche que a la temperatura ambiente un vaso de agua espontaneamente se convierte en cubitos de hielo ¿es un proceso de cómputo que viola la 2ª Ley? Si es así ¿a favor de qué otra constante o principio juega en su favor? Y si no es así ¿qué es pues esa imagen que tenemos de algo que viola la experiencia cotidiana (o el sentido común, como cúmulo de experiencias análogas a decir de Hume)? ¿Qué es, dónde queda esa imagen? David, perdona por la cuestión, pero tú eres una persona mucho más bregada que yo en estas cuestiones físicas. Perdona por la cuestión, que es directa: ¿qué cantidad de entropia se genera en el medio circundante por convertir 100 cm3 de agua en hielo a partir de la temperatura ambiente? ¿qué consumo energético implica? ¿Se podría comparar este consumo energético con el que se necesita hacer para programar, probar y ejecutar una simulación por ordenador visualizable de tal evento? ¿hemos considerado en profundidad y seriamente alguna vez las implicaciones energéticas que tienen los procesos de cómputo inteligentes frente a la mera algorítmica? Creo que este es el nexo de unión de ambos mundos: las personas partidarias de la AI fuerte convencidos, y los "penrosistas" de secta, como es mi caso. En el fondo, siempre que os leo, aprendo mucho de vosotros. Gracias David por tus comentarios. Y lo dicho, las respuestas, vendrán, vendrán. La primera de ellas (esto parece el Constitucional) que está pendiente, y no tardará en llegar, es sobre el carácter inteligente o no de la evolución "darwinianamente" entendida. Saludos cordiales. Disculpad, pero la Post Data me ha salido más extensa que el propio comentario. Una torpeza más de las mías.
Serian 33355 Julios de energia, y por tanto aproximadamente 112 J/K de entropia (tomando 298K como temperatura ambiente)
De todas formas, piensa que una simulacion puede utilizar cualesquiera leyes fisicas se le antoje a uno, y esto no tiene una relacion directa con el esfuerzo de implementacion ni con la energia empleada en el calculo. Bastaria por ejemplo, cambiar el valor de unas constantes fundamentales, y la fisica seria radicalmente distinta.
Quizas tu postura sea la de que crees que la inteligencia humana depende de fenomenos cuanticos en el cerebro. Esto si lo entiendo mejor que la relevancia de saltarse la segunda ley. De hecho hay quien cree que se necesitara computacion cuantica para lograr inteligencia. No tengo ahora a mano las urls pero he visto algunas charlas interesantes al respecto recientemente, las posteare luego, asi como mi opinion sobre el "argumento cuantico"..
Un Saludo,
David
PD
se me olvidaba hacer referencia al demonio de maxwell y los resultados de landauer y benett sobre la relacion entre la computacion y la segunda ley. por este motivo en mi anterior post dije que la cognicion consume energia.
Serafin, estas son dos charlas que tuvieron lugar en el reciente singularity summit 09. Creo que te interesara sobre todo la de Stuart Hameroff en el que sugiere la posibilidad de que la inteligencia requiera de procesos cuanticos presentes en los microtubulos (una tesis relacionada con penrose al que has citado). Tambien te enlazo una charla de Sandberg que se inclina porque esto no sea asi.
http://www.vimeo.com/7318429
http://www.vimeo.com/7320518
Mi opinion esta mas cerca de lo que Sandberg llama "Scale Separation", esto es, que se pueden utilizar abstracciones en el modelado de inteligencia que no requieren ir hasta "abajo del todo", y por tanto que la computacion cuantica no es requisito. Al ser los procesos cuanticos muy fragiles me parece improbable que el cerebro los este explotando, pero esta cuestion no esta resuelta.
David, con todo el aprecio del mundo: me parece una hipótesis muy fuerte de partida considerar que los procesos cuánticos no sean explotados por el cerebro. ¿Por qué presupones eso? Esto en cuanto al último post que me remites, el cual encuentro superinteresante y donde quiero profundizar en los enlaces que me propones. Gracias por ello (maldito factor tiempo, es lo que más me limita).
En cuanto al post anterior, gracias por el cálculo realizado de ?S. Pero sigo sin entender qué dificultad hay con compararlo con lo que implica en términos de ?S diseñar, programar, probar y ejecutar una simulación con otras constantes físicas si tu quieres, pero que pudieran representar de un modo discernible para humanos procesos implicados en la segunda Ley. El ?E para el supuesto que nos ocupa, si lo realizamos en 1 minuto, estaríamos hablando de 560W, estamos hablando del mismo orden de magnitud comparado con los 100W aprox. de potencia que emplea un PC en pleno funcionamiento. Es decir, la ejecución del algoritmo gastaría en un equipo una cantidad de energía tan pequeña como se quisiera (haciendo tender t a cero, tan rápido como queramos), pero recuerda: el proceso ha de ser discernible -otro -ible que añade complejidad al tema que nos ocupa, pues ya no sólo hablamos de procesos irreversibles o reversibles. También han de ser discernibles, que no se nos olvide, es harina de otro costal que ya hablariamos más adelante. ¿pero qué hay de todos esos 100W aprox (o 100 J/seg.) que se aplican en programar y probar, sin contar la implicación energética neuronal del que programa.
Y por último:
Dices:
"De todas formas, piensa que una simulacion puede utilizar cualesquiera leyes fisicas se le antoje a uno, y esto no tiene una relacion directa con el esfuerzo de implementacion ni con la energia empleada en el calculo. Bastaria por ejemplo, cambiar el valor de unas constantes fundamentales, y la fisica seria radicalmente distinta."
Si de acuerdo, pero cambias los valores de las constantes en un programa de simulación que ha tenido que ser ideado, imaginado, diseñado, programado, probado ¿violando o respetando todos y cada uno de los ppos. de conservación escrupulosamente en cada uno de sus pasos? Hasta las programas de simulación fieles a los valores de las constantes físicas, han de ser creados, ninguno nos viene dado por ninguna inteligencia superior. Esto también es debate de otro tenor que nos llevaría muy, muy lejos. En cualquier caso David, como soy un deudor intelectual tuyo nato, es decir, fruto de estos debates te debo más yo a ti, que tu a mi, en otras palabras, que aprendo un montón con lo que me comentas y con la información que me facilitas, no me parece honesto que te maree tanto. Pero vaya, tendriamos para hablar, laaargo y teeendido…
Un cordial saludo, y hasta pronto,
SCN
P.S. Sí, soy penrosista convencido. Lo reconozco. Me has pillado.
Un...
Uno de los aspectos que tocas en tu análisis me parece de vital importancia: "[...]la perdida de significación de la semántica en los mensajes a la hora de demostrar sus postulados[...]".
Es curioso como 60 años después seguimos tratando los mensajes de la misma manera, todavía no hemos llegado a ser capaces de procesar semánticamente cualquier tipo de mensaje. Si bien existen algunos acercamientos al procesamiento semántico de la información, todavía seguimos anclados en problemas de desambiguación, generación de ontologías, etc.
Si bien Shannon fue uno de los pioneros que inició la gran revolución de la informática (o el procesamiento automático de la información), seguramente la siguiente gran revolución llegará cuando las máquinas sean capaces de saltarse esta restricción y entren en lo semántico.
Con respecto a la segunda ley de la termodinámica, todavía sigo pensando que no hace falta que "nos la saltemos" para obtener sistemas inteligentes, aunque es un debate que se me escapa bastante y seguramente se puedan dar muchos razonamientos en ambos sentidos.
P.D: Excelente post, Serafín