Comentarios en: Documentos (I): “A Mathematical Theory of Communication” de Shannon http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126 Sun, 27 Mar 2011 21:13:44 +0000 hourly 1 http://wordpress.org/?v=3.1.2 Por: Serafín http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126/comment-page-1#comment-571 Serafín Tue, 01 Dec 2009 09:42:00 +0000 http://weblogs.madrimasd.org//sistemas_inteligentes/archive/2009/11/23/129126.aspx#comment-571 David, con todo el aprecio del mundo: me parece una hipótesis muy fuerte de partida considerar que los procesos cuánticos no sean explotados por el cerebro. ¿Por qué presupones eso? Esto en cuanto al último post que me remites, el cual encuentro superinteresante y donde quiero profundizar en los enlaces que me propones. Gracias por ello (maldito factor tiempo, es lo que más me limita). <br>En cuanto al post anterior, gracias por el cálculo realizado de ?S. Pero sigo sin entender qué dificultad hay con compararlo con lo que implica en términos de ?S diseñar, programar, probar y ejecutar una simulación con otras constantes físicas si tu quieres, pero que pudieran representar de un modo discernible para humanos procesos implicados en la segunda Ley. El ?E para el supuesto que nos ocupa, si lo realizamos en 1 minuto, estaríamos hablando de 560W, estamos hablando del mismo orden de magnitud comparado con los 100W aprox. de potencia que emplea un PC en pleno funcionamiento. Es decir, la ejecución del algoritmo gastaría en un equipo una cantidad de energía tan pequeña como se quisiera (haciendo tender t a cero, tan rápido como queramos), pero recuerda: el proceso ha de ser discernible -otro -ible que añade complejidad al tema que nos ocupa, pues ya no sólo hablamos de procesos irreversibles o reversibles. También han de ser discernibles, que no se nos olvide, es harina de otro costal que ya hablariamos más adelante. ¿pero qué hay de todos esos 100W aprox (o 100 J/seg.) que se aplican en programar y probar, sin contar la implicación energética neuronal del que programa. <br> Y por último: <br>Dices: <br>"De todas formas, piensa que una simulacion puede utilizar cualesquiera leyes fisicas se le antoje a uno, y esto no tiene una relacion directa con el esfuerzo de implementacion ni con la energia empleada en el calculo. Bastaria por ejemplo, cambiar el valor de unas constantes fundamentales, y la fisica seria radicalmente distinta." <br>Si de acuerdo, pero cambias los valores de las constantes en un programa de simulación que ha tenido que ser ideado, imaginado, diseñado, programado, probado ¿violando o respetando todos y cada uno de los ppos. de conservación escrupulosamente en cada uno de sus pasos? Hasta las programas de simulación fieles a los valores de las constantes físicas, han de ser creados, ninguno nos viene dado por ninguna inteligencia superior. Esto también es debate de otro tenor que nos llevaría muy, muy lejos. En cualquier caso David, como soy un deudor intelectual tuyo nato, es decir, fruto de estos debates te debo más yo a ti, que tu a mi, en otras palabras, que aprendo un montón con lo que me comentas y con la información que me facilitas, no me parece honesto que te maree tanto. Pero vaya, tendriamos para hablar, laaargo y teeendido... <br>Un cordial saludo, y hasta pronto, <br>SCN <br>P.S. Sí, soy penrosista convencido. Lo reconozco. Me has pillado. <br> David, con todo el aprecio del mundo: me parece una hipótesis muy fuerte de partida considerar que los procesos cuánticos no sean explotados por el cerebro. ¿Por qué presupones eso? Esto en cuanto al último post que me remites, el cual encuentro superinteresante y donde quiero profundizar en los enlaces que me propones. Gracias por ello (maldito factor tiempo, es lo que más me limita).

En cuanto al post anterior, gracias por el cálculo realizado de ?S. Pero sigo sin entender qué dificultad hay con compararlo con lo que implica en términos de ?S diseñar, programar, probar y ejecutar una simulación con otras constantes físicas si tu quieres, pero que pudieran representar de un modo discernible para humanos procesos implicados en la segunda Ley. El ?E para el supuesto que nos ocupa, si lo realizamos en 1 minuto, estaríamos hablando de 560W, estamos hablando del mismo orden de magnitud comparado con los 100W aprox. de potencia que emplea un PC en pleno funcionamiento. Es decir, la ejecución del algoritmo gastaría en un equipo una cantidad de energía tan pequeña como se quisiera (haciendo tender t a cero, tan rápido como queramos), pero recuerda: el proceso ha de ser discernible -otro -ible que añade complejidad al tema que nos ocupa, pues ya no sólo hablamos de procesos irreversibles o reversibles. También han de ser discernibles, que no se nos olvide, es harina de otro costal que ya hablariamos más adelante. ¿pero qué hay de todos esos 100W aprox (o 100 J/seg.) que se aplican en programar y probar, sin contar la implicación energética neuronal del que programa.

Y por último:

Dices:

"De todas formas, piensa que una simulacion puede utilizar cualesquiera leyes fisicas se le antoje a uno, y esto no tiene una relacion directa con el esfuerzo de implementacion ni con la energia empleada en el calculo. Bastaria por ejemplo, cambiar el valor de unas constantes fundamentales, y la fisica seria radicalmente distinta."

Si de acuerdo, pero cambias los valores de las constantes en un programa de simulación que ha tenido que ser ideado, imaginado, diseñado, programado, probado ¿violando o respetando todos y cada uno de los ppos. de conservación escrupulosamente en cada uno de sus pasos? Hasta las programas de simulación fieles a los valores de las constantes físicas, han de ser creados, ninguno nos viene dado por ninguna inteligencia superior. Esto también es debate de otro tenor que nos llevaría muy, muy lejos. En cualquier caso David, como soy un deudor intelectual tuyo nato, es decir, fruto de estos debates te debo más yo a ti, que tu a mi, en otras palabras, que aprendo un montón con lo que me comentas y con la información que me facilitas, no me parece honesto que te maree tanto. Pero vaya, tendriamos para hablar, laaargo y teeendido…

Un cordial saludo, y hasta pronto,

SCN

P.S. Sí, soy penrosista convencido. Lo reconozco. Me has pillado.

]]> Por: David http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126/comment-page-1#comment-569 David Mon, 30 Nov 2009 12:37:00 +0000 http://weblogs.madrimasd.org//sistemas_inteligentes/archive/2009/11/23/129126.aspx#comment-569 Serafin, estas son dos charlas que tuvieron lugar en el reciente singularity summit 09. Creo que te interesara sobre todo la de Stuart Hameroff en el que sugiere la posibilidad de que la inteligencia requiera de procesos cuanticos presentes en los microtubulos (una tesis relacionada con penrose al que has citado). Tambien te enlazo una charla de Sandberg que se inclina porque esto no sea asi. <br> <br><a target="_new" href="http://www.vimeo.com/7318429">http://www.vimeo.com/7318429</a> <br><a target="_new" href="http://www.vimeo.com/7320518">http://www.vimeo.com/7320518</a> <br> <br>Mi opinion esta mas cerca de lo que Sandberg llama "Scale Separation", esto es, que se pueden utilizar abstracciones en el modelado de inteligencia que no requieren ir hasta "abajo del todo", y por tanto que la computacion cuantica no es requisito. Al ser los procesos cuanticos muy fragiles me parece improbable que el cerebro los este explotando, pero esta cuestion no esta resuelta. Serafin, estas son dos charlas que tuvieron lugar en el reciente singularity summit 09. Creo que te interesara sobre todo la de Stuart Hameroff en el que sugiere la posibilidad de que la inteligencia requiera de procesos cuanticos presentes en los microtubulos (una tesis relacionada con penrose al que has citado). Tambien te enlazo una charla de Sandberg que se inclina porque esto no sea asi.

http://www.vimeo.com/7318429

http://www.vimeo.com/7320518

Mi opinion esta mas cerca de lo que Sandberg llama "Scale Separation", esto es, que se pueden utilizar abstracciones en el modelado de inteligencia que no requieren ir hasta "abajo del todo", y por tanto que la computacion cuantica no es requisito. Al ser los procesos cuanticos muy fragiles me parece improbable que el cerebro los este explotando, pero esta cuestion no esta resuelta.

]]> Por: David http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126/comment-page-1#comment-570 David Thu, 26 Nov 2009 15:23:00 +0000 http://weblogs.madrimasd.org//sistemas_inteligentes/archive/2009/11/23/129126.aspx#comment-570 Serian 33355 Julios de energia, y por tanto aproximadamente 112 J/K de entropia (tomando 298K como temperatura ambiente) <br> <br>De todas formas, piensa que una simulacion puede utilizar cualesquiera leyes fisicas se le antoje a uno, y esto no tiene una relacion directa con el esfuerzo de implementacion ni con la energia empleada en el calculo. Bastaria por ejemplo, cambiar el valor de unas constantes fundamentales, y la fisica seria radicalmente distinta. <br> <br>Quizas tu postura sea la de que crees que la inteligencia humana depende de fenomenos cuanticos en el cerebro. Esto si lo entiendo mejor que la relevancia de saltarse la segunda ley. De hecho hay quien cree que se necesitara computacion cuantica para lograr inteligencia. No tengo ahora a mano las urls pero he visto algunas charlas interesantes al respecto recientemente, las posteare luego, asi como mi opinion sobre el "argumento cuantico".. <br> <br>Un Saludo, <br> <br>David <br> <br>PD <br> <br>se me olvidaba hacer referencia al demonio de maxwell y los resultados de landauer y benett sobre la relacion entre la computacion y la segunda ley. por este motivo en mi anterior post dije que la cognicion consume energia. Serian 33355 Julios de energia, y por tanto aproximadamente 112 J/K de entropia (tomando 298K como temperatura ambiente)

De todas formas, piensa que una simulacion puede utilizar cualesquiera leyes fisicas se le antoje a uno, y esto no tiene una relacion directa con el esfuerzo de implementacion ni con la energia empleada en el calculo. Bastaria por ejemplo, cambiar el valor de unas constantes fundamentales, y la fisica seria radicalmente distinta.

Quizas tu postura sea la de que crees que la inteligencia humana depende de fenomenos cuanticos en el cerebro. Esto si lo entiendo mejor que la relevancia de saltarse la segunda ley. De hecho hay quien cree que se necesitara computacion cuantica para lograr inteligencia. No tengo ahora a mano las urls pero he visto algunas charlas interesantes al respecto recientemente, las posteare luego, asi como mi opinion sobre el "argumento cuantico"..

Un Saludo,

David

PD

se me olvidaba hacer referencia al demonio de maxwell y los resultados de landauer y benett sobre la relacion entre la computacion y la segunda ley. por este motivo en mi anterior post dije que la cognicion consume energia.

]]> Por: Serafin Casamayor http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126/comment-page-1#comment-568 Serafin Casamayor Wed, 25 Nov 2009 04:37:00 +0000 http://weblogs.madrimasd.org//sistemas_inteligentes/archive/2009/11/23/129126.aspx#comment-568 Gracias por tu apreciación Jose Carlos, muy generosa conmigo. Y David, gracias también por por tu comentario. Para un "penrosista" convencido como soy, lo irrebatible y lo claro de tus razonamientos hace que los "penrosistas" nos sintamos un poco como una secta. Cada post que pones, hace que nos retiremos a madurar una respuesta a la altura, y rindamos culto una vez más a la efigie de Gödel. Nos lo pones difícil David. Pero habrá respuesta, habrá. <br>Saludos cordiales. <br>P.D. No obstante, soy un optimista convencido. Creo que ambas posturas, son reconciliables. Me explico. Por una parte existe una innegable incertidumbre física de origen cosmológico, y que no impide que los principios físicos de conservación (como la 2ª Ley, entre otros. De a lo que conducen otros principios de conservación o límites físicos a determinadas magnitudes, hablar de ello excedería con creces el alcance de este post) los prinicipios, como decía, sean aplicables en el experimento físico para ser validado. Pero por otra parte, esa innegable incertidumbre (de indeterminación, mejor dicho, al mediar una observación) hacen que los principios de conservación no sean algo rígido e inviolable en algunas ocasiones ( ¡qué sería de nuestros aparatos electrónicos sin el efecto tunel!) con tal de preservar la conservación de otras constantes o magnitudes. <br>La extraña sabiduria con la que la naturaleza juega en este último caso en relación a la inteligencia humana (sale de nuevo el penrosista puro a pasear), preservando unos principios en detrimento de otros en ciertos procesos de cómputo (imaginar o soñar una noche que a la temperatura ambiente un vaso de agua espontaneamente se convierte en cubitos de hielo ¿es un proceso de cómputo que viola la 2ª Ley? Si es así ¿a favor de qué otra constante o principio juega en su favor? Y si no es así ¿qué es pues esa imagen que tenemos de algo que viola la experiencia cotidiana (o el sentido común, como cúmulo de experiencias análogas a decir de Hume)? ¿Qué es, dónde queda esa imagen? David, perdona por la cuestión, pero tú eres una persona mucho más bregada que yo en estas cuestiones físicas. Perdona por la cuestión, que es directa: ¿qué cantidad de entropia se genera en el medio circundante por convertir 100 cm3 de agua en hielo a partir de la temperatura ambiente? ¿qué consumo energético implica? ¿Se podría comparar este consumo energético con el que se necesita hacer para programar, probar y ejecutar una simulación por ordenador visualizable de tal evento? ¿hemos considerado en profundidad y seriamente alguna vez las implicaciones energéticas que tienen los procesos de cómputo inteligentes frente a la mera algorítmica? Creo que este es el nexo de unión de ambos mundos: las personas partidarias de la AI fuerte convencidos, y los "penrosistas" de secta, como es mi caso. En el fondo, siempre que os leo, aprendo mucho de vosotros. Gracias David por tus comentarios. Y lo dicho, las respuestas, vendrán, vendrán. La primera de ellas (esto parece el Constitucional) que está pendiente, y no tardará en llegar, es sobre el carácter inteligente o no de la evolución "darwinianamente" entendida. Saludos cordiales. Disculpad, pero la Post Data me ha salido más extensa que el propio comentario. Una torpeza más de las mías. <br> Gracias por tu apreciación Jose Carlos, muy generosa conmigo. Y David, gracias también por por tu comentario. Para un "penrosista" convencido como soy, lo irrebatible y lo claro de tus razonamientos hace que los "penrosistas" nos sintamos un poco como una secta. Cada post que pones, hace que nos retiremos a madurar una respuesta a la altura, y rindamos culto una vez más a la efigie de Gödel. Nos lo pones difícil David. Pero habrá respuesta, habrá.

Saludos cordiales.

P.D. No obstante, soy un optimista convencido. Creo que ambas posturas, son reconciliables. Me explico. Por una parte existe una innegable incertidumbre física de origen cosmológico, y que no impide que los principios físicos de conservación (como la 2ª Ley, entre otros. De a lo que conducen otros principios de conservación o límites físicos a determinadas magnitudes, hablar de ello excedería con creces el alcance de este post) los prinicipios, como decía, sean aplicables en el experimento físico para ser validado. Pero por otra parte, esa innegable incertidumbre (de indeterminación, mejor dicho, al mediar una observación) hacen que los principios de conservación no sean algo rígido e inviolable en algunas ocasiones ( ¡qué sería de nuestros aparatos electrónicos sin el efecto tunel!) con tal de preservar la conservación de otras constantes o magnitudes.

La extraña sabiduria con la que la naturaleza juega en este último caso en relación a la inteligencia humana (sale de nuevo el penrosista puro a pasear), preservando unos principios en detrimento de otros en ciertos procesos de cómputo (imaginar o soñar una noche que a la temperatura ambiente un vaso de agua espontaneamente se convierte en cubitos de hielo ¿es un proceso de cómputo que viola la 2ª Ley? Si es así ¿a favor de qué otra constante o principio juega en su favor? Y si no es así ¿qué es pues esa imagen que tenemos de algo que viola la experiencia cotidiana (o el sentido común, como cúmulo de experiencias análogas a decir de Hume)? ¿Qué es, dónde queda esa imagen? David, perdona por la cuestión, pero tú eres una persona mucho más bregada que yo en estas cuestiones físicas. Perdona por la cuestión, que es directa: ¿qué cantidad de entropia se genera en el medio circundante por convertir 100 cm3 de agua en hielo a partir de la temperatura ambiente? ¿qué consumo energético implica? ¿Se podría comparar este consumo energético con el que se necesita hacer para programar, probar y ejecutar una simulación por ordenador visualizable de tal evento? ¿hemos considerado en profundidad y seriamente alguna vez las implicaciones energéticas que tienen los procesos de cómputo inteligentes frente a la mera algorítmica? Creo que este es el nexo de unión de ambos mundos: las personas partidarias de la AI fuerte convencidos, y los "penrosistas" de secta, como es mi caso. En el fondo, siempre que os leo, aprendo mucho de vosotros. Gracias David por tus comentarios. Y lo dicho, las respuestas, vendrán, vendrán. La primera de ellas (esto parece el Constitucional) que está pendiente, y no tardará en llegar, es sobre el carácter inteligente o no de la evolución "darwinianamente" entendida. Saludos cordiales. Disculpad, pero la Post Data me ha salido más extensa que el propio comentario. Una torpeza más de las mías.

]]> Por: David http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126/comment-page-1#comment-566 David Tue, 24 Nov 2009 09:39:00 +0000 http://weblogs.madrimasd.org//sistemas_inteligentes/archive/2009/11/23/129126.aspx#comment-566 Los vinculos entre teoria de informacion y termodinamica son profundos. El nexo no esta en el equilibrio, sino en la incertidumbre (como bien has mencionado), que es lo que cuantifica la entropia. Los sistemas fisicos, cuando estan en equilibrio, tienen asociada mayor incertidumbre, simplemente porque el estado de equilibrio es compatible con un numero mayor de microestados posibles (y por tanto su microestado exacto es mas incierto) <br> <br>La segunda ley de la termodinamica aplica a cualquier sistema fisico, incluidos nosotros los seres humanos. La inteligencia no consiste en "saltarsela" (fisicamente imposible por otro lado) aunque si que es cierto que los seres inteligentes _como consecuencia_ de su inteligencia tienden a reducir entropia en sistemas locales (su cuerpo) a costa del sistema global (entorno). <br> <br>Para lograr esto utilizan energia en su cognicion y actividad. La cognicion trata de extraer regularidades del entorno para dirigir su actividad en funcion de las predicciones que estas regularidades realicen. Las regularidades son discriminadas positivamente hacia una baja complejidad kolmogorov, implementando un sesgo navaja de occam. Expongo esta concepcion para decir que en mi opinion la inteligencia esta fundamentalmente ligada a la teoria de la informacion, pero no porque haya que saltarse la segunda ley en la implementacion del sistema, sino que veo el vinculo por el lado de la compresion (kolmogorov) de la informacion percibida. <br> <br>David <br> <br>PD ya que has mencionado la criptografia, os dejo otro clasico suyo: <br> <br><a target="_new" href="http://netlab.cs.ucla.edu/wiki/files/shannon1949.pdf">http://netlab.cs.ucla.edu/wiki/files/shannon1949.pdf</a> Los vinculos entre teoria de informacion y termodinamica son profundos. El nexo no esta en el equilibrio, sino en la incertidumbre (como bien has mencionado), que es lo que cuantifica la entropia. Los sistemas fisicos, cuando estan en equilibrio, tienen asociada mayor incertidumbre, simplemente porque el estado de equilibrio es compatible con un numero mayor de microestados posibles (y por tanto su microestado exacto es mas incierto)

La segunda ley de la termodinamica aplica a cualquier sistema fisico, incluidos nosotros los seres humanos. La inteligencia no consiste en "saltarsela" (fisicamente imposible por otro lado) aunque si que es cierto que los seres inteligentes _como consecuencia_ de su inteligencia tienden a reducir entropia en sistemas locales (su cuerpo) a costa del sistema global (entorno).

Para lograr esto utilizan energia en su cognicion y actividad. La cognicion trata de extraer regularidades del entorno para dirigir su actividad en funcion de las predicciones que estas regularidades realicen. Las regularidades son discriminadas positivamente hacia una baja complejidad kolmogorov, implementando un sesgo navaja de occam. Expongo esta concepcion para decir que en mi opinion la inteligencia esta fundamentalmente ligada a la teoria de la informacion, pero no porque haya que saltarse la segunda ley en la implementacion del sistema, sino que veo el vinculo por el lado de la compresion (kolmogorov) de la informacion percibida.

David

PD ya que has mencionado la criptografia, os dejo otro clasico suyo:

http://netlab.cs.ucla.edu/wiki/files/shannon1949.pdf

]]> Por: Jos Carlos Cortizo http://www.madrimasd.org/blogs/sistemas_inteligentes/2009/11/23/129126/comment-page-1#comment-567 Jos Carlos Cortizo Mon, 23 Nov 2009 16:12:00 +0000 http://weblogs.madrimasd.org//sistemas_inteligentes/archive/2009/11/23/129126.aspx#comment-567 Uno de los aspectos que tocas en tu análisis me parece de vital importancia: "[...]la perdida de significación de la semántica en los mensajes a la hora de demostrar sus postulados[...]". <br> <br>Es curioso como 60 años después seguimos tratando los mensajes de la misma manera, todavía no hemos llegado a ser capaces de procesar semánticamente cualquier tipo de mensaje. Si bien existen algunos acercamientos al procesamiento semántico de la información, todavía seguimos anclados en problemas de desambiguación, generación de ontologías, etc. <br> <br>Si bien Shannon fue uno de los pioneros que inició la gran revolución de la informática (o el procesamiento automático de la información), seguramente la siguiente gran revolución llegará cuando las máquinas sean capaces de saltarse esta restricción y entren en lo semántico. <br> <br>Con respecto a la segunda ley de la termodinámica, todavía sigo pensando que no hace falta que "nos la saltemos" para obtener sistemas inteligentes, aunque es un debate que se me escapa bastante y seguramente se puedan dar muchos razonamientos en ambos sentidos. <br> <br>P.D: Excelente post, Serafín :) Uno de los aspectos que tocas en tu análisis me parece de vital importancia: "[...]la perdida de significación de la semántica en los mensajes a la hora de demostrar sus postulados[...]".

Es curioso como 60 años después seguimos tratando los mensajes de la misma manera, todavía no hemos llegado a ser capaces de procesar semánticamente cualquier tipo de mensaje. Si bien existen algunos acercamientos al procesamiento semántico de la información, todavía seguimos anclados en problemas de desambiguación, generación de ontologías, etc.

Si bien Shannon fue uno de los pioneros que inició la gran revolución de la informática (o el procesamiento automático de la información), seguramente la siguiente gran revolución llegará cuando las máquinas sean capaces de saltarse esta restricción y entren en lo semántico.

Con respecto a la segunda ley de la termodinámica, todavía sigo pensando que no hace falta que "nos la saltemos" para obtener sistemas inteligentes, aunque es un debate que se me escapa bastante y seguramente se puedan dar muchos razonamientos en ambos sentidos.

P.D: Excelente post, Serafín :)

]]>