M\u00e9dico salubrista<\/SPAN><\/B> Hoy publicamos la octava y \u00faltima entrega de nuestro Curso Critico de Programaci\u00f3n en Salud P\u00fablica<\/SPAN><\/A>, dedicada a uno de los pasos m\u00e1s dif\u00edciles del proceso de programaci\u00f3n: la evaluaci\u00f3n. <\/SPAN><\/SPAN>\u00bfPor qu\u00e9 es dif\u00edcil evaluar?<\/SPAN><\/B> Es dif\u00edcil porque supone que tenemos muy claro qu\u00e9 es lo que queremos conseguir y c\u00f3mo (objetivos y criterios claros). Es dif\u00edcil porque hacerla bien supone el disponer, en el interior de las rutinas de la instituci\u00f3n, de un espacio y proceso de reflexi\u00f3n y debate sobre lo que estamos haciendo. Es dif\u00edcil porque para hacerlo bien debemos contar con la participaci\u00f3n de todos los implicados en el programa. Es dif\u00edcil porque solo tiene sentido si se esta dispuesto a cambiar lo que no es satisfactorio, cambios que f\u00e1cilmente chocan con las din\u00e1micas burocr\u00e1ticas y los intereses creados. Es decir, es dif\u00edcil porque son muy f\u00e1ciles las din\u00e1micas de deslizamiento de la evaluaci\u00f3n hacia un \u201ccomo si\u201d. En este caso, <\/SPAN>\u201ccomo si se evaluase\u201d<\/SPAN><\/B>: se da cuando las evaluaciones son una mera recogida de datos, enumeraci\u00f3n y descripci\u00f3n de actividades sin an\u00e1lisis (estilo \u201cmemorias\u201d), cuando hay una falta de autocr\u00edtica institucional, dando como resultado una repetici\u00f3n burocr\u00e1tica anual de los mismos programas. Para que est\u00e9is vigilantes frente al \u201ccomo si\u201d, veremos algunas opciones y conceptos sobre qui\u00e9n, c\u00f3mo, qu\u00e9, cu\u00e1ndo y para qu\u00e9 evaluar; y finalmente los posibles criterios de evaluaci\u00f3n (desde la ya \u201ccl\u00e1sica\u201d diferencia entre los criterios de eficacia, efectividad y eficiencia, o los de cobertura o impacto, hasta los habitualmente menos considerados, como equidad, accesibilidad, participaci\u00f3n, pertinencia, coordinaci\u00f3n).<\/SPAN><\/P> <\/SPAN> <\/P> <\/SPAN><\/B> <\/P> Evaluaci\u00f3n: Quien, como, que, cuando y para qu\u00e9<\/SPAN><\/B>. \u2022 <\/SPAN><\/SPAN><\/SPAN>Qui\u00e9n<\/SPAN><\/B>: 1. <\/SPAN><\/SPAN><\/SPAN>Evaluadores internos<\/B> (est\u00e1n t\u00e1mbien implicados en la implantaci\u00f3n del programa). Como dijimos en la pasada entrega sobre organizaci\u00f3n del programa<\/A>, es importante y eficaz el integrar en el proceso de evaluaci\u00f3n a las diferentes perspectivas: la de los dise\u00f1adores y los ejecutores; de los Jefes de unidades org\u00e1nicas y los \u00abreferentes\u00bb o coordinadores de programas (responsables de la organizaci\u00f3n vertical y de la horizontal); de los que trabajan desde unidades centrales y los que lo hacen en unidades territoriales de la periferia. Tambi\u00e9n es muy importante el apoyo a la evaluaci\u00f3n de los gestores del sistema de informaci\u00f3n del programa (ver entrega: sistema de informaci\u00f3n del programa<\/A>). 2. <\/SPAN><\/SPAN><\/SPAN>Evaluadores externos<\/B> (son ajenos a la implantaci\u00f3n): Pueden ser t\u00e9cnicos externos a la instituci\u00f3n que gestiona el programa (por ejemplo, pertenecientes a agencias de evaluaci\u00f3n) o agentes sociales legitimados para el control social y pol\u00edtico de las acciones de la instituci\u00f3n (representantes de la poblaci\u00f3n y sus asociaciones, de los trabajadores, de los usuarios, pol\u00edticos de la oposici\u00f3n). <\/SPAN><\/P> \u2022 <\/SPAN><\/SPAN><\/SPAN>C\u00f3mo<\/SPAN><\/B>: mediante organizaci\u00f3n de reuniones, entrevistas, obtenci\u00f3n de datos e indicadores. Lo primordial es facilitar un buen flujo de informaci\u00f3n y combinar el uso de datos y n\u00fameros con opiniones o razonamientos. El an\u00e1lisis de la informaci\u00f3n tanto cuantitativa como cualitativa permitir\u00e1 saber si se han cumplido los objetivos marcados y si se han seguido los criterios y valores inicialmente definidos. Hay que conseguir que la evaluaci\u00f3n sea percibida como una herramienta de mejora del programa y no como un control de los jefes sobre los subordinados. Para ello, es fundamental que los ejecutores se sientan participes y que se perciba a los evaluadores como aliados.<\/SPAN><\/P> <\/SPAN> <\/P> La evaluaci\u00f3n no se basa solo en medidas, sino tambi\u00e9n en percepciones y opiniones. \u2022 <\/SPAN><\/SPAN><\/SPAN>Cu\u00e1ndo<\/SPAN><\/B>: Evaluamos para cambiar aquello con lo que no estamos satisfechos. Por ello, hay que considerar los momentos e instrumentos importantes de cambio en una instituci\u00f3n. Hay que evaluar antes de redise\u00f1ar el programa del a\u00f1o siguiente. Pero eso supone que si los programas se organizan en periodos que coinciden con el a\u00f1o natural (enero a diciembre), tendr\u00edamos que tener la evaluaci\u00f3n antes de final de a\u00f1o. Esto no siempre es posible, pues frecuentemente evaluamos con datos anuales que no est\u00e1n disponibles hasta los primeros meses del a\u00f1o siguiente, adem\u00e1s del hecho de que hace falta un tiempo para evaluar. Este desfase puede arreglarse de diferentes modos (por ejemplo, con evaluaciones provisionales). As\u00ed mismo, la evaluaci\u00f3n y la propuesta de modificaciones debe estar disponible para antes del proyecto de presupuestos del a\u00f1o siguiente (normalmente en oto\u00f1o en muchas instituciones de nuestro pa\u00eds), para antes de la propuesta de modificaci\u00f3n de relaci\u00f3n de puestos de trabajo (RPT) y para cuando se discuta el plan de formaci\u00f3n del a\u00f1o siguiente.<\/SPAN><\/P> \u2022 <\/SPAN><\/SPAN><\/SPAN>Qu\u00e9<\/SPAN><\/B>: 1. <\/SPAN><\/SPAN><\/SPAN>Evaluaci\u00f3n t\u00e1ctica o interna<\/SPAN><\/B>: Consecuci\u00f3n de objetivos (resultados), idoneidad de actividades (procesos), adecuaci\u00f3n de recursos (estructura). Seg\u00fan nuestros objetivos y programas, utilizaremos criterios e indicadores de eficacia\/efectividad, eficiencia y rentabilidad; coordinaci\u00f3n, equidad, participaci\u00f3n, actividad, cobertura, accesibilidad (ver \u201ccriterios de evaluaci\u00f3n\u201d al final del articulo) 2. <\/SPAN><\/SPAN><\/SPAN>Evaluaci\u00f3n estrat\u00e9gica o externa o de dise\u00f1o<\/SPAN><\/B>: Dos indicadores ser\u00e1n fundamentales: A) Pertinencia<\/U><\/SPAN> (\u00bfse corresponden los objetivos del programa con los problemas definidos y con las prioridades que se han establecido para esta poblaci\u00f3n? y B) Impacto<\/U><\/SPAN> sobre el problema (\u00bfCu\u00e1l puede ser la contribuci\u00f3n del programa a la soluci\u00f3n de los problemas identificados?). <\/SPAN><\/P> \u2022 <\/SPAN><\/SPAN><\/SPAN>Para qu\u00e9<\/SPAN><\/B> (resultado <\/SPAN>de la evaluaci\u00f3n): para introducir cambios en el dise\u00f1o del programa (e incluso, si procede, la eliminaci\u00f3n del programa) y en la organizaci\u00f3n (procedimientos, recursos, normas\u2026) Eficacia, efectividad y eficiencia Probablemente os encontr\u00e9is con un bosque de t\u00e9rminos y conceptos en la evaluaci\u00f3n, con nombre f\u00e1cilmente confundibles, tanto por su parecido como por su traducci\u00f3n no siempre homog\u00e9nea del ingl\u00e9s. Empezaremos con el cl\u00e1sico \u201ctrabalenguas\u201d de eficacia, eficiencia y efectividad: Eficacia o efectividad\/eficacia potencial o eficacia real: dos formas de medir los resultados o <\/SPAN><\/SPAN><\/SPAN>Coste-efectividad, los resultados se expresan en t\u00e9rminos de indicadores de salud (por ejemplo, mortalidad: el cote de evitar una muerte) o <\/SPAN><\/SPAN><\/SPAN>Coste-beneficio: los resultados se expresan en valor monetario, o <\/SPAN><\/SPAN><\/SPAN>Coste-utilidad: los resultados o el beneficio son expresados en t\u00e9rminos de tal como son vividos por el beneficiario. Criterios de evaluaci\u00f3n En el momento de dise\u00f1ar un programa y su sistema de informaci\u00f3n debemos tener claro a que criterios les damos importancia. Esta definici\u00f3n previa nos facilitar\u00e1 much\u00edsimo la evaluaci\u00f3n posterior. Aqu\u00ed tenemos la definici\u00f3n de algunos criterios[2]<\/SPAN><\/SUP><\/SPAN><\/SPAN><\/SPAN><\/SUP><\/SPAN><\/A>: ACCESIBILIDAD<\/SPAN><\/B>: Facilidad con la que los servicios socio-sanitarios pueden ser obtenidos de forma equitativa por la poblaci\u00f3n en relaci\u00f3n con las barreras organizativas, econ\u00f3micas, culturales, etc. (Var\u00f3 J., 1994, citado en \u00c1lvarez C, 1998). ACTIVIDAD<\/SPAN><\/B>: <\/SPAN>Eval\u00faa el cumplimiento y realizaci\u00f3n de las diferentes actividades del Programa, analizando si se han llevado a cabo en la forma y tiempo previstos.![](\"\/blogs\/salud_publica\/wp-content\/blogs.dir\/97\/files\/770\/o_justicia.gif\")
![](\"\/blogs\/salud_publica\/wp-content\/blogs.dir\/97\/files\/770\/o_medir.jpg\")
<\/o:p><\/SPAN><\/P>