Programar en Salud Pública (8): la evaluación de un programa

Por Javier Segura del Pozo

Médico salubrista

Hoy publicamos la octava y última entrega de nuestro Curso Critico de Programación en Salud Pública, dedicada a uno de los pasos más difíciles del proceso de programación: la evaluación.  ¿Por qué es difícil evaluar? Es difícil porque supone que tenemos muy claro qué es lo que queremos conseguir y cómo (objetivos y criterios claros). Es difícil porque hacerla bien supone el disponer, en el interior de las rutinas de la institución, de un espacio y proceso de reflexión y debate sobre lo que estamos haciendo. Es difícil porque para hacerlo bien debemos contar con la participación de todos los implicados en el programa. Es difícil porque solo tiene sentido si se esta dispuesto a cambiar lo que no es satisfactorio, cambios que fácilmente chocan con las dinámicas burocráticas y los intereses creados. Es decir, es difícil porque son muy fáciles las dinámicas de deslizamiento de la evaluación hacia un “como si”. En este caso, “como si se evaluase”: se da cuando las evaluaciones son una mera recogida de datos, enumeración y descripción de actividades sin análisis (estilo “memorias”), cuando hay una falta de autocrítica institucional, dando como resultado una repetición burocrática anual de los mismos programas.

Para que estéis vigilantes frente al “como si”, veremos algunas opciones y conceptos sobre quién, cómo, qué, cuándo y para qué evaluar; y finalmente los posibles criterios de evaluación (desde la ya “clásica” diferencia entre los criterios de eficacia, efectividad y eficiencia, o los de cobertura o impacto, hasta los habitualmente menos considerados, como equidad, accesibilidad, participación, pertinencia, coordinación).

Evaluación: Quien, como, que, cuando y para qué.

•        Quién:

1.      Evaluadores internos (están támbien implicados en la implantación del programa). Como dijimos en la pasada entrega sobre organización del programa, es importante y eficaz el integrar en el proceso de evaluación a las diferentes perspectivas: la de los diseñadores y los ejecutores; de los Jefes de unidades orgánicas y los «referentes» o coordinadores de programas (responsables de la organización vertical y de la horizontal); de los que trabajan desde unidades centrales y los que lo hacen en unidades territoriales de la periferia. También es muy importante el apoyo a la evaluación de los gestores del sistema de información del programa (ver entrega: sistema de información del programa).

2.      Evaluadores externos (son ajenos a la implantación): Pueden ser técnicos externos a la institución que gestiona el programa (por ejemplo, pertenecientes a agencias de evaluación) o agentes sociales legitimados para el control social y político de las acciones de la institución (representantes de la población y sus asociaciones, de los trabajadores, de los usuarios, políticos de la oposición).

•        Cómo: mediante organización de reuniones, entrevistas, obtención de datos e indicadores. Lo primordial es facilitar un buen flujo de información y combinar el uso de datos y números con opiniones o razonamientos. El análisis de la información tanto cuantitativa como cualitativa permitirá saber si se han cumplido los objetivos marcados y si se han seguido los criterios y valores inicialmente definidos. Hay que conseguir que la evaluación sea percibida como una herramienta de mejora del programa y no como un control de los jefes sobre los subordinados. Para ello, es fundamental que los ejecutores se sientan participes y que se perciba a los evaluadores como aliados.

•        Cuándo: Evaluamos para cambiar aquello con lo que no estamos satisfechos. Por ello, hay que considerar los momentos e instrumentos importantes de cambio en una institución. Hay que evaluar antes de rediseñar el programa del año siguiente. Pero eso supone que si los programas se organizan en periodos que coinciden con el año natural (enero a diciembre), tendríamos que tener la evaluación antes de final de año. Esto no siempre es posible, pues frecuentemente evaluamos con datos anuales que no están disponibles hasta los primeros meses del año siguiente, además del hecho de que hace falta un tiempo para evaluar. Este desfase puede arreglarse de diferentes modos (por ejemplo, con evaluaciones provisionales). Así mismo, la evaluación y la propuesta de modificaciones debe estar disponible para antes del proyecto de presupuestos del año siguiente (normalmente en otoño en muchas instituciones de nuestro país), para antes de la propuesta de modificación de relación de puestos de trabajo (RPT) y para cuando se discuta el plan de formación del año siguiente.

•        Qué:

1.      Evaluación táctica o interna: Consecución de objetivos (resultados), idoneidad de actividades (procesos), adecuación de recursos (estructura). Según nuestros objetivos y programas, utilizaremos criterios e indicadores de eficacia/efectividad, eficiencia y rentabilidad; coordinación, equidad, participación, actividad, cobertura, accesibilidad (ver “criterios de evaluación” al final del articulo)

2.      Evaluación estratégica o externa o de diseño:  Dos indicadores serán fundamentales: A) Pertinencia (¿se corresponden los objetivos del programa con los problemas definidos y con las prioridades que se han establecido para esta población? y B) Impacto sobre el problema (¿Cuál puede ser la contribución del programa a la solución de los problemas identificados?).

•        Para qué (resultado  de la evaluación): para introducir cambios en el diseño del programa (e incluso, si procede, la eliminación del programa) y en la organización (procedimientos, recursos, normas…)

Eficacia, efectividad y eficiencia

Probablemente os encontréis con un bosque de términos y conceptos en la evaluación, con nombre fácilmente confundibles, tanto por su parecido como por su traducción no siempre homogénea del inglés. Empezaremos con el clásico “trabalenguas” de eficacia, eficiencia y efectividad:

Eficacia o efectividad/eficacia potencial o eficacia real: dos formas de medir los resultados

• Eficacia o eficacia potencial: refiere a los resultados obtenidos en condiciones óptimas
• Efectividad o eficacia real: resultados obtenidos en situaciones concretas y reales.
• Eficacia real= eficacia potencial x penetración en la población objetivo X  observancia en el beneficiario y el profesional^[1]

 Eficiencia o rentabilidad económica: se miden los resultados en relación a los recursos:

o        Coste-efectividad, los resultados se expresan en términos de indicadores de salud (por ejemplo, mortalidad: el cote de evitar una muerte)

o        Coste-beneficio: los resultados se expresan en valor monetario,

o        Coste-utilidad: los resultados o el beneficio son expresados en términos de tal como son vividos por el beneficiario.

Criterios de evaluación

En el momento de diseñar un programa y su sistema de información debemos tener claro a que criterios les damos importancia. Esta definición previa nos facilitará muchísimo la evaluación posterior. Aquí tenemos la definición de algunos criterios^[2]:

ACCESIBILIDAD: Facilidad con la que los servicios socio-sanitarios pueden ser obtenidos de forma equitativa por la población en relación con las barreras organizativas, económicas, culturales, etc. (Varó J., 1994, citado en Álvarez C, 1998).

ACTIVIDAD: Evalúa el cumplimiento y realización de las diferentes actividades del Programa, analizando si se han llevado a cabo en la forma y tiempo previstos.

Algunas organizaciones atribuyen estas dimensiones al criterio “Desempeño”. El uso de término “Actividad” es más habitual en las instituciones socio-sanitarias.

COBERTURA: Evaluar si un Programa está llegando a la población beneficiaria y la forma en que lo hace. Debe permitir calcular la tasa de cobertura, los posibles sesgos y los problemas de accesibilidad para acceder al programa. Estos dos últimos aspectos pueden quedar recogidos en los criterios de ACCESIBILIDAD y de EQUIDAD.

COORDINACIÓN: Se refiere a la valoración de las interacciones existentes entre los equipos de las diferentes instituciones o departamentos implicados en el programa, dirigidas a sincronizar y armonizar constantemente entre sí, las actividades, los medios y recursos humanos empleados en la consecución de los objetivos del Programa. La coordinación debe estar al servicio de los otros criterios de evaluación (eficacia, eficiencia, equidad, etc.).

EFICACIA/EFECTIVIDAD: Alude al alcance de los objetivos específicos y de los resultados u objetivos operativos del Programa, en la población beneficiaria, en el periodo de tiempo que se estime conveniente por el equipo evaluador y sin considerar los costes en los que se incurre para obtenerlos. En este sentido, se entenderá eficacia como sinónimo de efectividad.

EFICIENCIA: Medida del logro de los resultados u objetivos operativos en relación con los recursos (económicos, humanos, materiales y de tiempo) que se consumen.

Se trata de valorar el equilibrio que existe entre el logro de objetivos y los recursos consumidos.

EQUIDAD: Evalúa si los productos (“outputs”) y los efectos (“outcomes”) del Programa se distribuyen por igual (cuando es lo que procede), o en proporción a los más necesitados (cuando se debe realizar una discriminación positiva). En nuestro contexto nos ocuparemos de la equidad de clase social, de procedencia cultural, de género y territorial.

IMPACTO: Se refiere a todos los efectos provocados por el programa, positivos y negativos, esperados y no esperados. Mientras que la eficacia muestra el cumplimiento de los objetivos específicos y los operativos del programa, el impacto expresa los logros que traduciríamos como el cumplimiento del objetivo global o general del programa con respecto a la población-meta.

El punto de partida para analizar el impacto ha de ser el grado de eficacia alcanzado. A partir de ahí nos podemos preguntar qué otros efectos, positivos o negativos, esperados o no, han tenido lugar como resultados de las acciones del programa. Los efectos pueden ser organizativos, económicos, tecnológicos, sociales, políticos, sanitarios, etc.

PARTICIPACIÓN: Establece el juicio sobre si el programa ha sido promovido, diseñado, ejecutado y evaluado con el protagonismo real de los beneficiarios.

PERTINENCIA: Es la adecuación de los objetivos y resultados del programa al contexto en el que se realiza y, en este sentido, contempla también la adecuación a las prioridades y necesidades de la población beneficiaria. Se debe valorar el grado de adaptación del Programa (sus objetivos, acciones, metodología…) al contexto  geográfico, cultural, institucional, etc.

Evaluación: cuando es mejor no hacerla

•        Cuando una actividad es extremadamente popular, se desea mantener a toda costa, aunque haya sido demostrada que tiene un efecto desechable ^[1]

•        Cuando la evaluación es tan costosa como la continuación del programa que “parece ir bien”^[1]

•        Cuando no se tiene intención de cambiar o de pagar el coste del cambio (se quiere el imposible de “programas de coste cero”). ¿Para que poner en evidencia la necesidad de cambios?