Construcción de evidencia

¿Cómo evaluar un programa?

Como hemos mencionado en las sesiones anteriores evaluar un programa es como cocinar. Tú empiezas por seleccionar la receta, reunir los ingredientes, y luego los transformas en una deliciosa comida. En evaluación, tú inicias por decidir qué tipo de evaluación vas a llevar a cabo, juntas la información, y luego la transformas. Para poder transformar esta información tú necesitas aprender cómo organizarla, analizarla, e interpretar los datos.  En esta sección vamos a revisar ese proceso.  

Probablemente ya reúnes una enorme cantidad de información acerca de tu programa. Por ejemplo, información acerca de quién está usando tus servicios y a cuantas personas ven cada día. Esta información se le llama datos en bruto o crudos. Para hacer que estos datos brutos sean útiles  tienes que transformarlos en información que tenga significado a través de la organización, análisis e interpretación de los mismos.  Estos datos brutos pueden ser en forma de números (lo que denominamos datos cuantitativos) o palabras (lo que denominamos datos cualitativos).  

Datos cuantitativos

El primer paso es organizar los datos de una manera en la que sea fácil entender y encontrarlos.

Podríamos pedirles a los participantes  que  llenen una encuesta y que nos digan cuál es su edad, genero, lugar de origen, etc. Para organizar estos datos en una manera de que podamos entenderlos y encontrarlos fácilmente, entramos los datos (información) de cada encuesta en una tabla en Word o en una hoja de cálculo en Excel.

Aquí tienes un ejemplo de una tabla que creamos utilizando datos cuantitativos (números) con los participantes de la encuesta:

Número de participantes Edad Sexo/género Lugar de origen Promedio de años de domicilio Años de educación Número de actividades a las que atiende en el año
1 32 Hombre Minneapolis 9.7 6 2
2 48 Mujer Saint Paul 11.6 10 5
3 40 Hombre Chaska 7.5 12 3

Esta tabla nos permite de una manera más fácil ver toda la información que hemos reunido. Si no hubiéramos creado esta tabla tendríamos que leer todas las encuestas cada vez que quisiéramos aprender algo de nuestros participantes/clientes.  

Análisis de los datos cuantitativos

El próximo paso es analizar los datos de manera que podamos obtener información que nos dice algo que queríamos saber.

Por ejemplo, podemos analizar los datos de la tabla que hicimos de los participantes en la encuesta para que nos diga algo acerca de las personas que utilizan nuestros servicios. Las formas más comunes del análisis de los datos incluyen el conteo de frecuencia y el promedio.

Análisis de la muestra

  • 3 participantes (Conteo de frecuencia)

  • 40 años  (Edad promedio)

  • 1 mujer y 2 hombres (Conteo de frecuencia)
Interpretación de los datos cuantitativos

El siguiente paso es interpretar los datos de manera que sean útiles para nosotros.

Análisis de la muestra

Se observa que de l@s tres participantes la edad promedio es 40 años, y que tenemos más participantes hombres que participantes mujeres. 

Como puedes ver, pudimos transformar los datos brutos que teníamos en la tabla en un párrafo breve que nos ofrece información significativa acerca de los participantes  en el programa. Ahora veamos cómo transformamos los datos cualitativos en bruto (palabras).

Datos cualitativos

La mayoría de los datos cualitativos (palabras) que recolectamos provienen de las grabaciones de entrevistas o de las conversaciones en los grupos focales. Otras veces utilizamos los datos de las notas ya sea del personal o de l@s participantes que colectamos acerca del programa o de alguna actividad específica del programa.

Organización de los datos cualitativos

Al igual que con los datos cuantitativos, el primer paso es organizar los datos. Con los datos cualitativos esto quiere decir que necesitamos transcribir la información de la grabación a un documento en Word o las notas escritas a mano a un documento en Word. Esto te permite tener toda la información en un mismo formato para que puedas analizarla.

Análisis de los datos cualitativos

El siguiente paso es el análisis de los datos y que consiste en identificar los temas principales o sobresalientes.  La siguiente guía de paso a paso te servirá de ayuda en este proceso:

  1. Primero, debes escribir todas tus observaciones acerca de la actividad, y de los temas o asuntos que tú recuerdas.

  2. Lo siguiente es revisar tus notas y/o las transcripciones. Comienza por subrayar y darle una etiqueta o título a estos temas. Por ejemplo, si tú notas que varios temas tienen que ver con la manera efectiva de involucrar a la comunidad, una etiqueta puede ser participación de la comunidad.

  3. Repetí este mismo proceso con el resto de la información que hayas acumulado.

  4. A la largo que etiquetas los temas, tu empezaras a notar que los temas se repiten (esto es lo que denominamos temas repetidos).

  5. Lo siguiente es colocar junto todos los temas que son similares. Quizás tendrás que unir varios temas para reducir los resultados a una cantidad que sea manejable. 
     
  6. Esta lista de temas es el resultado de tu análisis.

Ahora veamos un ejemplo. Esta muestra de un tema fue obtenida de una actividad con un grupo focal de jóvenes acerca del programa de la Acción Diferida para los llegados en la Infancia (DACA).

“DACA me ha permitido ingresar a la universidad en otro estado. Sin DACA yo nunca hubiera aplicado a una universidad lejos de casa, porque yo sabía que no podía viajar con seguridad alrededor del país dado a la situación con mis papeles.”

De estas oraciones pudimos identificar los siguientes temas:

  • TEMA: Aumento de las oportunidades de educación

    • DACA expandió el número de universidades a las que l@s jóvenes pueden aplicar

    • DACA le permite a l@s jóvenes considerar más oportunidades educacionales

  • TEMA: Seguridad

    • El programa protege a l@s jóvenes sin importar su situación migratoria
Interpretación de los datos cualitativos

El paso final es la interpretación de los datos (deducir el significado de los datos).

Análisis de la muestra

Del testimonio de uno de l@s participantes, nos fue posible aprender acerca del impacto positivo que la implementación de la Acción Diferida para los llegados en la Infancia, también conocida como DACA ha tenido en la vida de l@s jóvenes participantes al abrirles más puertas para oportunidades educativas y aumentar la sensación de seguridad. 

Este trabajo puede ser una gran oportunidad para incrementar la capacidad de tu personal, l@s líderes comunales, o/y organizaciones aliados a través de su involucración en el proceso.  

Si tú no tienes una persona en tu personal que pueda llevar a cabo este proceso, debes considerar la posibilidad de contratar un evaluador externo. Para información que te puede guiar en ese proceso por favor visita la sección Evaluadores externos.