En el trabajo de asistencia
técnica y extensión para promover innovaciones, solemos organizar capacitaciones,
reuniones, talleres, asistencia técnica, plataformas digitales o proyectos
colaborativos. Pero, tarde o temprano, aparecen preguntas incómodas:
¿Cómo saber si realmente
generamos innovación?
¿Todo nuestro esfuerzo realmente
produjo algún cambio?
No son cuestiones menores. Porque
una cosa es hacer actividades y otra muy distinta es generar impacto.
Descubre aquí una guía sencilla
para evaluar el impacto de nuestros procesos de apoyo a la innovación.
En esta comunidad proponemos
entender la innovación
como el producto de los sistemas de información y conocimiento que las
personas construyen cuando desean resolver un problema o aprovechar una
oportunidad.
Si aceptamos esta definición,
entonces evaluar el impacto no consiste solamente en contar cuántas personas
participaron de un curso o cuántos folletos se distribuyeron. Consiste en
comprender qué cambió en las personas, en sus relaciones y en sus formas de
actuar gracias a ese nuevo sistema de información y conocimiento.
La evaluación de impacto busca
justamente responder esa pregunta. Saber si nuestro esfuerzo no fue
desproporcionado en relación con el resultado, o mucho peor aún, saber simplemente
si nunca estuvieron conectados de forma fiable desde el principio.
¿Qué es la evaluación de impacto?
La evaluación de impacto es un
proceso sistemático que intenta comprender qué cambios produjo una
intervención y en qué medida esos cambios pueden atribuirse al trabajo
realizado. El término “impacto” lo usaremos aquí como sinónimo de “cambio”,
“resultado” o incluso “efecto”.
No se trata únicamente de
verificar si se hicieron las actividades previstas. Se trata de un “proceso
sistemático” (no un acto discreto) que se organiza para poder responder preguntas
como:
- ¿Las personas aprendieron algo nuevo?
- ¿Comenzaron a trabajar de otra manera?
- ¿Construyeron nuevas relaciones?
- ¿Tomaron mejores decisiones?
- ¿Lograron resolver el problema que motivó el
proceso?
- ¿Aparecieron efectos inesperados?
En otras palabras, la
evaluación de impacto intenta descubrir la historia del cambio. Hechar luz
sobre la complejidad de un proceso de innovación. Para comprenderlo mejor y
capitalizar la experiencia para el futuro. Es un acto que nos ayuda a recuperar
los aprendizajes de la tarea de apoyo a la innovación.
¿Para qué sirve evaluar el impacto?
Existen muchas razones que
podemos considerar para responder esta pregunta. Aquí van algunas de las más
comunes.
1. Aprender
Permite descubrir qué es lo que funcionó,
y qué no.
Muchas veces un proyecto obtiene
buenos resultados por razones distintas a las que imaginábamos. Otras veces
fracasa por causas que nunca habíamos considerado. La evaluación transforma
esas experiencias en conocimiento.
2. Mejorar
Cuando sabemos qué aspectos
generan mayor impacto podemos ajustar nuestras estrategias.
No evaluamos para juzgar. Evaluamos
para aprender a hacerlo mejor.
3. Rendir cuentas
Los financiadores, las
instituciones y la sociedad necesitan saber qué ocurrió con los recursos
invertidos.
Pero la rendición de cuentas no
consiste solo en mostrar una lista de actividades realizadas. También consiste
en demostrar qué cambios lograron esas actividades.
4. Justificar nuevas
inversiones
Cuando una experiencia demuestra
evidencia de impacto resulta mucho más sencillo conseguir nuevos recursos para
ampliarla.
Una buena evaluación de impacto
es una “carta” de presentación para conseguir nuevos proyectos de apoyo a la
innovación.
Una aclaración importante
Uno de los errores más frecuentes
consiste en creer que impacto significa solamente obtener resultados
positivos. No es así. Toda innovación puede influir al menos sobre 3 tipos de
dimensiones.
Por un lado, el impacto puede ser
analizado desde el BALANCE, como POSITIVO o NEGATIVO.
Pero también, el impacto puede
ser considerado desde la EXPECTATIVA, como ESPERADO o INESPERADO.
O también, puede ser calificado
por su momento de MANIFETACION, como DIRECTOS e INDIRECTOS.
Estas opciones nos permiten dar
al análisis de los impactos, más oportunidades que la que ofrece la visión
positivista de balance (positivo-negativo) que normalmente viene asociada con
esa palabra.
Incluso puede ocurrir que el
mayor impacto haya sido evitar un problema. Por ejemplo: Una
organización crea un sistema colaborativo para compartir información sanitaria
entre productores.
Si durante dos años no aparece
ninguna emergencia importante. Eso significa que ¿No hubo impacto? Muy
probablemente no sea una falta de impacto, sino todo lo contrario. La
manifestación del impacto es precisamente la inexistencia de emergencias. En
esa situación, el sistema permitió prevenir pérdidas que probablemente habrían
ocurrido si esa red de información no hubiera existido. Evitar daños también es
generar impacto.
Antes de evaluar hay que responder una pregunta ¿Cómo creemos que ocurre el cambio?
Toda evaluación debería comenzar
construyendo una hipótesis sencilla que sirva para entender el análisis. Esto
es, conocer la cadena de causa-efectos que ocurrieron sobre el proceso que
estaremos evaluando.
Por ejemplo: si los productores
comienzan a intercambiar experiencias entre ellos, entonces aumentará la
circulación de información. Eso permitirá construir nuevo conocimiento. Ese
conocimiento facilitará mejores decisiones. Y finalmente aparecerán
innovaciones.
Esta secuencia recibe distintos
nombres. Algunos la llaman teoría del cambio. Otros la llaman lógica
de programación.
Lo importante no es el nombre. Lo
importante es hacer explícita la cadena que conecta nuestras acciones con los
cambios esperados. Porque solamente podremos evaluar aquello que primero fuimos
capaces de imaginar.
Si te interesa profundizar en
este tema puntual, te invito a revisar y aprovechar el concepto de BRECHA
de ATRIBUCIÓN que tratamos en este
otro posteo y que tiene una conexión muy directa y necesaria para el
análisis posterior a la evaluación del impacto de los procesos de apoyo a la
innovación. Te invito
a leerlo.
Porque no solo necesitamos
conocer el impacto, sino también dar “fe” que ese impacto es consecuencia de
nuestras acciones, y no un resultado del azar o de la alineación de condiciones
ajenas a nuestro esfuerzo.
Una guía práctica para evaluar el impacto
- Paso 1. Definir cuál es el problema bajo análisis
Toda innovación nace porque
alguien quiere cambiar una situación. La evaluación comienza describiendo
claramente ese problema.
Ejemplo: "Los productores no
compartían experiencias sobre manejo del agua."
- Paso 2. Explicar qué sistema de información y conocimiento se buscó construir
Aquí aparece el verdadero objeto
de evaluación. No evaluamos únicamente talleres. Evaluamos si las personas
construyeron nuevas formas de aprender juntas.
Ejemplo: reuniones mensuales, grupo
de WhatsApp, visitas cruzadas, experimentación colectiva, intercambio entre
técnicos y productores.
- Paso 3. Identificar los cambios esperados
No todos los cambios aparecen al
mismo tiempo. Conviene diferenciarlos. Generalmente se producen:
Cambios inmediatos: mayor
acceso a información; nuevas conversaciones; aumento de la participación.
Cambios intermedios: incorporación
de prácticas nuevas; decisiones diferentes; mayor cooperación.
Cambios de largo plazo: mejoras
productivas; mayor resiliencia; reducción de costos; fortalecimiento
organizacional; nuevas innovaciones.
- Paso 4. Elegir indicadores
Los indicadores son señales que
permiten observar si el cambio realmente ocurrió. No siempre deben ser números.
Muchas veces una buena entrevista explica más que una planilla.
Lo recomendable es combinar
indicadores cuantitativos y cualitativos.
- Paso 5. Buscar también los efectos inesperados
Una buena evaluación siempre deja
espacio para descubrir sorpresas. Tal vez el proyecto no produjo exactamente el
cambio previsto. Pero generó otros igualmente valiosos. O incluso consecuencias
negativas que será necesario corregir.
- Paso 6. Preguntarse por qué ocurrió
Aquí aparece la pregunta más
difícil. No basta con saber que algo cambió. Necesitamos comprender por qué
cambió.
¿Qué parte del proceso fue
decisiva?
¿Qué otros factores influyeron?
¿Qué habría ocurrido si la
intervención no existiera?
Estas preguntas ayudan a
distinguir coincidencias de verdaderos efectos.
Algunos ejemplos de indicadores
La siguiente tabla muestra
algunos indicadores que pueden servir como inspiración para adaptarlos a
distintos procesos de apoyo a la innovación.
|
Lo
que queremos observar |
Posibles
indicadores |
Ejemplo |
|
Circulación
de información |
Número
de intercambios entre actores |
El
grupo pasó de reunirse una vez al año a compartir información semanalmente. |
|
Construcción
de conocimiento |
Personas
que modificaron su forma de comprender un problema |
El
70 % declaró haber cambiado su manera de analizar la gestión de un proceso. |
|
Colaboración |
Nuevos
vínculos generados |
Se
conformaron cuatro grupos de trabajo entre instituciones que antes no
colaboraban. |
|
Innovación |
Nuevas
prácticas implementadas |
Veinte
participantes comenzaron a utilizar una tecnología desarrollada
colectivamente. |
|
Capacidad
de aprendizaje |
Frecuencia
con que revisan y mejoran sus acciones |
El
equipo incorporó reuniones mensuales de reflexión sobre errores y
aprendizajes. |
|
Sostenibilidad |
Continuidad
del proceso sin apoyo externo |
Dos
años después la red continúa funcionando de manera autónoma. |
|
Prevención |
Problemas
evitados |
Se
redujo significativamente la aparición de conflictos gracias a protocolos
construidos colectivamente. |
¿Qué preguntas conviene hacerse?
Una evaluación de impacto suele
combinar distintos tipos de preguntas. A continuación se presenta una lista
acotada de posibles preguntas, organizadas en categorías de análisis que pueden
resultar de utilidad. Se sugiere usar como inspiración, y adaptar o crear
preguntas adaptadas a la situación que se está evaluando.
Preguntas descriptivas
¿Qué cambió?
¿Qué ocurrió?
¿Quiénes participaron?
Preguntas explicativas
¿Por qué ocurrió?
¿Qué factores ayudaron?
¿Qué obstáculos aparecieron?
Preguntas valorativas
¿Valió la pena?
¿Los cambios fueron relevantes?
¿Las personas consideran útil la
experiencia?
Preguntas económicas
¿Los beneficios justificaron los
recursos utilizados?
¿Existían alternativas más
eficientes?
Aunque estas preguntas son
importantes, conviene ser prudentes. No todo lo valioso puede expresarse
fácilmente en dinero. Procesos como el fortalecimiento de la confianza, el
aprendizaje colectivo o la construcción de redes suelen ser decisivos para la innovación
y, sin embargo, resultan difíciles de monetizar.
El mayor error: confundir actividades con impacto
En procesos de asistencia técnica
o extensión para facilitar innovaciones, es frecuente encontrar informes que
muestran productos: 12 talleres realizados; 450 participantes; 28
reuniones; 1 manual publicado.
Este tipo de informes no dice
nada sobre el impacto.
El impacto comienza cuando esas
actividades modifican la manera en que las personas acceden a información, construyen
conocimiento, toman decisiones, colaboran y resuelven problemas.
En otras palabras:
Las actividades no cambian la
realidad. Las personas cambian la realidad cuando construyen nuevos sistemas de
información y conocimiento que orientan acciones diferentes.
La metáfora del árbol es una
buena representación para evitar este error. La imagen que ilustra este
post representa esta metáfora. Imaginemos un árbol frutal: las raíces
representan el conocimiento acumulado; el tronco simboliza las relaciones que
sostienen el proceso; las ramas son las actividades que realizamos: reuniones,
capacitaciones, visitas, experimentaciones, plataformas, materiales.
Pero nadie planta un árbol para
tener ramas. Lo planta para cosechar frutos. Con los procesos de innovación
ocurre exactamente lo mismo.
Muchas veces dedicamos enormes
esfuerzos a fortalecer las ramas —hacer más talleres, producir más documentos,
organizar más encuentros— sin detenernos a observar si realmente aparecieron
los frutos.
La evaluación de impacto consiste
precisamente en mirar el árbol completo y preguntarnos: ¿Qué frutos produjo
este proceso? Y, si no aparecieron, intentar comprender por qué.
Para seguir pensando...
Antes de cerrar este artículo,
vale la pena hacerse algunas preguntas:
- ¿Qué estamos evaluando hoy: actividades, productos,
resultados o impactos?
- Si mañana desapareciera nuestro proyecto, ¿qué
cambios permanecerían en las personas y en las organizaciones?
- ¿Qué evidencias tenemos de que las decisiones
comenzaron a cambiar?
- ¿Qué aprendizajes inesperados surgieron durante el
proceso?
- ¿Qué efectos negativos o no previstos también
produjo nuestra intervención?
Si tuviéramos que empezar
nuevamente, ¿haríamos exactamente lo mismo?
Una idea para llevarse
Quizá la mejor manera de entender
la evaluación de impacto sea a través de una pregunta sencilla, pero
transformadora: no preguntes solamente qué hiciste; pregúntate qué cambió
gracias a lo que hiciste. Cuando concebimos la innovación como un proceso
social de construcción colectiva de información y conocimiento, evaluar deja de
ser una obligación administrativa para convertirse en una herramienta esencial
de aprendizaje y mejora continua.
Evaluar el impacto no significa
mirar hacia atrás para justificar el pasado, sino comprender qué cambios
logramos generar para diseñar mejores procesos de innovación en el futuro. El
verdadero valor de una iniciativa no se refleja en la cantidad de reuniones
realizadas, los documentos producidos o las personas alcanzadas, sino en las
conversaciones que se transforman, las relaciones que se fortalecen, las
decisiones que comienzan a tomarse de otra manera y la capacidad que las
personas desarrollan para seguir aprendiendo y construyendo juntas, incluso
cuando el proyecto ha concluido.
El impacto es el cambio que
permanece cuando la intervención ya no está presente. Ese es el fruto que
realmente vale la pena cultivar y la razón por la que evaluar no es el final de
un proceso, sino el comienzo de uno mejor.
Video resumen
https://youtu.be/5tzuld6mdjk
Palabras claves
#Impacto #Innovación #Evaluación
#Procesos #Gestión #Cambios #Conocimiento #Brecha atribución #Asistencia
técnica #Capacitación #Indicadores de evaluación #Recursos #Información
Recursos usados
5 pasos para recuperara aprendizajes en la tarea de extensión https://redextensionrural.blogspot.com/2018/02/5-pasos-para-recuperar-aprendizajes-en.html
La brecha de atribución en la tarea de extensión. https://redextensionrural.blogspot.com/2019/09/la-brecha-de-atribucion-en-la-tarea-de.html
Para no confundir información con conocimiento. https://redextensionrural.blogspot.com/2016/03/para-no-confundir-informacion-con.html
NOTA: Si te ha gustado el post, puedes dejar tus comentarios o consultas. Suscribirte para recibir en tu buzón las siguientes entradas de este blog. Si quieres contactar al autor escribir a: Adrián Gargicevich
También puedes seguir a Extensión para Extensionistas en:
YouTube: https://www.youtube.com/channel/UCae9skGSI8bSunH_SFm_3iA?view_as=subscriber
Telegram: https://t.me/+ODehcfWdlNsxY2Fh
Substack “5 minutos por semana para la extensión y la innovación” https://extensioneinnovacion.substack.com/embed
Spotify https://open.spotify.com/show/6M357iDMFkbqtZTdOJs4dV?si=811097f5722b471a
Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.
No hay comentarios:
Publicar un comentario