Pequeños grandes proyectos
(Little Big Projects)
Evaluando la incidencia y las lecciones aprendidas de los proyectos
del programa "Desarrollo de Capacidades para el uso de Internet en América
Latina y el Caribe" (CapDev) del CIID
por Yacine Khelladi <yacine@aacr.net>
http://kiskeya-alternative.org/yacine
4 Agosto 2000
Presentación:
Entre Enero 1999 y Mayo 2000, el programa "Desarrollo de Capacidades
para el uso de Internet en América Latina y el Caribe" (CapDev)
del CIID ha apoyado con pequeñas donaciones, unos 14 proyectos de
desarrollo de capacidades en el uso de las nuevas tecnologías, y
de aplicaciones o usos innovadores, organizadas por instituciones de la
sociedad civil en Latinoamérica y el Caribe.
Si la formación y capacitación al uso de Internet en las
instituciones están presentes en la mayoría de los proyectos,
también encontramos en estos "mini" proyectos la exploración
de aplicaciones y usos innovadores como, entre otros, redes de información
alternativa para la paz, centros virtuales de recursos para las mujeres
y sus organizaciones, la exploración de la navegación y creación
de contenidos como apoyo a la educación no formal, la connectividad
en la selva amazónica o en las junglas urbanas marginales, el apoyo
al proceso de observación electoral, la promoción del periodismo
indígena, el apoyo a la integración social de jóvenes
de pandillas urbanas, la información sistematizada para la participación
de la sociedad civil en la reconstrucción de países devastados
por fenómenos naturales, etc.
Si bien estos proyectos son muy interesantes por el refuerzo de la capacidad
de acción de instituciones y por las aplicaciones innovantes para
el desarrollo, su gestión genera un alto costo institucional y administrativo
en relación a su tamaño presupuestario. Esto provoca un legitimo
auto cuestionamiento del CIID, para saber si los resultados y procesos
impulsados valen la pena desplegar diez veces más de esfuerzo administrativo
que para un solo proyecto de tamaño tradicional.
Para responder a esta pregunta se elaboró y se esta aplicando,
a manera de un monitoreo, un marco metodológico para investigar
que incidencia tiene estos pequeños aportes, mas allá de
las actividades realizadas. Algunas de las principales preguntas son: ha
incidido el proyecto en transformar las realidades y los contextos, internos
y externos, en el que se desenvuelve la institución? ha mejorado
la capacidad sus miembros/as y el alcance de sus proyectos? han permitido
la realización de un proyecto mayor? ha propiciado la difusión
de un uso innovador sistematizado?
Este articulo describe el marco metodológico elaborado, así
como los primeros resultados de la evaluación y algunas de las recomendaciones
e hipótesis emergentes en del proceso en curso que culminara a mitad
del año 2001 .
CONTENIDOS
1- Contexto de la actividad
2- Construyendo una metodología de evaluación de "impacto"
en desarrollo de capacidad Internet
2.1
Objetivos y proceso metodológico
2.2 Características
2.3 De Variables e Indicadores
2.3.1 Desenvolvimiento institucional
2.3.2 Incidencia del proyecto hacia fuera
2.3.3. Articulación y resultados del proyecto
2.3.4 Incidencia sobre la cuestión de género en las instituciones
2.3.5 Herramientas elaboradas
3 Un vistazo a los proyectos del "Capdev"
4 Primeros resultados e hipótesis preliminares.
4.1 Primeros proyectos observados
4.2 Notas sobre algunos proyectos aún en observación
4.3 Primeras constataciones e hipótesis
Importancia de la visión y antecedentes para adopción
y uso estratégico
Perspectiva de género
4.3 Embrión de recomendaciones :
Anexo 1: Tablas de Variables e Indicadores Metodológicos
Anexo 2 referencias sobre metodologías de evaluación
de impacto de proyectos de TICs
1-
Contexto de la actividad
En 1998, el Centro Internacional de Investigación para el Desarrollo
(CIID), decide lanzar un programa de pequeños aportes al desarrollo
de capacidad de uso de Internet para instituciones y investigadores/as
de América Latina el Caribe, con varios objetivos que son:
-
responder a las crecientes demandas de entrenamiento en el uso de Internet,
desarrollo de Web y redes, provenientes de sectores de la sociedad civil
que estaban anteriormente excluidos del acceso a las TICs.
-
mejorar la capacidad de uso efectivo de los recursos tecnológicos,
experimentar usos innovadores e integrarlos en proyectos PAN futuros
-
conocer nuevos socios potenciales para una futura colaboración a
nivel regional con otros proyectos de la iniciativa de programa PAN y un
efectivo enlace con otras actividades ya apoyadas por la institución.
El programa "CapDev" ha invertido entre 14 proyectos la suma de aproximadamente
200,000 dólares canadienses apoyando con ello pequeñas actividades
de entrenamiento, desarrollo de capacidades y usos inovadores, organizadas
instituciones seleccionadas en Latinoamérica y el Caribe.
2-
Construyendo una metodología de evaluación de "impacto" en
desarrollo de capacidad Internet
Una de las características igualmente innovadoras de este programa,
es la integración desde su inicio del componente de evaluación,
para el cual un consultor externo ha sido contratado.
2.1
Objetivos y proceso metodológico
Los objetivos de este proceso de evaluación son múltiples
y son de interés para la comunidad de investigación y para
practicantes del desarrollo y la cooperación, al mismo tiempo que
responden a la lógica y necesidades internas del CIID.
Internamente pues, el CIID desea medir la efectividad relativa de este
mecanismo de pequeñas donaciones de apoyo que representa un costo
interno muy alto dados los procesos administrativos necesarios para la
gestión y el seguimiento de cada donación.
Las interrogantes que inicialmente este proceso de evacuación
busca responder son las siguientes:
-
vale la pena procesar, en términos de gestión y seguimiento,
10 proyectos de diez mil dólares o uno solo de cien mil?
-
Vale la pena que la agencia desarrollo invierta recursos humanos y financieros
10 veces mas elevados ?
Para formular la respuesta se hace necesario :
A. Establecer en que medida estos pequeños proyectos han contribuido:
-
a mejorar el desenvolvimiento institucional, es decir la capacidad de avanzar
hacia sus objetivos y de cumplir con su misión, gracias a nuevas
herramientas, aplicaciones o usos que respondan a necesidades estratégicas;
-
a incrementar la capacidad individual de los/as investigadores/as y/o profesionales
involucrados; en relación a las metodologías y análisis
utilizados y la restitución y difusión de los resultados
-
a impulsar iniciativas positiva hacia fuera del entorno institucional como
por ejemplo, a grupos similares, homólogos, sector desarrollo, sociedad
civil, etc.
-
a romper los esquemas y mecanismos de desigualdad de género y cualquier
otro tipo de discriminación identificada.
B. Identificar cuál es o cuáles son los factores y elementos
de éxito o fracaso, de incidencia o no incidencia de estos pequeños
aportes mas allá de la simple actividad financiada. Para ello partimos
de una lectura comparativa de los proyectos y de sus impactos, analizados
a la luz de factores hipotéticos.
C. Sistematizar los resultados a fin de identificar:
-
que podemos aprender sobre los procesos de desarrollo de capacidad de uso
de Internet en instituciones de la sociedad civil ligadas al desarrollo
-
cuales son las nuevas áreas o actividades a incursionar por parte
del CIID
2.2
Características
Varias características de la metodología (actualmente
todavía en proceso) representan verdaderos retos :
-
Innovadora: no se pudo detectar a finales del 1998, herramientas especificas
para identificar los efectos del desarrollo de capacidad de uso de las
TICs en las instituciones de la sociedad civil o de desarrollo, había
que diseñarlas. Se sabe de varios procesos en curso, como el proyecto
de la Fundación Acceso sobre el impacto de la adopción de
Internet en las Organizaciones de la sociedad civil de Centro América;
-
Sistemática: la recolección de datos para los fines de la
evaluación se estableció desde el inicio de los proyectos
apoyados (y no, como se hace tradicionalmente solamente después
de su terminación), ello permite comparar en el tiempo hasta seis
meses después de su conclusión;
-
Evolutiva: el marco metodológico se desarrolla y evoluciona con
el trabajo de monitoreo o seguimiento. No se fijo antes de empezar el trabajo;
-
Flexible: esta metodología tiene que adaptarse a las condiciones
de cada acción o proyecto para su aplicación, sólo
se pueden considerar las herramientas aplicables a distancia, ya que no
se puede presupuestar viajes o entrevistas presenciales, ni pasar de 2.5
días de dedicación por proyecto;
-
Focalizada: es evidente, dado el tiempo y los recursos (no seguimiento
in situ) que no se trata de una evaluación de "impacto" de los proyectos,
sino mas bien de identificar pistas, evidenciar si hay "efectos" que inciden
en éstos.
2.3
De Variables e Indicadores
Para cada proyecto al recibir la propuesta y el contrato se elabora una
guía de evaluación en la que se identifican las variables
especificas y se seleccionan las que serán aplicadas a cada actividad
del proyecto. El proceso esta concebido para producir un efecto de retro
alimentación, en la medida en que se van agregando y corrigiendo
elementos.
2.3.1
Desenvolvimiento institucional
La primera interrogante se refiere a identificar si la institución
debido al uso de herramientas TICs, ha mejorado su desenvolvimiento, su
capacidad operativa y de gestión para alcanzar sus objetivos; y
así poder responder y actuar globalmente y en consecuencia.
Hasta ahora hemos definido cuatro variables:
-
el uso diferenciado y la integración de las diferentes herramientas
en las distintas áreas y sectores de acción de la institución,
así como en los procesos desarrollados: hemos identificado: capacitación
y formación / producción / servicios / ejecución de
proyectos / administración / comunicación (interna y externa)
(ver Lanfranco 1998)
-
los cambios en la visibilidad y relaciones externas de la institución
-
si el uso de las nuevas herramientas ha influenciado en la capacidad de
los individuos a responder a sus tareas, mejorando con ello la calidad,
eficiencia, eficacia en el trabajo realizado
-
si el aporte recibido ha dinamizado o potencializado el diseño,
la financiación, o la ejecución hacía un proyecto
mas amplio,
Los indicadores para estas variables son numerosos y se escogen en
función de la naturaleza del proyecto y del grupo o institución
sujeto/objeto de la donación.
Hemos identificado los siguientes indicadores:
-
el nivel de integración y uso (qué, para qué, frecuencia)
en cada área antes y después, (herramientas y funciones "telematizadas"
), a nivel de institución y de individuos
-
el "efecto" formación, con medición antes y después,
-
la adecuación de los contenidos de la formación sobre necesidades
identificadas en la institución,
-
las expectativas, las impresiones, la proyección y usos antes y
la aplicación real después, la percepción de cambios
y logros por parte de las personas formadas, y a nivel de institución
-
Se puede también conocer si las TICs ha traído un cambio
potencial en el desenvolvimiento de la institución usando como indicadores
los cambios a nivel de:
-
publicaciones (cantidad y calidad amplitud publico mas amplio)
-
en la participación en eventos,
-
en la cantidad de nuevos presupuestos logrados, la cantidad de nuevos "clientes"
,
-
el aumento o no de proyectos en sinergia o colaboración con otras
instituciones,
-
la evolución del numero de contactos, institucionales
-
la cantidad y calidad de grupos de trabajo interinstitucionales ,
-
el cambio en la presencia en las redes de intercambio temáticas,
regionales, sectoriales;
-
producción de información
-
cantidad, volúmenes
-
calidad de contenidos desarrollados, (ver modelo evaluación
en el Web)
-
la presencia en el Web, (ver modelo de cuantificación usando
buscadores en el Web)
-
identificar planes y marco global del proyecto financiado y como se articulan,
ver si ha resultado la articulación.
-
identificar si ha generado nuevas necesidades, nuevos proyectos, nuevas
maneras de pensar, etc.
Los instrumentos de recolección de información utilizados
son:
-
entrevistas por email y por teléfono
-
aplicación de dos cuestionarios :
-
el primero esta dirigido a la institución, tratando de identificar
las herramientas y los usos en aplicación. Este es aplicado al inicio
del proceso y se repite al final del proyecto.
-
el segundo dirigido a las personas que van a recibir un entrenamiento.
2.3.2
Incidencia del proyecto hacia fuera
En menor medida, dadas las limitaciones en las herramientas que es posible
usar, tratamos de indicar si hay evidencias de que los proyectos han generado
algún nivel de influencia hacia oferta de las instituciones ejecutantes
y si otras instituciones del sector, han resultado beneficiadas o han mejorado
su desenvolvimiento.
Para ello vamos a tratar de identificar :
-
si los grupos no conectados, asociados, de base, etc., se benefician
realmente
-
si los "clientes" de la institución están mejor atendidos
-
si se "consume" la información producida
Los indicadores y los elemento a analizar son:
-
cambios en la circulación de la información con los grupos
no conectados
-
cambios de las estructuras de interrelación con diferentes actores
del sector, redes de intercambio y cooperación horizontales y verticales
-
estadísticas visitas al Web
-
satisfacción "clientes" y /o "consumidores, comentarios, sugerencias,
reacciones
2.3.3.
Articulación y resultados del proyecto
La finalidad es tratar de identificar si los resultados del proyectos
son los esperados, como se articulan, y como se definieron y desarrollaron
las estrategias para alcanzar los objetivos, etc.
-
comparando los resultados esperados con los obtenidos, ver si la
articulación del proyecto estaba definida correctamente y hay adecuación
entre estrategia, actividades proyectadas, necesidades, objetivos , etc.
-
identificar más elementos de éxito o fracaso, del porqué
y cómo estos efectos y resultados han sido posibles o no?
Para estos vamos a identificar y analizar:
-
el historial y génesis del proyecto (como surgió) marco de
este proyecto ,
-
perfil de los responsables, y ejecutores ( visión y cultura de red,
posible gatekeepers or enablers)
-
antecedentes y experiencias en proyectos similares/ relacionados
-
a partir de las posibilidades, entender en que medida la estructura y organigrama
institucional es adaptado, o representa un factor limitante y/o de potencialidad
-
comparar objetivos planificados / resultados esperados del proyecto con
resultados finales documentados
-
articulación de los componentes del proyecto, estrategia, metodología,
recursos, etc.
-
oír las historias, preguntar si lo volvieran a hacer que cambiarían,
y si recomendarían hacer lo mismo a una institución gemela.
2.3.4
Incidencia sobre la cuestión de género en las instituciones
Una atención particular se dedica a identificar en los proyectos
"Cap-Dev" si hay indicadores de que se ha logrado un incidir en la desigualdad
de género .
El primer paso consiste en identificar si la dimensión de género
ha sido integrada desde la definición del proyecto o si la institución
tiene establecida una política institucional de género
Para identificar "incidencias" se buscará saber si el proyecto
ha permitido en la institución un mayor empoderamiento de las mujeres,
es decir
- una mayor participación real de las mujeres en las esferas
de decisión
- un mayor acceso a los recursos disponibles
- un mayor control sobre esos recursos
El comportamiento de estos indicadores será analizado en las actividades
y/o acciones programadas y realizadas, identificando en particular:
- a quién (es) y en qué proporción están
dirigidas las acciones (Hombres y Mujeres)
- si en el diseño y en la ejecución de los proyectos
las mujeres han logrado penetrar los espacios de toma de decisión
- si se han planificado explícitamente acciones dirigidas a
alcanzar una mayor independencia de las mujeres en uso y manejo de las
herramientas tecnológicas (acceso, formación, prioridad uso)
Para este ultimo elemento se identificará, en la medida de los
posible:
-
quienes controlan (H/M) los recursos y como se organiza el control
-
el análisis del sistema de dirección y la estructura de poder
(quienes dirigen -H/M-) ,
-
si ha integrado en la formación elementos para :
-
cambiar la actitud de las mujeres frente a las herramientas tecnológicas
-
compensar el desequilibrio en la formación general
-
presentar imágenes de la tecnología relacionadas al mundo
femenino
-
identificar usos en función del género, para permitir a las
mujeres uso mas atractivo (no repetitivo o monótono)
2.3.5
Herramientas elaboradas
Hasta la fecha, una serie de herramientas han sido elaboradas (las mismas
se describen a continuación, a sabiendas que se van perfeccionando
y completando en la medida que avanza la actividad que este proceso metodológico
se va aplicando) :
Estas son:
-
Cuestionario sobre usos de Internet
-
Cuestionario previo y posterior a la formación para identificación
de expectativas y medición de cumplimiento;
-
guía para entrevista contexto y antecedentes;
-
modelo para evaluar peso presencia en el Web;
-
análisis de calidad de Web;
-
guía de entrevista post-proyecto;
-
ficha final análisis de proyecto;
-
Y una lista de referencias sobre metodologías de evaluación
de impacto de proyectos de TICs (ver anexo2)
Deberían estar publicadas, mas adelante, en su versión
publica junto a este en el URL: http://kiskeya-alternative.org/yacine/pub/capdev
3
Un vistazo a los proyectos del "Capdev"
El programa de desarrollo de capacidad para el uso de Internet ("Capdev")
financió 14 proyectos en 11 países de América Latina
y del Caribe, organizaciones sin fines de lucro (Ongs y/o OSCs). Podemos
identificar en estos proyectos actividades que relevan la presencia de
un desarrollo de la capacidad Internet (connectividad y formación)
y algunas otras que implican una aplicación o una actividad innovadora
con uso intensivo de las TICs. Algunos proyectos se limitan a una sola
categoría pero la mayoría integran las dos.
En la tabla siguiente presentamos los proyecto y sus componentes principales
Institución /País |
Proyecto |
Actividades desarrollo de capacidad |
Desarrollo de usos y aplicaciones |
(1) ISIS- Internacional Chile
(*) |
"Recursos Informáticos
de las Mujeres y el uso de Internet en ALC" |
Formación de miembr@s de
las institución uso Internet |
Desarrollo de un catastro de recursos
sobre la mujer |
(2) SAKS Haití
(*) |
"Proyecto de Integración
de SAKS al Internet por Ondas" |
Conexión Internet por radio
modem, formación miembr@s |
|
(3) RED Mulher Brasil
(**) |
"Proyecto de capacitación
de "Red Mujer en Educación" |
Formación miembr@s de la
red |
manual uso estratégico
para grupos de base mujeres? |
(4) Comunidad Ashanínka
PERU
(*) |
"Proyecto de equipamiento básico
para la comunicación alternativa de la comunidad Ashaninka y la
capacitación técnica en usos de Internet para el étno
desarrollo comunitario local" |
Conexión directa inalámbrica
en comunidad rural |
usos estratégicos para
el etno desarrollo |
(5) Bellas Artes de Ocaña
Colombia
(***) |
"Navegantes" |
Formación desarrollo de
Web |
talleres raíces: aplicación
a trabajo educación informal con niños y niñas;
publicaciones locales, |
(6) Fundación Multicolor
Colombia
(**) |
"Red SIPAZ" |
Formación especifica producción
de información |
sistema de comunicación
alternativa Red para la Paz |
(7) Colnodo UIB Colombia
(***) |
"Capacitación en usos de
Internet para desarrollo comunitario" |
Entrenamiento al staff de telecentros
barriales |
Producción manuales |
(8) Desafíos / Esteli (Nicaragua)
(**) |
"Impacto del uso de Internet en
el personal de desafíos y lideres de la Red de Jóvenes de
Estelí" |
Formación jóvenes
de unas redes barriales , evaluación de impacto |
|
(9) Alforja Centro América
(***) |
"Apoyo a la participación
de la sociedad civil en los procesos de reconstrucción y transformación
de Centroamerica post-Mitch" |
|
Realización de CD ROM con
información elevante "post Mich" |
(10) Transparencia Perú
(***) |
"Red ciudadana de Información
para la participación de la mujer en los comicios generales de Perú
2000" |
Formación, evaluación
uso |
Producción de material
(CD-ROM), |
(11) Puntos de Encuentro (Nicaragua)
(**) |
"Capacitación en usos de
Internet y monitoreo de su impacto en una ONG" |
Formación, evaluación
impacto en las redes de jóvenes |
|
(12) Binigulazaa Oaxaca México
(***) |
"Red de Intercomunicación
de pueblos indígenas de Oaxaca en Internet" |
Creación instituto información
indígena, formación, desarrollo herramientas y equipos |
Producción de información,
redes temáticas, periodismo alternativo, |
(13) GPDR _ Uruguay
(***) |
"Desarrollo de una Red de grupos
Comunitarios en el Norte Uruguayo utilizando las nuevas tecnologías
de comunicación" |
Capacitación de dirigentes
comunitarios |
red comunitaria |
(14) Asociación de mujeres
de La Calera (Colombia)
(***) |
"Fortalecimiento de la capacidad
de uso de Internet ara la Asociación de Mujeres de la Calera" |
Capacitación mujeres campesinas |
usos estratégicos para
grupo comunitario |
(*) = proyecto terminado evaluación terminada
(31 de Julio 2000)
(**) = proyecto terminado, evaluación en curso
(31 de Julio 2000)
(***) = proyecto en curso, evaluación en curso
(31 de Julio 2000)
4
Primeros resultados e hipótesis preliminares.
4.1
Primeros proyectos observados
Hasta la fecha solo se ha completado el proceso para tres (3) proyecto.
No se ha podido concluir todavía para dos (2) otros que ya han terminado
hace mas de seis meses, por falta o tardanza de respuesta a las encuestas
y entrevistas. Ocho (8) actividades no han concluido formalmente (envío
de informe final).
De estos tres, uno solo ha tenido un real cambio estructural en la capacidad
de la organización y sus miembr@s a desenvolverse. Este proyecto
ha provocado dentro de la institución cambios positivos; también
ha creado nuevas necesidades internas en términos de equipos y formación
suplementaria que hay que atender rápidamente. El impacto hacia
otros grupos/sectores y consumidores de información se hace sentir
pero todavía no con la fuerza potencial que se visualiza. Esto ha
sido posible gracias a la capacidad del equipo y también a la particularidad
de ser un centro de documentación. No se había podido integrar
las TICs con anterioridad por razones institucionales internas. Faltó
articular esta actividad con los esfuerzos para complementar los recursos
en equipos y formación suplementaría, y tiempo.
Un segundo proyecto permitió un cierto avance en la capacidad
de la organización y un efecto multiplicador (visibilidad, lazos,
nuevos proyectos) de la iniciativa de empoderamiento de las TICs. Faltó
la articulación entre las aplicaciones contempladas en la propuesta
original y las estrategias y pautas a seguir. Si aquí se han visualizado
los usos potenciales a mediano/largo plazo, no se planificó la implementación
de los usos estratégicos desde esta etapa, ni parece estar bien
definido el camino hacia su implementación. Pero este proyecto era
una etapa necesaria y el grupo lider tiene una visión amplia e integrada,
que les permitirá seguir avanzando.
El tercero ha tenido un impacto limitado tanto interno como externo,
y trata mal que bien de potencializar un proyecto mas amplio. Sin embargo
pensamos que todavía es tiempo para apoyar este grupo en la articulación
de su visión estratégica y en la sistematización de
búsqueda de recursos, y de esta manera impulsar una incidencia mucho
mas sensible.
En la tabla siguiente se compran las "incidencias" de estos tres proyectos:
|
Proyecto 1 |
Proyecto 2 |
Proyecto 3 |
Aumento capacidad institucional |
salto estructural desde un uso mínimo
a uso generalizado e integrado en los procesos de trabajo (3) |
progreso e incremento medido nivel e uso, no
salto estructural (1) |
únicamente mejora como alternativa de
comunicación externa (1) |
Aumento capacidad individuos |
aumento notable saber hacer para usos básicos
y potencialmente para usos avanzados (2) |
formación mas avanzada de algunos/as,
uso no aún no se evidencio (2) |
limitada al auto aprendizaje, no se realizo
la formación (1) |
hacia fuera, "clientes", homólogos,
sector desarrollo, etc. |
realización de un Web site consistente
y de referencia para especialistas (2) |
gran visibilidad del proyecto de la comunidad
y de la experiencia en organizaciones de apoyo y grupos de comunidades
similares (2) |
limitada hacia los "clientes" o mínima
en la facilitación comunicación con otras instituciones (1) |
efectividad del proyecto vs.
objetivos globales definidos |
se lograron los objetivos planteados (2) |
los objetivos planteados en la definición
son de mucho más largo plazo, no articulación con acciones
previstas(1) |
se soluciono problema de comunicación
básica, no se lograron usos posibles identificados (1) |
aspectos de género |
por naturaleza de la institución
hay sensibilidad al tema pero no hay especificidad en el proyecto (1) |
no (0) |
no (0) |
articulación
potenciación de proyecto mayor |
importante para el proceso global de integración
TIC en el que hacer institucional, falto aspecto de planificación
estratégica (1) |
elemento estratégico para el desarrollo
a la largo plazo del proyecto, logró servir de base para proyecto
de mas amplitud (2) |
hay una idea de proyecto mas amplio pero no
se tiene claro ni que, ni como lograrlo puede ser que ha mas largo plazo(1) |
Notación promedio |
11/18 |
8/18 |
6/18 |
(3 = mucho, muy bueno; 2 = bueno;
1 = un poco; 0 = Insuficiente)
Se espera que para finales del mes de Septiembre 2000 tres o cuatro otros
proyectos puedan ser incluidos y ya tener mas solida base de comparación
de los procesos.
4.2 Notas sobre algunos
proyectos aún en observación
De los proyectos que han concluido sus actividades, pero los cuales
esta tarea de evaluación esta en curso se puede denotar unos cuanto
de alto interés para aprender de este proceso como son:
- un actividad que parece (no se ha podido continuar el proceso por
falta de comunicación) haberse limitado a una formación clásica
de uso de herramientas Internet sin haber realmente integrado aspectos
y visión de desarrollo o de usos estratégicos de interés
de la organización, ni explicitar los elementos para integrar perspectiva
de genero, etc., a pesar de tenerlos formulado en su propuesta original;
- un proyecto de exploración del Internet para la educación
informal, y trabajo socio cultural a nivel local, para el cual su actividad
ha representado a la vez un a salto estructural (casi desde el no uso)
para la manera de conducir sus actividades e investigar, así como
su innovadora aplicación que desde su inicio, a levantado gran interés
en diversos círculos de investigador@s y actores del impacto social
de las nuevas tecnologías;
- otra que ha explorado de manera aparentemente exitosa una aplicación
innovadora y realmente anclada en las realidades sociales locales de alternativa
de la comunicación con objetivos claros, para los cuales hay que
esperar el desarrollo y confirmar la visión inicial;
- un proyecto, que es un eslabón importante dentro de un proyecto
piloto más amplio de telecentros urbanos en zonas marginales (con
potencial de gran impacto demostrativo), aun no siendo muy innovador per
se, puede representar, si es sistematizado y socializado una herramienta
de valor para muchas iniciativas similares;
- un proyecto que presenta un interés al integrar en la capacitación
de jóvenes en el uso de la Internet una investigación sobre
impacto de esta sobre ellos y ellas.
Estas son solo unas actividades más, de las cuales próximamente
se podrán extraer lecciones y elementos de diagnostico transversal
del programa Capdev.
4.3 Primeras constataciones
e hipótesis
Pocas cosas se puede deducir con todo el rigor científico necesario
de solo estos tres primeros casos, pero a partir del análisis que
hemos avanzado sobre los otros proyectos en curso y de la experiencia que
hemos acumulado en el proceso de diseño y aplicación de esta
metodología, ya se pueden delimitar algunas pistas, e hipótesis
que se confirmarán o rechazarán una vez concluido el proceso.
Importancia
de la visión y antecedentes para adopción y uso estratégico
Hemos constatado en varios proyectos una cierta distancia entre los
resultados reales o/y impactos esperados en las instituciones, tal como
se definen en los documentos de proyecto.
El análisis que empezamos, nos lleva a deducir, que esto se debe
a que muchas veces no se integra en el diseño los mecanismos y las
estrategias para alcanzar los objetivos, faltan las pautas o etapas intermedias
para:
- desarrollar los usos estratégicos,
- la integración sistematizada de las herramientas en el que
hacer institucional;
- la adaptación de las estructuras institucionales y los procesos
de trabajo (producción)
- adquirir, preparar o identificar los recursos técnicos, humanos
y las actividades complementarias necesarias a pleno aprovechamiento del
desarrollo de capacidad
Varios factores explican esto, entre los cuales podemos destacar:
-
La falta de integración de una visión estratégica
y global sobre el uso potencial de las TICs para el desarrollo, los retos
y las estrategias, los impactos e implicaciones sociales, técnicos,
laborales, institucionales, etc., que permitan encontrar un camino dentro
de la complejidad del asunto, etc. Es de notar que prácticamente
en ninguna de las actividades de formación o capacitación
se integran estos elementos.
-
La génesis de los proyectos:
-
algunos de ellos surgen no del análisis de necesidades y del
potencial de la herramienta para el quehacer institucional, sino que
son producto de oportunidades de financiamiento, mimetismo, o de un proceso
"top-down", es decir imposición por factores externos (socios, agencias,
etc.).
-
no se ha consultado con expertos, o buscado apoyo de experiencias similares,
probablemente por la dificultad de obtención de información
originada por la falta de sistematización de las experiencias de
integración o adopción de las TICs en organizaciones de desarrollo.
-
la falta de comunicación entre grupos similares o homólogos
en esta fase de capacitación en comunicación (!), lo cual
dado el objetivo implícito en el uso de las TIC resulta una gran
contradicción.
-
Comparando la efectividad de los proyectos con relación al quehacer
institucional y el perfil de l@s encargad@s de su coordinación,
constatamos un diferencia en cuanto a la experiencia y saber hacer en el
manejo de los procesos de información y comunicación,
sobre todos en comunicación alternativa, comunitaria o para el desarrollo.
Perspectiva
de género
Aunque varios proyectos provienen de instituciones que trabajan la cuestión
de la mujer, podemos constatar que casi ninguno de los proyectos integra
explícitamente en el diseño o su fundamentación la
cuestión de género en las actividades de desarrollo de capacidad
institucional.
Analizando el contenido de las formaciones propuestas no se han podido
destacar elementos específicos o estrategias para visibilizar o
promover una ruptura con las diferencias de género sea en el seno
del espacio publico de la institución o en el espacio privado de
l@s integrantes, ni se diferencian acciones en cuanto a si se dirigen a
hombres o mujeres.
Mas adelante se tratara de identificar los elementos que pondrían
ejercer una influencia sobre las diferencias de genero en las instituciones
recipientes del "Capdev".
4.3
Embrión de recomendaciones :
Existe una necesidad obvia de aprovechar al máximo los esfuerzos
y los recursos invertidos en el desarrollo de capacidades institucionales.
Partiendo de esta constatación entendemos que en este tipo de actividades
es necesario algún mecanismo de acompañamiento estratégico
más directo y cercano a las instituciones beneficiarias, sobre
todo cuando estas no disponen de especialistas o mecanismo de apoyo institucional
local.
Este mecanismo debe ser integrado desde el inicio al elaborar el proyecto,
como parte del análisis de necesidades y debe estar integrado a
la planificación de los usos estratégicos, mecanismos de
implementación y perdurar a lo largo de su implementación.
Dicho mecanismo deberá realizar también la sistematización
de estas y otras experiencias, sean de desarrollo de capacidades o
sean de aplicaciones de las TICs y divulgar los resultados, de manera que
las lecciones aprendidas puedan servir de base a la formulación
y ejecución de nuevos proyectos.
También debería contar con apoyo o sistematización
de conocimientos para el desarrollo de la comunicación institucional,
alternativa y para el desarrollo.
Es igualmente recomendable sistematizar (a través de manuales
o de módulos para incluir en los talleres y la capacitación)
los mecanismos para proveer a l@s miembr@s de las instituciones de una
visión global sobre los retos, impactos, procesos y oportunidades
que ofrecen las TICs para el desarrollo.
También se hace muy necesario establecer un mecanismo para el
diseño, aplicación y seguimiento de la visión de
género, a través de un manual o de módulos
de formación, en las actividades de desarrollo de capacidad
de uso del Internet en las instituciones de manera a acompañar los
cambios.
Esta asesoría o apoyo deberá aplicarse dos momentos :
-
En el diseño del proyecto, visualizando y planificando los usos
estratégicos, los cambios o la adaptación de las estructuras
institucionales y los procesos de trabajo, la integración sistematizada
de las herramientas en el que hacer institucional, y la planificación
para la gestión de recursos técnicos, integración
de perspectiva de genero, etc.;
-
en las actividades de capacitación.
Estos elementos todavía son de carácter preliminar;
sin embargo, estamos seguros de que se complementaran, confirmaran o rechazarán
en los próximos meses, a medida de que el análisis transversal
de los demás proyectos estén disponibles.
Anexo
1: Tablas de Variables e Indicadores Metodológicos
Para cada proyecto selecciónense algunas de las variables
mas relevantes a su naturaleza
Que queremos saber ?
|
Que vamos a Mirar ?
|
Como medir esto?
(variables y algunos indicadores)
|
herramientas?
|
è
qué efecto ha tenido el proyecto a nivel del desenvolvimiento institucional,
capacidad en avanzar hacia sus objetivos
à si la institución
esta en mejor capacidad de responder y actuar globalmente después
del proyecto |
-
si hay integración TICs y si hay potencial de cambios
positivos en las diferentes áreas/procesos de la institución
como: capacitación y formación / producción / servicios
/ ejecución de proyectos / administración / comunicación
(interna y externa)
-
cambios en la visibilidad y relaciones externas de la institución,
-
si la capacidad de los individuos a responder a sus tareas
ha mejorado
su calidad, eficiencia, eficacia, a partir por el uso
de las nuevas herramientas
-
si este pequeño aporte ha podido dinamizar o potencializar
la ejecución o diseñar un proyecto mas amplio, o mejorar
su desarrollo
|
identificar nivel de integración y uso (qué,
para qué, frecuencia) en cada área antes y después,
(herramientas y funciones "telematizadas" ), a nivel de institución
y de individuos
identificar efecto formación, con medición
uso antes y después,
adecuación contenidos formación sobre necesidades,
identificar las expectativas, la proyección, y usos
antes y después, percepción de cambios, logros, etc., a nivel
de institución y de individuos
cambios a nivel:
publicaciones (cantidad y calidad amplitud publico mas amplio)
participación en eventos,
cantidad presupuestos, "clientes" ,
proyectos en sinergia o colaboración con otras instituciones,
numero de contactos,
cantidad y calidad de grupos de trabajo interinstitucionales,
presencia en las redes de intercambio
producción de información
cantidad,
calidad de contenidos desarrollados,
la presencia en el Web,
identificar planes y marcos globales que enmarcan el proyecto
financiado y como se articulan, ver si ha resultado la articulación.
identificar si ha generado nuevas necesidades, nuevos proyectos,
nuevas maneras de pensar, etc.
|
*cuestionario
* entrevistas análisis de WWW
estadísticas de WWW
documentos |
Que queremos saber ?
|
Que vamos a Mirar ?
|
Como medir esto?
(variables y algunos indicadores)
|
herramientas?
|
efectos externos del proyecto |
-
y si otras instituciones del sector, han resultado beneficiadas,
han mejorado su desenvolvimiento
-
si los grupos no conectados, asociados, de base, etc., se
benefician
-
si se "consume" la información producida
-
si los "clientes" de la institución están mejor
atendidos?
|
mirar los enlaces estructuras de interrelación con
diferentes actores, cambios efectos sobre ellos
estructura de circulación de la información
con los grupos no conectados
redes de intercambio y cooperación horizontales y
verticales
estadísticas acceso
satisfacción "clientes" y /o "consumidores"
|
estadísticas
documentos
entrevista socios, ver el "feedback de consumidores y
clientes" |
validez del proyecto, elementos
de éxito o fracaso |
-
Si el proyecto ha alcanzado los resultados esperados
-
un poco si el proyecto estaba definido correctamente (lo
que corresponde al oficial del proyectos) y adecuación de las actividades
proyectadas a las necesidades, objetivos
-
porqué y cómo estos efectos y resultados han
sido posibles o no?
|
-
comparar objetivos planificados / resultados esperados del
proyecto con resultados finales documentados (cantidad, calidad)
-
historial y génesis del proyecto (como surgió)
marco de este proyecto ,
-
estructura , organigramas institucionales, (adaptados, limitantes
o/y potencializadores)
-
antecedentes y experiencias en proyectos similares/ relacionados
-
perfil de los responsables, y ejecutores (ver capacidad,
visión gatekeepers or enablers)
|
documentos
entrevistas |
Desigualdad de género |
-
integración de una perspectiva de género
-
análisis de las acciones
|
- a quien esta dirigidas las acciones
H/M, específicamente o/y en que proporción
- si en el diseño y en la ejecución de los
proyecto mujeres tienen espacio de decisión
- si se han planificado explícitamente acciones
están dirigidas a lograr una mayor independencia de las mujeres
en uso y manejo de las herramientas tecnológicas (acceso, formación,
prioridad uso)
Para este ultimo elemento se deberá fijarse, en
la medida de los posible, en
-
quienes controlan (H/M) los recursos y como se organiza el
control
-
el análisis sistema de dirección y poder, quienes
dirigen (H/M) ,
-
si ha integrado en la formación y planificación
elementos para :
- cambiar la actitud de las mujeres frente a las herramientas
tecnológicas
- compensar el desequilibrio en la formación general
- presentar imágenes de la tecnología relacionadas
al mundo femenino
- identificar usos en función del género,
para permitir a las mujeres uso mas atractivo (no repetitivo o monótono) |
documentos
entrevistas
análisis de WEB institución
|
Elementos de visibilidad IDRC: |
|
publicaciones , menciones en el
Web, etc. |
Web, documentos, etc. |
Anexo
2 referencias sobre metodologías de evaluación de impacto
de proyectos de TICs
Meta referencias
Documentos y artículos
-
Predicting E-mail Effects in Organisations by Eric Williams
1998 http://www.firstmonday.dk/issues/issue3_9/williams/
-
ICT Audit Framework A Meta-Level Conceptual Framework for
Evaluating Projects involving Information and Communication Technology
(ICT) 1997 by Sam Lanfranco, Senior Program Specialist, Bellanet - http://www.bellanet.org/partners/ldia/lanfran.html
-
Evaluation of Donor-Funded Information Technology Transfer
Projects in China: A Life-Cycle Approach Erik Baark and Richard Heeks 1998:
http://www.man.ac.uk/idpm/diwpf1.htm
-
Information and Communications Technology, Information, and
Knowledge in Support of Sustainable Development (An Initial Framework)
CIDA http://www.bellanet.org/partners/ldia/cida.html
-
Use of Information and Communication Technologies in IDRC
Projects: Lessons Learned IDRC Study/Acacia Initiative Michael Graham Evaluation
Unit Corporate Services Branch, IDRC April 1997 http://www.bellanet.org/partners/ldia/op-eval.htm
-
Information, ICTs and Small Enterprise: Findings from Botswana
Richard Duncombe & Richard Heeks1 1999 http://www.man.ac.uk/idpm/diwpf7.htm
-
ICTS AND DEVELOPMENT: TESTING A FRAMEWORK FOR EVALUATION
Prepared By: Valerie Young, CIDA June 1997 http://www.bellanet.org/partners/ldia/acdicida/ictrep.htm
-
Connecting with the Unconnected: Proposing an Evaluation
of the Impacts of the Internet on Unconnected Rural Stakeholders Scott
McConnell 1999 http://www.telecommons.com/uploadimages/jan99-html.htm
-
ASSESSING METHODOLOGIES IN STUDIES OF THE IMPACT OF INFORMATION
: A SYNTHESIS Michel J. Menou, Ph.D. 1999
http://www.bellanet.org/partners/aisi/PROJ/synthesis.htm
-
Measuring the Impact of the Internet on Civil Society Organizations
in Central America Research Proposal - Project Concept Fundación
Acceso, March 1, 1999 http://funredes.org/mistica/comunidad/contenido/docuparti/doc3.html
-
Mail message: impacto de Internet en las organizaciones de
la sociedad civil 12/1/2000 from Kemly CAMACHO <kemly@acceso.or.cr http://funredes.org/mistica/castellano/emec/produccion/c4/0096.html
-
Jansen, Senaida. "Concepts Cles Sur Les Thèmes De
La Division De Roles Sociaux Et La Division Sexuelle Du Travail " Cycle
de formation en genre, ESMT-UIT, Dakar, juin- aout 2000)
© Yacine Khelladi 2000 yacine@aacr.net
http://