Sintesis Roth
Content
La Evaluación De Políticas Públicas En Colombia: Una Mirada Crítica A Partir De Las Prácticas Evaluativas Oficiales De Los Programas De La “Red De Apoyo Social”.
Jesus Andrés Palomino Pedrozo 2081921 Psicología del Desarrollo
Universidad Industrial de Santander Licenciatura en Matemáticas
Bucaramanga, 23 de octubre de 2013
André-Noël Roth Deubel
La evaluación de políticas públicas en Colombia: una mirada crítica a partir de las prácticas evaluativas oficiales de los programas de la “Red de Apoyo Social” Publicado en la Revista del CLAD Reforma y Democracia. No. 45. (Oct. 2009).
A lo que Evaluaciones de Política Ciudadana se refiere, ha venido tomando una importancia que va creciendo, Colombia no ha sido la excepción de este fenómeno. Siempre se ha buscado establecer la cultura de evaluación que permita facilitar y conocer el desempeño en las instituciones educativas, empresariales, familiares, etc., y los efectos sobre éstas, y así mismo buscar soluciones a las falencias que se puedan presentar en las llamadas poblaciones. Tomando como preocupación central el control de gasto público y su efectividad se han venido generando estas evaluaciones. Herramientas y técnicas que han sido generadas, por las ciencias sociales y económicas, con el fin de lograr realizaciones objetivas del gobierno. Las evaluaciones de instituciones y de políticas públicas contribuyen a la discusión de las capacidades de las ciencias sociales con el fin de dar conocimientos útiles a la sociedad. Existe la necesidad de romper la perspectiva científica dominante mientras se busque desarrollar una práctica evaluativa eficaz y democrática. Cuando se habla de los tipos de evaluación se encuentran cuatro generaciones de evaluaciones, que desde otro punto de vista se deduce que son modificaciones o actualizaciones a la primera generación de ésta. Hablando de la primera generación de evaluaciones, centrada en los individuos y los sujetos centrales de la evaluación. Esta nace con la necesidad en la educación de medir el intelecto o grado de aprendizaje y la eficiencia de los métodos de enseñanza. Ésta se lleva a cabo con pruebas de memoria. Existen dos factores que llevan al desarrollo de perspectivas de tipo sicométricas, sociométricas, y econométricas, este primer factor de desarrollo se da en una ciencia social la cual se basa en los mismos aspectos que la ciencia física y química. El segundo factor de desarrollo, que emergen a partir de un movimiento de trabajo humano, que está basado en la necesidad de eficiencia y efectividad en la producción industrial y comercial. Un gran ejemplo de evaluación de primera generación en la educación Colombiana son las pruebas ICFES para la obtención de título bachiller, y el ECAES para la finalización de estudios profesionales, actualmente llamados prueba SABER y prueba SABER-PRO respectivamente, ambas basadas en la clasificación y medición intelectual.
La segunda generación que nace en el ámbito escolar, con la consideración de revisar adaptar los currículos a las nuevas realidades científicas, sociales y económicas, proponiendo metas u objetivos para hacer la evaluación más fácil. Roth (2009) lo menciona en su artículo: Para ello, era evidente que los datos existentes no servían para estos objetivos. La preocupación por saber si los nuevos currículos permitían alcanzar los propósitos de formación llevaron a considerar estos propósitos como objetivos. ¿Cómo saber si los estudiantes asimilaban lo que los profesores intentaban enseñar? En busca de la solución a esta problemática, Ralph Tyler, miembro de la Oficina para la Investigación Educativa del Estado de Ohio, crea la evaluación de programa, ésta tuvo gran aceptación en el ámbito institucional. Este tipo de evaluación es considerada por Guba y Lincoln (1989: 27-28) como descriptiva, debido a que el papel del evaluador se enfocaba en la descripción de fortalezas y debilidades en relación con el logro de ciertos objetivos. Desde ese momento, la medición ya no podía ser asimilada a la evaluación, sino que apareció como una de las herramientas disponibles. La publicación en 1949 de su informe hizo a Tyler (1949) famoso y fue reconocido como el padre de la evaluación. Aunque en los Estados Unidos este tipo de evaluación no fue muy eficaz, puesto que se esperaba que ofreciera elementos de juicio y que comparara objetos estándares fueras del programa. Pasando a la tercera generación, el evaluador empieza a ejercer un papel más de juez que de medidor y descriptor. Roth (2009) Eso implica que es necesario considerar también los objetivos como problemáticos y, por lo tanto, susceptibles de ser juzgados en relación con unos estándares externos al mismo programa: una evaluación descriptiva de objetivos puede mostrar que se logran de manera perfecta los objetivos, pero es muda en cuanto a la pertinencia de los objetivos perseguidos. Introducir elementos valorativos en una empresa científica, por naturaleza considerada como libre de valores (value free), era inaceptable para evaluadores apegados a una perspectiva científica tradicional. A pesar de la reticencia de los evaluadores, muchos terminaron aceptando este rol, ya que, entre todos los otros jueces posibles, se consideraron como los que serían probablemente los más objetivos. A final de cuentas, la necesidad de juicio no pudo ser ignorada y aceptaron el reto.
Resumiendo un poco, la primera generación recolectaba datos relativos a los individuos, la segunda generación se basó en objetivos de evaluación, la tercera generación empezó a usar el juicio a los objetivos por medio de criterios intrínsecos y extrínsecos. Todas las tres generaciones presentaban sus falencias, en vista de esto se crea o se inicia una cuarta generación de evaluación que según Guba y Lincoln (1989: 31-32), permanecen en las prácticas evaluativas de las tres generaciones desarrolladas anteriormente. En particular, se trata de la fuerte tendencia al “managerialismo”, la difícil o imposible tenida en cuenta del pluralismo de los valores y la tendencia a privilegiar el paradigma de investigación científica tradicional. Esas debilidades que esta cuarta generación busca suplir, hacen referencia a la relación evaluación y evaluador, siendo el evaluador quien dispone de la orientación del contenido y forma de evaluación. Otra debilidad es el desequilibrio de poder para facilitar las actitudes por parte del evaluador en el programa. Era demasiado cerrado a los objetivos y no veían campos de aplicación para estos objetivos. Roth comenta a la cuarta generación de la siguiente manera, La evaluación de cuarta generación, propuesta por Guba y Lincoln (1989: 38), y llamada por ellos responsive constructivist evaluation, o evaluación constructivista no focalizada (ECNF), se considera una perspectiva alternativa a las tres anteriores, permitiendo superar las debilidades señaladas. Esta cuarta generación es llamada también evaluación pluralista (Monnier, 1992). En esta generación al evaluador se le ve más como un director que investigador, siendo la evaluación redefinida como actividad practica, deliberativa y situada, no aporta la verdad universal, solo da una muestra que conlleva a una construcción para generación de cambios institucionales. En cuanto a estas actividades evaluativas en Colombia, que empiezan a tener su lugar en los años 90, instalandose como una práctica relativamente habiltual. Las ONG, las organizaciones internacionales como las instituciones públicas han llevado a cabo numerosas experiencias de evaluaciones en el país, Roth (2009).
En Colombia se encuentran la Contraloría General de la República como ente de control, ésta ha iniciado estudios sectoriales para mejorar los insumos en estas políticas. Dichos estudios son de tipo descriptivo, toman del problema la descripción, evolución y lo referente al marco institucional y operante. Por otro lado la Defensoría del Pueblo hace su trabajo por medio de Informes Defensoriales, que basan sus documentos evaluativos en visitas de campo, entrevistas, etc. Hasta marzo de 2009, el DNP ha publicado los resultados de este proceso a través de ocho números de su serie Evaluación de Políticas Públicas. (Roth 2009) Evaluación 1. Programa Familias en Acción: Condiciones iniciales de los beneficiarios
Evaluadores Unión temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
e impactos preliminares (marzo 2004). 2. Programa Empleo en Acción. Condiciones iniciales de los beneficiarios
Unión temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Conceptualización y
focalizadas de la Dirección de
evaluación de impacto
Evaluación de Políticas Públicas
(noviembre 2004).
del DNP.
4. Programa Familias en
Unión Temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
de su ejecución (mayo 2006).
grupo beneficiario y
Información S.A. Grupo de evaluaciones
Programa a un año y medio
(comparación entre
Información S.A.
3. Red de Apoyo Social:
Acción: Impacto del
Cuasi-experimental
grupo de control).
e impactos a corto plazo (octubre 2004).
Metodología
Cuasi-experimental.
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Información S.A.
5. Programa Empleo en
Unión temporal Institute of
Acción: Impacto del
Fiscal Studies - Econometría -
Programa sobre los
Sistemas Especializados de
beneficiarios y sus familias
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Información S.A.
(enero 2008) 6. Programas Familias en Acción: Impactos en capital humano y evaluación
Unión temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
beneficio-costo del
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Información S.A. Programa (febrero 2008). 7. Programa de Vivienda de
Centro de Estudios Regionales Cuasi-experimental
Interés Social Urbano:
Cafeteros y Empresariales.
(comparación entre
Impactos en la calidad de
grupo beneficiario y
vida y evaluación del
grupo de control).
proceso de focalización (2007). 8. Evaluación de impacto del Fondo Colombiano de Modernización y Desarrollo Tecnológico de las Micro, Pequeñas
y
Medianas
Empresas - FOMIPYME
Econometría S.A.
Aplicación de encuestas (cuantitativas) a una muestra de operadores del programa entre 2001 y 2004.
(octubre 2008). Tomado del artículo. Con respecto al cuadro anterior Roth explica, como consta en el Cuadro 1, la mayoría de las evaluaciones contratadas por el DNP fueron con la misma empresa, conformada por el Institute of Fiscal Studies, IFS (un instituto de investigación inglés especializado en el análisis de las políticas sociales y económicas a partir de técnicas microeconómicas), Econometría
(una empresa de consultoría privada colombiana especializada en estudios económicos) y otra empresa de consultoría nacional especializada en la recolección y tratamientos de datos. A nivel metodológico, los evaluadores han usado siempre la misma metodología cuasi experimental longitudinal (antes-después), que compara la situación de un grupo de beneficiarios con un grupo de control en distintos momentos. Las dos evaluaciones que fueron realizadas por otros evaluadores usaron una metodología similar. Como se nota, esta concepción de la evaluación se sitúa plenamente en la perspectiva científica tradicional (tercera generación). Basándose en todo esto se tiene como conclusión que las evaluaciones son una gran herramienta a la hora de tomar decisiones, de encontrar debilidades que deben ser suplidas, Roth afirma que ¡parece ser que son los evaluadores quienes integran y legitiman en sus comentarios y recomendaciones las decisiones ya tomadas!
Jesus Andrés Palomino Pedrozo 2081921 Psicología del Desarrollo
Universidad Industrial de Santander Licenciatura en Matemáticas
Bucaramanga, 23 de octubre de 2013
André-Noël Roth Deubel
La evaluación de políticas públicas en Colombia: una mirada crítica a partir de las prácticas evaluativas oficiales de los programas de la “Red de Apoyo Social” Publicado en la Revista del CLAD Reforma y Democracia. No. 45. (Oct. 2009).
A lo que Evaluaciones de Política Ciudadana se refiere, ha venido tomando una importancia que va creciendo, Colombia no ha sido la excepción de este fenómeno. Siempre se ha buscado establecer la cultura de evaluación que permita facilitar y conocer el desempeño en las instituciones educativas, empresariales, familiares, etc., y los efectos sobre éstas, y así mismo buscar soluciones a las falencias que se puedan presentar en las llamadas poblaciones. Tomando como preocupación central el control de gasto público y su efectividad se han venido generando estas evaluaciones. Herramientas y técnicas que han sido generadas, por las ciencias sociales y económicas, con el fin de lograr realizaciones objetivas del gobierno. Las evaluaciones de instituciones y de políticas públicas contribuyen a la discusión de las capacidades de las ciencias sociales con el fin de dar conocimientos útiles a la sociedad. Existe la necesidad de romper la perspectiva científica dominante mientras se busque desarrollar una práctica evaluativa eficaz y democrática. Cuando se habla de los tipos de evaluación se encuentran cuatro generaciones de evaluaciones, que desde otro punto de vista se deduce que son modificaciones o actualizaciones a la primera generación de ésta. Hablando de la primera generación de evaluaciones, centrada en los individuos y los sujetos centrales de la evaluación. Esta nace con la necesidad en la educación de medir el intelecto o grado de aprendizaje y la eficiencia de los métodos de enseñanza. Ésta se lleva a cabo con pruebas de memoria. Existen dos factores que llevan al desarrollo de perspectivas de tipo sicométricas, sociométricas, y econométricas, este primer factor de desarrollo se da en una ciencia social la cual se basa en los mismos aspectos que la ciencia física y química. El segundo factor de desarrollo, que emergen a partir de un movimiento de trabajo humano, que está basado en la necesidad de eficiencia y efectividad en la producción industrial y comercial. Un gran ejemplo de evaluación de primera generación en la educación Colombiana son las pruebas ICFES para la obtención de título bachiller, y el ECAES para la finalización de estudios profesionales, actualmente llamados prueba SABER y prueba SABER-PRO respectivamente, ambas basadas en la clasificación y medición intelectual.
La segunda generación que nace en el ámbito escolar, con la consideración de revisar adaptar los currículos a las nuevas realidades científicas, sociales y económicas, proponiendo metas u objetivos para hacer la evaluación más fácil. Roth (2009) lo menciona en su artículo: Para ello, era evidente que los datos existentes no servían para estos objetivos. La preocupación por saber si los nuevos currículos permitían alcanzar los propósitos de formación llevaron a considerar estos propósitos como objetivos. ¿Cómo saber si los estudiantes asimilaban lo que los profesores intentaban enseñar? En busca de la solución a esta problemática, Ralph Tyler, miembro de la Oficina para la Investigación Educativa del Estado de Ohio, crea la evaluación de programa, ésta tuvo gran aceptación en el ámbito institucional. Este tipo de evaluación es considerada por Guba y Lincoln (1989: 27-28) como descriptiva, debido a que el papel del evaluador se enfocaba en la descripción de fortalezas y debilidades en relación con el logro de ciertos objetivos. Desde ese momento, la medición ya no podía ser asimilada a la evaluación, sino que apareció como una de las herramientas disponibles. La publicación en 1949 de su informe hizo a Tyler (1949) famoso y fue reconocido como el padre de la evaluación. Aunque en los Estados Unidos este tipo de evaluación no fue muy eficaz, puesto que se esperaba que ofreciera elementos de juicio y que comparara objetos estándares fueras del programa. Pasando a la tercera generación, el evaluador empieza a ejercer un papel más de juez que de medidor y descriptor. Roth (2009) Eso implica que es necesario considerar también los objetivos como problemáticos y, por lo tanto, susceptibles de ser juzgados en relación con unos estándares externos al mismo programa: una evaluación descriptiva de objetivos puede mostrar que se logran de manera perfecta los objetivos, pero es muda en cuanto a la pertinencia de los objetivos perseguidos. Introducir elementos valorativos en una empresa científica, por naturaleza considerada como libre de valores (value free), era inaceptable para evaluadores apegados a una perspectiva científica tradicional. A pesar de la reticencia de los evaluadores, muchos terminaron aceptando este rol, ya que, entre todos los otros jueces posibles, se consideraron como los que serían probablemente los más objetivos. A final de cuentas, la necesidad de juicio no pudo ser ignorada y aceptaron el reto.
Resumiendo un poco, la primera generación recolectaba datos relativos a los individuos, la segunda generación se basó en objetivos de evaluación, la tercera generación empezó a usar el juicio a los objetivos por medio de criterios intrínsecos y extrínsecos. Todas las tres generaciones presentaban sus falencias, en vista de esto se crea o se inicia una cuarta generación de evaluación que según Guba y Lincoln (1989: 31-32), permanecen en las prácticas evaluativas de las tres generaciones desarrolladas anteriormente. En particular, se trata de la fuerte tendencia al “managerialismo”, la difícil o imposible tenida en cuenta del pluralismo de los valores y la tendencia a privilegiar el paradigma de investigación científica tradicional. Esas debilidades que esta cuarta generación busca suplir, hacen referencia a la relación evaluación y evaluador, siendo el evaluador quien dispone de la orientación del contenido y forma de evaluación. Otra debilidad es el desequilibrio de poder para facilitar las actitudes por parte del evaluador en el programa. Era demasiado cerrado a los objetivos y no veían campos de aplicación para estos objetivos. Roth comenta a la cuarta generación de la siguiente manera, La evaluación de cuarta generación, propuesta por Guba y Lincoln (1989: 38), y llamada por ellos responsive constructivist evaluation, o evaluación constructivista no focalizada (ECNF), se considera una perspectiva alternativa a las tres anteriores, permitiendo superar las debilidades señaladas. Esta cuarta generación es llamada también evaluación pluralista (Monnier, 1992). En esta generación al evaluador se le ve más como un director que investigador, siendo la evaluación redefinida como actividad practica, deliberativa y situada, no aporta la verdad universal, solo da una muestra que conlleva a una construcción para generación de cambios institucionales. En cuanto a estas actividades evaluativas en Colombia, que empiezan a tener su lugar en los años 90, instalandose como una práctica relativamente habiltual. Las ONG, las organizaciones internacionales como las instituciones públicas han llevado a cabo numerosas experiencias de evaluaciones en el país, Roth (2009).
En Colombia se encuentran la Contraloría General de la República como ente de control, ésta ha iniciado estudios sectoriales para mejorar los insumos en estas políticas. Dichos estudios son de tipo descriptivo, toman del problema la descripción, evolución y lo referente al marco institucional y operante. Por otro lado la Defensoría del Pueblo hace su trabajo por medio de Informes Defensoriales, que basan sus documentos evaluativos en visitas de campo, entrevistas, etc. Hasta marzo de 2009, el DNP ha publicado los resultados de este proceso a través de ocho números de su serie Evaluación de Políticas Públicas. (Roth 2009) Evaluación 1. Programa Familias en Acción: Condiciones iniciales de los beneficiarios
Evaluadores Unión temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
e impactos preliminares (marzo 2004). 2. Programa Empleo en Acción. Condiciones iniciales de los beneficiarios
Unión temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Conceptualización y
focalizadas de la Dirección de
evaluación de impacto
Evaluación de Políticas Públicas
(noviembre 2004).
del DNP.
4. Programa Familias en
Unión Temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
de su ejecución (mayo 2006).
grupo beneficiario y
Información S.A. Grupo de evaluaciones
Programa a un año y medio
(comparación entre
Información S.A.
3. Red de Apoyo Social:
Acción: Impacto del
Cuasi-experimental
grupo de control).
e impactos a corto plazo (octubre 2004).
Metodología
Cuasi-experimental.
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Información S.A.
5. Programa Empleo en
Unión temporal Institute of
Acción: Impacto del
Fiscal Studies - Econometría -
Programa sobre los
Sistemas Especializados de
beneficiarios y sus familias
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Información S.A.
(enero 2008) 6. Programas Familias en Acción: Impactos en capital humano y evaluación
Unión temporal Institute of Fiscal Studies - Econometría Sistemas Especializados de
beneficio-costo del
Cuasi-experimental (comparación entre grupo beneficiario y grupo de control).
Información S.A. Programa (febrero 2008). 7. Programa de Vivienda de
Centro de Estudios Regionales Cuasi-experimental
Interés Social Urbano:
Cafeteros y Empresariales.
(comparación entre
Impactos en la calidad de
grupo beneficiario y
vida y evaluación del
grupo de control).
proceso de focalización (2007). 8. Evaluación de impacto del Fondo Colombiano de Modernización y Desarrollo Tecnológico de las Micro, Pequeñas
y
Medianas
Empresas - FOMIPYME
Econometría S.A.
Aplicación de encuestas (cuantitativas) a una muestra de operadores del programa entre 2001 y 2004.
(octubre 2008). Tomado del artículo. Con respecto al cuadro anterior Roth explica, como consta en el Cuadro 1, la mayoría de las evaluaciones contratadas por el DNP fueron con la misma empresa, conformada por el Institute of Fiscal Studies, IFS (un instituto de investigación inglés especializado en el análisis de las políticas sociales y económicas a partir de técnicas microeconómicas), Econometría
(una empresa de consultoría privada colombiana especializada en estudios económicos) y otra empresa de consultoría nacional especializada en la recolección y tratamientos de datos. A nivel metodológico, los evaluadores han usado siempre la misma metodología cuasi experimental longitudinal (antes-después), que compara la situación de un grupo de beneficiarios con un grupo de control en distintos momentos. Las dos evaluaciones que fueron realizadas por otros evaluadores usaron una metodología similar. Como se nota, esta concepción de la evaluación se sitúa plenamente en la perspectiva científica tradicional (tercera generación). Basándose en todo esto se tiene como conclusión que las evaluaciones son una gran herramienta a la hora de tomar decisiones, de encontrar debilidades que deben ser suplidas, Roth afirma que ¡parece ser que son los evaluadores quienes integran y legitiman en sus comentarios y recomendaciones las decisiones ya tomadas!
