Práticas avaliativas em políticas de CT&I: análise comparativa do caso nacional

Abstract

Avaliar políticas públicas quanto aos seus impactos é essencial para a compreensão da sua efetividade. A fim de melhor entender como o perfil das avaliações brasileiras na esfera federal dos programas de CT&I se comparam com a comunidade internacional, é realizada uma comparação com o repositório SIPER – o qual reúne um conjunto de avaliações de políticas públicas de CT&I de vários países do mundo, incluindo aqueles na fronteira tecnológica. Assim, a partir da extração dos dados desse repositório e da revisão sistemática de um conjunto de avaliações nacionais produzidas por instituições significativas realizou-se a comparação entre estatísticas selecionadas como momento de avaliação, impactos avaliados, desenhos avaliativos empregados. Entre as principais constatações, observou-se que uma grande diferença entre os perfis no que é referente à consideração da teoria do programa como subsídio às avaliações. Além disso, verificou-se que o retorno do investimento é uma prática bem menos utilizada no Brasil do que no âmbito do SIPER. Por fim, riscos são identificados pelos dados que sugerem falta de integração entre métodos qualitativos e quantitativos nos estudos analisados.

Impact evaluation is essential to understand the real effects of a public policy. This work intends to compare Brazilian federal ST&I evaluations practices to international community. This proposal utilizes SIPER – one of the main ST&I policies repositories in the World – to carry out this study. SIPER has evaluations from several countries around the World, including those in technological frontier. From SIPER’s data and systematic review from Brazilian evaluations prepared by relevant institutions, it has been compared these two sets utilizing statistics from evaluation timing, impacts covered, evaluation design. Among the main findings, it has been observed that program theory in Brazilian evaluations have almost never been used. Besides that, return over investment is a practice much more frequent in SIPER than in Brazilian sample. Lastly, risks have been identified when the data suggested the absence of integration between quantitative and qualitative methods in Brazilian evaluations.