Independente da área, os indicadores são uma importante ferramenta de avaliação em diferentes níveis e situações, que variam de acordo com as necessidades e contexto do que se almeja avaliar. Por meio deles é possível acompanhar resultados, analisar desempenhos e traçar metas. Os indicadores compreendem desde sinais, até dados estatísticos, que são utilizados como meios confiáveis de acompanhar e avaliar o andamento de programas, projetos ou ações ao longo do tempo. Dependendo do que se pretende analisar, os indicadores podem servir a diferentes fins e representar de forma quantitativa ou qualitativamente múltiplas possibilidades. Podem ser utilizados para indicar, demonstrar, ordenar, medir ou comparar informações.
Na comunidade acadêmica, os indicadores têm papel fundamental na avaliação de desempenho, especialmente no que diz respeito aos programas de pós-graduação (PPGs) stricto sensu. São eles que garantem a qualidade e possibilitam a promoção de melhorias contínuas durante o processo de avaliação quadrienal da Capes. Por se tratar de uma avaliação muito ampla, é essencial conhecer os critérios de avaliação de cada área para compreender como ela é feita e quais são os indicadores mais relevantes.
Em síntese, o acompanhamento dos indicadores de desempenho dos cursos de pós-graduação é fundamental para aprimorar os PPGs, garantir a qualidade e identificar áreas que necessitam de melhora no desempenho, temas que serão aprofundados ao longo deste artigo.
Conteúdo deste Post
Sobre a Avaliação dos Programas de Pós-Graduação
A avaliação dos Programas de Pós-Graduação (PPGs) de todo o Brasil é uma das principais tarefas da Capes, autarquia ligada ao Ministério da Educação (MEC). Nos últimos anos, com a ampliação dos cursos pós-graduação stricto sensu, assim como o emprego de novas tecnologias, implantou-se um novo sistema de avaliação que amplia a análise dos indicadores de desempenho dos cursos de pós-graduação, passando a considerar também quesitos relacionados ao ensino e aprendizagem, pesquisa, transferência de conhecimento, orientação internacional e engajamento regional.
Quesitos da Avaliação Multidimensional Capes Quadrienal 2021-2024
O novo modelo de avaliação multidimensional dos Programas de Pós-Graduação (PPGs) stricto sensu do Brasil, implantado em 2021, classifica os programas em cinco dimensões:
- Ensino e aprendizagem
- Internacionalização
- Produção científica
- Inovação e transferência de conhecimento
- Impacto e relevância econômica e social
Esse tipo de avaliação, por dimensão, busca reconhecer as diversidades, vocações e qualidades dos PPGs. E, durante o processo de avaliação, cada uma dessas cinco dimensões recebe uma nota. Os primeiros resultados da avaliação multidimensional serão divulgados em 2025, após o encerramento da avaliação quadrienal (2021-2024).
Indicadores de Performance dos Programas de Pós-Graduação
O Sistema de Avaliação da Pós-Graduação, implantado pela Capes, sob a responsabilidade da Diretoria de Avaliação da Coordenação (DAV), envolve uma estrutura composta por 50 áreas de conhecimento. O processo baseia-se em uma estrutura composta por comitês, dos quais os avaliadores são membros da própria comunidade científica de cada uma das áreas de conhecimento. Isso torna o processo de avaliação conduzido pela Capes extremamente legitimado junto à comunidade acadêmica nacional, sendo que diversos aspectos relativos ao fomento dos programas de pós-graduação estão diretamente relacionados aos conceitos obtidos pelos cursos, independentemente da natureza jurídica da instituição.
Entre as 49 áreas de avaliação dos indicadores de desempenho dos cursos de pós-graduação, a equipe de pesquisadores do Instituto Stela identificou mais de 500 parâmetros possivelmente utilizados pela Capes na quadrienal 2017-2000. Essa quantidade elevada de dados torna o trabalho de levantamento e acompanhamento destes indicadores uma tarefa bastante complexa. Para tornar viável o processo de mapeamento e análise destes dados, de forma rápida e precisa, foi desenvolvida o Módulo de Pós-Graduação da Plataforma Stela Experta©, que será apresentada no tópico a seguir.
Stela Experta© – Módulo Pós-Graduação: uma ferramenta completa para gerenciar Indicadores de Performance dos Programas de Pós-Graduação
O Módulo de Pós-Graduação da Plataforma Stela Experta© possibilita acompanhar os indicadores de desempenho do seu PPG e fazer análises detalhadas. Permite, também, a identificação de como cada docente do programa colabora com a formação dos indicadores, seja de forma positiva ou não. Isso permite definir estratégias para ampliar o desempenho do seu PPG nas avaliações quadrienais, identificar pontos de melhoria individual e estabelecer regras para credenciamento dos docentes no programa.
Uma análise objetiva e comparativa dos indicadores possibilita avaliar o desempenho do PPG, assim como fazer comparações com avaliações anteriores do próprio programa, o que permite identificar melhorias ou declínios ao longo do tempo nos índices avaliados. Além disso, é importante considerar que a avaliação da CAPES é comparativa. Assim, fazer comparações com outros programas é de extrema relevância. Essa análise possibilita identificar referências de desempenho e áreas que podem ser aprimoradas.
Atualmente, o Módulo de Pós-Graduação da Stela Experta© apresenta um conjunto de 190 indicadores de desempenho, agrupados em diversas categorias, tais como Produção, Orientação, Discentes, Docentes e Turmas e Disciplinas.
Os indicadores de produção são subdivididos por tipo de produção bibliográfica e técnica, com especial destaque para artigos em periódicos. Esses artigos podem ser avaliados por meio de médias ponderadas conforme a classificação Qualis, sendo que cada área possui sua própria fórmula de cálculo, ou pelo número absoluto de Artigos Qualis A, A1 e A2, independentemente de possuírem estrato ou não. É possível ainda analisar esses indicadores de produção utilizando médias por Docente Permanente, considerando ou não a redundância, bem como levando em conta a participação de discentes e egressos.Também há a opção de verificar o total de itens produzidos.
Outra análise relevante que a Stela Experta© permite, envolve o percentual de Docentes Permanentes que produzem em colaboração com discentes e egressos, bem como a proporção de discentes e egressos que contribuem para alguma produção do PPG.
Outros indicadores permitem ainda avaliar o percentual de docentes permanentes que orientam e ministram disciplinas, com a possibilidade de separar a orientação por nível e considerar apenas aqueles que possuem titulação.
No grupo de discentes, por exemplo, é possível obter informações como a média, mediana e desvio padrão do tempo de titulação, enquanto para os docentes, é verificada a exclusividade como docente ou docente permanente.
Esses exemplos são apenas uma amostra dos diversos indicadores disponíveis no Módulo de Pós-Graduação da Stela Experta©, plataforma em constante atualização, que garante análises mais abrangentes e precisas nos indicadores de desempenho dos cursos de pós-graduação.
💻 Plataforma Stela Experta©
Soluções para embasar a tomada de decisões estratégicas em ciência, tecnologia e inovação para as IES e ICTIs
Módulo Pesquisa: Solução para apoiar a gestão estratégica nas Instituições de Ensino Superior, integrando diversas fontes de informação nacionais e internacionais em CT&I, possibilitando que o gestor responda de forma ágil e assertiva a questões sobre a produção intelectual, projetos de P&D, perfil e expertises dos docentes, discentes e grupos de pesquisa da instituição, bem com sobre sua infraestrutura laboratorial.
Módulo Pós-Graduação: Solução para avaliar e acompanhar a performance dos PPGs da Instituições de Ensino Superior no decorrer das quadrienais, baseado em critérios utilizados pelas áreas de avaliação da Capes. A partir dos dados da Plataforma Sucupira, possibilita que o gestor realize benchmarkings entre os PPGs da IES e seus programas pares e identifique os docentes que estão acima/abaixo da média em cada indicador monitorado.
