Projeto 3 (2018/1 e 2018/2)
O TED atual, Ampliação e Aprimoramento da Metodologia para Acompanhamento e Avaliação dos Cursos PRONATEC/Bolsa-Formação, propôs a construção de um quarto módulo denominado Gestão de Resultados (Figura 7). Esse módulo foi sugerido a partir de uma ação denominada Meta-avaliação, na qual foi realizada uma pesquisa entre os gerentes e todos os avaliadores do SAAS de cada instituição para levantar as possíveis barreiras que limitam uma maior participação. Observou-se que cerca de 70% destes gerentes percebem que os resultados das avaliações são informações relevantes para apoiar a gestão. Isto indica que o Programa PRONATEC/Bolsa-Formação afasta-se da cultura na qual a avaliação é percebida com o objetivo de controle e punição.
Figura 7: Arquitetura proposta do SAAS.
Por outro lado, na percepção dos estudantes os resultados das avaliações raramente são considerados por parte dos gestores das instituições, gerando ceticismo de que o tempo dedicado a responder formulários avaliativos possa de fato levar a melhorias na qualidade do curso, do polo ou das disciplinas cursadas.
Finalmente, a falta de familiaridade com recursos de TI por parte de gestores dificulta que os resultados ofertados pelo SAAS possam de fato significar apoio para a gestão institucional relacionada com as ofertas de cursos EPT.
Desta forma, identificou-se a necessidade de que fosse desenvolvido um módulo (Gestão de Resultados) especificamente voltado à disponibilização de resultados na forma de um painel com um conjunto de aspectos avaliados. Esses resultados envolvem Curso, Polo e Disciplinas para os cursos EaD e Curso e Disciplinas para os cursos presenciais. A Figura 8 apresenta a interface do Módulo Gestão de Resultados.
Figura 8: Módulo Gestão de resultados
Ainda no Módulo Gestão de Resultados foi criada uma interface para cadastro e consulta de estratégias de intervenções institucionais realizadas pelos gestores para aprimorar a qualidade de determinadas dimensões e tópicos. Esse recurso foi denominado Banco de experiências e está disponível a todos os coordenadores das instituições ofertantes de cursos.
Completando o Módulo Gestão de Resultados, foi integrado ao cadastro de coordenadores do SAAS uma ferramenta de fórum para permitir discussões e compartilhamento de conhecimento desenvolvido ao longo do tempo na gestão de questões relevantes, situações específicas e problemas comuns.
No atual TED também foi realizada a inserção da avaliação dos cursos técnicos concomitantes e subsequentes presenciais do Programa PRONATEC/Bolsa-formação. Além da avaliação de curso, agregou-se um questionário sobre o perfil socioescolar dos estudantes dos cursos presenciais.
O fluxograma de alto nível do SAAS, atualizado, é apresentado na Figura 9 e é dividido em quatro partes: 1) plataforma SAAS controlada e implementada pela equipe de desenvolvimento, 2) operação do SAAS realizada pela equipe de gerenciamento, 3) instituições ofertantes de cursos técnicos do PRONATEC/Bolsa-Formação e 4) SETEC/MEC.
Figura 9: Fluxograma de alto nível do SAAS
A plataforma SAAS, mostrada na Figura 9, corresponde à estrutura de construção dos questionários avaliativos, montagem e envio dos convites para avaliação, interface para acessar as avaliações, interface para acompanhar o nível de participação nas avaliações e uma interface para acessar os resultados das avaliações.
Destaca-se que a etapa do envio das avaliações tem um planejamento da carga de e-mails que devem ser entregues aos diferentes domínios dos avaliadores sem sobrecarregar o sistema. O SAAS controla a quantidade de mensagens que podem ser entregues aos servidores como, por exemplo, Hotmail, Outlook, Msn, Live, Yahoo, Gmail entre outros, sem causar prejuízos à sua reputação. Dessa forma, evita-se que o SAAS seja considerado pelos diferentes domínios como um emissor de spam e deixe de entregar suas mensagens porque foram bloqueadas. Além disso, é disponibilizada uma interface para acompanhar a participação, durante o período das avaliações, onde é possível consultar informações como, por exemplo, o percentual de avaliadores que leem a mensagem, que acessam o link das avaliações e, finalmente, aqueles que concluem as avaliações.
A equipe de operação trabalha no gerenciamento do sistema e define os calendários das avaliações, verifica os dados cadastrados no sistema e monitora todas as ações executadas no sistema. O intuito da equipe é garantir, num primeiro momento, o cadastro dos dados e, na sequência, o foco é o nível de participação de cada instituição. Dessa forma, as seguintes ações são realizadas inicialmente:
- contatos com o Gerente SAAS das diversas instituições ofertantes para atualização cadastral;
- envio do calendário das rodadas avaliativas para divulgação ao público local;
- controle e monitoramento do volume de dados cadastrados. Constatada a ausência de ações em uma determinada instituição, o Gerente SAAS é contatado para questionamento do motivo. Todas as respostas e justificativas são registradas para um controle mais efetivo.
No momento em que o sistema inicia as avaliações, o foco da equipe é monitorar os percentuais de participação. Nesta etapa as seguintes ações são tomadas:
- envio de e-mail convite a todos os papéis e reenvio para não respondentes;
- envio de relatório com os níveis de participação;
- incentivo ao monitoramento da participação pela funcionalidade de ACOMPANHAMENTO que permite consultar e gerar relatório sobre o nível de participação em cada instituição segmentado por foco (curso, polo, disciplina, egressos, socioescolar). Adicionalmente, essa funcionalidade possibilita consultar nomes e e-mail dos que ainda não participaram de uma determinada rodada avaliativa, permitindo contatos individualizados pelo coordenadores de curso e Gerente SAAS da instituição ofertante.
Além disso, semestralmente os resultados das avaliações concluídas são divulgados a todos os coordenadores para que possam se apropriar dessas informações. É fundamental, não somente, mas principalmente, o envolvimento direto dos coordenadores acessando os resultados do sistema. O SAAS disponibiliza o acesso aos resultados a todos os avaliadores do sistema (Coordenadores gerais, adjuntos, de curso, de polo, professores, tutores e estudantes). A Figura 10 apresenta uma interface dos resultados gerais, a nível nacional, das avaliações de 2018/1 sobre a dimensão Formatação e Implantação do Curso 3.683 estudantes.
Figura 10: Exemplo de resultado de avaliação de curso pelos estudantes em 2018/1.