METODOLOGIA DA PESQUISAInstrumentos de Coleta de Dados em Pesquisas Educadionais
Gilberto Teixeira (Prof.Doutor FEA/USP)
A Necessidade de Dados para Monitorar e Avaliar Projetos
Um sistema de monitoramento e avaliação de projetos só pode ser implementado com sucesso com a definição dos meios para obtenção de dados confiáveis sobre processos, produtos e resultados. Um sistema de avaliação, mesmo com um planejamento perfeito, pode fracassar inteiramente se os dados necessários para análise não puderem ser obtidos, ou se os mesmos são imprecisos ou sem confiabilidade.
Métodos e técnicas de coleta de dados e informações qualitativas são objeto de estudo nas disciplinas de avaliação e gerência de projetos. Esta área de conhecimento envolve considerações sobre uma grande variedade de aspectos, tais como: projeto de instrumentos de coleta de dados, estimativa de custos de obtenção, controle de qualidade, confiabilidade, validação, seleção de amostras, métodos de processamento, métodos de análise, métodos estatísticos, técnicas de apresentação de relatórios, etc. A decisão sobre que instrumento utilizar, como, onde e quando aplicar, etc. pode ser complexa, dependendo do porte e abrangência do projeto. Por outro lado, projetos de menor porte, como os que se desenvolvem dentro dos limites de uma escola, podem ser monitorados e avaliados com dados obtidos a partir de instrumentos simples e de baixo custo.
Instrumentos para Medidas Quantitativas
Medidas quantitativas utilizam algum tipo de instrumento para obter índices numéricos que correspondem a características específicas das pessoas ou objetos da medição. O resultado da aplicação de um instrumento para medida quantitativa é um conjunto de valores numéricos que são resumidos e registrados sob a forma de relatórios. Consequentemente a qualidade das medidas influem diretamente nesses resultados. Se as medidas são fracas ou polarizadas (direcionadas por alguma característica do instrumento ou por deficiências em sua aplicação), assim também serão os resultados. Técnicas de medidas robustas, ao contrário, aumentam a precisão e a confiabilidade dos dados coletados. Portanto, é imprescindível saber distinguir que situações podem afetar a qualidade de uma medida, uma vez que isto afeta diretamente a qualidade dos dados obtidos. É importante destacar, ainda, que uma técnica de pesquisa deve ser escolhida em função das necessidades de informação e não do orçamento disponível.
Este texto tem por objetivo apresentar uma breve informação sobre cinco técnicas utilizadas com frequência para para coleta de dados e informação qualitativa: (i) questionários; (ii) entrevistas; (iii) observação direta;(iv) registros institucionais e (v) grupos focais.
Procedimentos Usuais para Coleta de Dados
1. Questionários
Também chamados de
survey (pesquisa ampla), o questionário é um dos procedimentos mais utilizados para obter informações. É uma técnica de custo razoável, apresenta as mesmas questões para todas as pessoas, garante o anonimato e pode conter questões para atender a finalidades específicas de uma pesquisa. Aplicada criteriosamente, esta técnica apresenta elevada confiabilidade. Podem ser desenvolvidos para medir atitudes, opiniões, comportamento, circunstâncias da vida do cidadão, e outras questões. Quanto à aplicação, os questionários fazem uso de materiais simples como lápis, papel, formulários, etc. Podem ser aplicados individualmente ou em grupos, por telefone, ou mesmo pelo correio. Pode incluir questões abertas, fechadas, de múltipla escolha, de resposta numérica, ou do tipo sim ou não.
As etapas necessárias para o desenvolvimento de um questionário são: (i) Justificativa; (ii) Definição dos objetivos; (iii) Redação das questões e afirmações; (iv) Revisão; (v) Definição do formato; (vi) Pré-teste e (vii) Revisão final.
2. Entrevistas
É um método flexível de obtenção de informações qualitativas sobre um projeto. Este método requer um bom planejamento prévio e habilidade do entrevistador para seguir um roteiro de questionário, com possibilidades de introduzir variações que se fizerem necessárias durante sua aplicação. Em geral, a aplicação de uma entrevista requer um tempo maior do que o de respostas a questionários. Por isso seu custo pode ser elevado, se o número de pessoas a serem entrevistadas for muito grande. Em contrapartida, a entrevista pode fornecer uma quantidade de informações muito maior do que o questionário. Um dos requisitos para aplicação desta técnica é que o entrevistador possua as habilidades para conduzir o processo. Boas questões e um entrevistador sem habilidades, não fazem uma boa entrevista.
O desenvolvimento de questões para entrevista deve considerar alguns aspectos, para que seja efetiva, tais como: (i) adaptar a linguagem ao nível do entrevistado; (ii) evitar questões longas; (iii) manter um referencial básico (objetivo) para a entrevista; (iv) sugerir todas as respostas possíveis para uma pergunta, ou não sugerir nenhuma (para evitar direcionar a resposta).
Algumas habilidades desejáveis no entrevistador são: (i) conhecimento do asssunto objeto da entrevista; (ii) capacidade de síntese e decisão; (ii) boa comunicação oral; (iii) colocação imparcial perante o entrevistado e (iv) auto-controle emocional.
3. Observação Direta
Este método de coleta de dados baseia-se na atuação de observadores treinados para obter determinados tipos de informações sobre resultados, processos, impactos, etc. Requer um sistema de pontuação muito bem preparado e definido, treinamento adequado dos observadores, supervisão durante aplicação e procedimentos de verificação periódica para determinar a qualidade das medidas realizadas. Observações realizadas em fases iniciais de um projeto ou mesmo antes de seu início podem ser de caráter não estruturada, ou seja, realizadas de maneira informal.
A observação direta depende mais da habilidade do pesquisador em captar informação através dos 5 sentidos, julgá-las sem interferências e registrá-las com fidelidade do que da capacidade das pessoas de responder a perguntas ou se posicionar diante de afirmações. Em geral, este método é aplicado com o pesquisador completamente fora das situações, fatos ou pessoas que está observando.
Uma das vantagens desta técnica é que o pesquisador não precisa se preocupar com as limitações das pessoas em responder às questões. Entretanto, é um procedimento de custo elevado e difícil de ser conduzido de forma confiável, principalmente quando se trata da obtenção de dados sobre comportamentos que envolvem alguma complexidade. Outro ponto a considerar é o problema da interferência do pesquisador (observador) no comportamento do observado. Além disto, requer um intenso treinamento do observador.
4. Registros Institucionais (ou Análise Documental)
Uma das primeiras fontes de informação a serem consideradas é a existência de registros na própria organização, sob a forma de documentos, fichas, relatórios ou arquivos em computador. O uso de registros e documentos já disponíveis reduz tempo e custo de pesquisas para avaliação. Além disto, esta informação é estável e não depende de uma forma específica para ser coletada. Deve ser observado que, na maioria das vezes, já existe uma grande quantidade de informação nas organizações e cujo uso para fins de avaliação tem sido muito pouco efetivo.
Dependendo do desenvolvimento da cultura organizacional, da estrutura e funcionamento dos sistemas de informação existentes na instituição, pode haver alguma dificuldade com esta técnica, pois: (i) nem todos os dados estão completos (por exemplo: registros de 2 anos atrás não estão completos); (ii) os dados disponíveis estão excessivamente agregados, dificultando seu uso; (iii) mudanças de padrões com o tempo inviabilizam a comparação entre dados obtidos em épocas diferentes e (iv) Dados só são disponíveis para uso confidencial.
5. Grupos focais
Um grupo focal (GF) é um grupo de discussão informal e de tamanho reduzido (até 12 pessoas), com o propósito de obter informação qualitativa em profundidade. As pessoas são convidadas para participar da discussão sobre determinado assunto. Normalmente, os participantes possuem alguma característica em comum. Por exemplo: compartilham das mesmas características demográficas tais como nível de escolaridade, condição social, ou são todos funcionários do mesmo setor do serviço público.
Os participantes de um GF são incentivados a conversar entre si, trocando suas experiências, relatando suas necessidades, observações, preferências, etc. A conversação é conduzida por um moderador, cuja regra central é incentivar a interação entre os participantes. O moderador incentiva a participação de todos, evitando que um ou outro tenha predomínio sobre os demais, e conduz a discussão de modo que esta se mantenha dentro do(s) tópico(s) de interesse.
O objetivo principal de qualquer GF é revelar as percepções dos participantes sobre os tópicos em discussão. As principais características de um GF são:
· Cada grupo é organizado com pequeno número de pessoas(no máximo 12) para incentivar interação entre os membros;
· Cada sessão dura aproximadamente 90 minutos;
· A conversação concentra-se em poucos tópicos (no máximo 5 assuntos);
· O moderador tem uma agenda onde estão delineados os principais tópicos a serem abordados. Estes tópicos são geralmente pouco abrangentes, de modo que a conversação sobre os mesmos se torne relevante;
· Há a presença de observador externo (o qual não se manifesta) para captar reações dos participantes.
Diferenças entre GF´s e questionários
(surveys):
· GF obtém dados qualitativos, enquanto que o
survey obtém, prioritariamente, dados quantitativos;
· GF usa pequenos grupos, enquanto que o
survey requer grandes amostras;
· GF não são úteis para inferências precisas a respeito de toda a população;
· GF utiliza questões e respostas não estruturadas, enquanto que o
survey utiliza questões muito bem estruturadas, padronizadas, e respostas precodificadas
Quando utilizar GF´s: GF´s são úteis nos estágios exploratórios de uma pesquisa, ou quando administradores querem ampliar sua compreensão a respeito de um projeto, programa ou serviço. GF´s pode ser utilizado para monitorar um serviço em execução, para verificar, por exemplo, o grau de satisfação das pessoas que o utilizam, que mudanças gostariam de ver ou que dificuldades estão encontrando. Os passos mais importantes na condução de um GF são: selecionar os participantes e escrever o guia do moderador (agenda).
Seleção dos participantes: antes de selecionar os participantes, devemos decidir de que grupo queremos obter informações. Públicos alvo muito diferentes não devem ser colocados juntos porque um pode inibir os comentários do outro. A idade, posição social, posição hierárquica, conhecimento dos participantes e outras variáveis, podem influenciar na discussão. Os participantes podem ajustar o que vão dizer conforme a situação em que se encontrarem no grupo. Por isso, a definição do grupo alvo deve ser a mais específica possível.
A agenda do moderador: descreve os principais tópicos a serem abordados, os quais devem ser citados durante a discussão, através de questões e pontos previamente anotados. As primeiras questões discutidas devem ser de caráter geral e abordagem fácil, para permitir a participação imediata de todos. O objetivo é obter o envolvimento e fluidez na conversação. Em seguida, questões mais específicas e de caráter mais analítico podem ser apresentadas
Local de reuniões: GF´s normalmente são realizados em locais especialmente preparados para este tipo de atividade. A sala deve ser equipada com recursos para gravação da discussão, sendo que este fato deve ser comunicado aos participantes, assegurando-lhes anonimato e uso exclusivo das gravações para as finalidades da pesquisa. Os participantes também devem ser informados da existência de observadores da discussão.
Problemas a serem evitados: Os gerentes devem estar atentos para possíveis armadilhas envolvendo a técnica de GF’s. A maior armadilha é utilizar este recurso em uma situação em que não é adequado como mecanismo de pesquisa. Devido ao fato de GF ser uma técnica mais simples e muito mais barata do que um survey, corre-se o risco de optar por ela em detrimento de uma pesquisa mais ampla e precisa. O GF fornece informações em grande nível de detalhes e que normalmente não podem ser generalizadas para o resto da população. Os
surveys são generalizáveis se a amostra for escolhida corretamente, mas as informações que eles produzem são menos detalhadas do que os GF’s e não contém os mesmos elementos de expontaneidade.
A pesquisa através de GF’s é uma ferramenta para gerentes do serviço público interessados em saber mais sobre preferências específicas e necessidades de seus clientes e/ou empregados. É uma técnica flexível e pode contribuir trazendo novas idéias.
Considerações finais
Cada uma das técnicas citadas anteriormente é objeto de estudos profundos e detalhados na literatura especializada. Portanto, para melhor conhecimento, estudos comparativos, planejamento e aplicação de instrumentos de coleta de dados, é altamente recomendável que a bibliografia específica seja objeto de consulta, estudo e discussões pelas equipes de monitoramento e avaliação. Neste sentido, as referências nos. 1, 3, 4 e 5 citadas abaixo, são particularmente detalhadas a respeito da seleção, desenvolvimento e uso de procedimentos de coleta de dados.
Quadro Comparativo entre Técnicas de Coleta de Dados
| Técnica de Coleta | Pontos Fortes | Pontos Fracos |
| Questionário | - Garante o anonimato - Questões objetivas de fácil pontuação - Questões padronizadas garantem uniformidade - Deixa em aberto o tempo para as pessoas pensarem sobre as respostas - Facilidade de conversão dos dados para arquivos de computador - Custo razoável | - Baixa taxa de respostas para questionários enviados pelo correio - Inviabilidade de comprovar respostas ou escla- recê-las - Difícil pontuar questões abertas - Dá margem a respostas influenciadas pelo “desejo de nivelamento social”(*) - Restrito a pessoas aptas à leitura - Pode ter itens polarizados/ambíguos |
| Entrevista | - Flexibilidade na aplicação - Facilidade de adaptação de protocolo - Viabiliza a comprovação e esclareci mento de respostas - Taxa de resposta elevada - Pode ser aplicada a pessoas não aptas à leitura | - Custo elevado - Consome tempo na aplicação - Sujeita à polarização do entrevistador - Não garante o anonimato - Sensível aos efeitos no entrevistado - Características do entrevistador e do entre- vistado - Requer treinamento especializado - Questões que direcionam a resposta |
| Observação Direta | - Capaz de captar o comportamento natural das pessoas - Minimiza influência do “desejo de nivelamento social” - Nível de intromissão relativamente baixo - Confiável para observações com baixo nivel de inferência | - Polarizada pelo observador - Requer treinamento especializado - Efeitos do observador nas pessoas - Pouco confiável para observações com inferências complexas - Não garante anonimato - Observações de interpretação difícil - Não comprova/esclarece o observado - Número restrito de variáveis |
| Registros Institucionais (Análise Documental) | - Baixo custo - Tempo de obtenção é reduzido - Informação é estável | - Dados incompletos ou desatualizados - Excessivamente agregados - Mudanças de padrões no tempo - Uso restrito (confidencialidade) - Dados difíceis de recuperar |
| Grupo Focal | - Baixo custo e resposta rápida - Flexibilidade na aplicação - Eficientes para obter informações qualitativas a curto prazo - Eficiente para esclarecer questões complexas no desenvolvimento de projetos - Adequado para medir o grau de satisfação das pessoas envolvidas | - Exige facilitador/moderador com experiência para conduzir o grupo - Não garante total anonimato - Depende da seleção criteriosa dos participantes - Informações obtidas não podem ser generali- zadas |
(*) “desejo de nivelamento social” refere-se à tendencia de alguém responder a um questionário não exatamente da forma em que a realidade se apresenta para ele, mas influenciado por um desejo de se apresentar externamente com outro nível social, mais alto (ou mais baixo), conforme as conveniências de sua imagem perante à sociedade. Por exemplo, em um questionário de uma administradora de cartões de crédito, a pessoa pode se ver impulsionada a declarar uma renda pessoal acima daquela que realmente possui.
Fonte: McMillan, J. H. and Schumacher, S. Research in Education. Addison Wesley Educational Publishers Inc., New York, 1997, pp. 274-275.
Bibliografia
1. Debra L. Dean, How to Use Focus Groups, in Wholey, J. S., Hatry, H. P. and Newcomer, K., eds., Handbook of Practical Program Evaluation, Jossey-Bass Publishers, San Francisco, USA, 1994, pp. 338-349.
2. Hartry, H. P. and Kopczynsky, M. Guide to Program Outcome Measurement for the U.S. Departament of Education, Washington, D.C., 1997.
3. McMillan, J. H. and Schumacher, S. Research in Education. Addison Wesley Educational Publishers Inc., New York, 1997.
4. Rossi, P. H. and Freeman H. E., Evaluation – A Systematic Approach. Sage Pub., London, 1993.
5. Worthen, B. R., Sanders, J. R. and Fitzpatrick J. L. Program Evaluation – Alternative Approach and Practical Guidelines. Addison Wesley Inc., New York, 1997.
Obrigado por sua visita, volte sempre.
.jpg)
Nenhum comentário:
Postar um comentário