terça-feira, 9 de março de 2010

Apresentação do e-Portefólio

Alguns investigadores qualitativos em educação efectuaram "trabalho de campo" - observação participante, entrevistas em profundidade ou etnografia - despendendo grandes quantidades de tempo nos locais de investigação  e com os sujeitos ou documentos de investigação. Registaram os seus apontamentos por escrito como modo de preservar os dados a analisar, incluindo grande quantidade de descrições, registos de conversas e diálogos. A investigação educacional possui muitos exemplos deste tipo. (Bogdan et Biklen, 2006)

Serve este post para apresentar a Estrutura do ePortefólio*.  Antes, porém, gostaria de aqui deixar uma breve reflexão sobre aquilo que eu acho que fiquei a saber depois deste percurso, referindo ainda a aprendizagem adquirida com a elaboração deste ePortefólio.
O objectivo desta Unidade Curricular (Metodologia de Investigação em Contextos Online) é que o estudante seja iniciado e preparado para a problemática específica da investigação em contextos online e para a selecção, desenho e construção de um plano de investigação.  Penso que atingi esse objectivo, uma vez que, neste momento, e apesar do segundo semestre ainda não ter terminado, a minha preocupação é já escolher o tema da dissertação a fim de iniciar uma pesquisa bibliográfica que me permita, teoricamente, sustentar o trabalho que irei desenvolver a seguir. Há, neste âmbito, uma aspecto que tenho, sem dúvida de disciplinar: a forma como faço a gestão  do tempo online.
A luta contra o tempo tem sido uma constante. Claro que, tendo decidido frequentar um Curso de Mestrado, eu já sabia de antemão que o meu tempo disponível iria ser muito limitado. No entanto, o facto de todo o Curso ser online acaba, muitas vezes, por anular a noção, não só de tempo, como de espaço. E essa vivência quase atemporal não é compatível quer com o cumprimento dos prazos de entrega dos trabalhos, quer com a gestão da vida profissional e pessoal.
Mas não tenho dúvidas, quanto à modalidade que escolhi para fazer um Curso de Mestrado, precisamente pela flexibilidade de gestão do tempo, pela autonomia que nos é permitida e, principalmente, pelo trabalho de cariz colaborativa que desenvolvi. E claro, não poderia deixar de referir, pela possibilidade de ter o feedback dos professores com uma frequência e temporização que, presencialmente, não seria, decerto, possível.
Por exemplo, a propósito da elaboração do ePortefólio, deixei, no Fórum para Questões Gerais a seguinte mensagem, no dia 8 de Março, pelas 16:27:
Boa tarde, Professora sorriso
Como refiro antes, tive de reestruturar a construção do meu ePortfólio, fruto do mesmo ter ficado parado no tempo em Novembro.
Sinto agora que deveria ter, de facto, procedido a actualizações regulares. Um aspecto, sem dúvida, a corrigir na construção de ePortefólios com as características deste.
Julguei que seria possível concluir até à meia-noite de hoje o trabalho, no entanto, neste momento, parece-me quase impossível. Por isso, vinha perguntar se posso usar ainda algumas horas da madrugada de 9 de Março. 
A resposta foi-me dada no dia 9 Março, pelas 23:38, sugerindo a Professora que eu deveria incluir neste espaço essa aprendizagem adquirida e permitindo esse alargamento do prazo, não só a mim, como a outros colegas que dele necessitassem.  E aqui fica este registo de aprendizagem, porque será muito importante, no meu futuro próximo, ir tratando da informação que for pesquisando e organizá-la de forma a poder ser usada fundamentadamente. Parece-me que um registo como o ePortefólio pode ser , se for actualizado com regularidade, uma excelente ferramenta de suporte desse trabalho.

De seguida, apresento a estrutura do ePortefólio que permitirá uma leitura mais funcional do mesmo.

Descrição do processo de aprendizagem:
     - Tema 3 -  A análise de dados
     - Tema 4 -  Problemáticas de investigação na e com o apoio da Internet:

    *4ª dimensão da avaliação da Unidade Curricular de Metodologia de Investigação em Contextos Online do Curso de Mestrado em Pedagogia do eLearning (Universidade Aberta), Professora Alda Pereira.

     (Imagem deste post:  wordle.net
    as restantes imagens usadas 
    no portefólio foram encontradas 
    no motor de busca Google)

    ----------------
    Editado a 11 de Março de 2010 para conclusão do ePortefólio.

    Discussão sobre Problemáticas de investigação online

    Neste tema foi-nos proposto que nos debruçássemos sobre a questão da análise de interacções em contextos online. A fim de contextualizar a tarefa que depois nos seria pedida a Professora escreveu:
    Esta é uma problemática que emerge com a comunicação mediada por computador. Note-se por exemplo, o que se passa nos fóruns, nas listas de discussão, nas redes sociais, etc.
    Claro que se pode fazer uma análise de conteúdo dos registos nesses dispositivos. Mas é perder muito. Por exemplo: quem diz a quem? Quem responde a quem? há algum participante que centraliza a discussão?
    Para estas situações há outras técnicas de análise. Para as duas primeiras perguntas há o que se convenciona chamar " a análise do discurso" e que muitos autores que trabalham as questões online, chamam simplesmente análise das interacções.
    Para a terceira pergunta há a técnica de análise de redes sociais, que precisa de algum tempo para abordar.
    Proposta: fazer uma pesquisa de artigos sobre análise de interacções. Publicar no Fórum  o  resumo do artigo para conhecimento e discussão.
    Da pesquisa efectuada, escolhi para trabalhar o seguinte artigo:
    MORAIS, Carlos, MIRANDA, Luísa, DIAS, Paulo - "Interacções entre professores numa plataforma web", Congreso Internacional Galego-Portugués de Psicopedagoxia: libro de actas. A Coruña : Universidade, 2007. p. 582-593., [Consultado a 23.02.2010]. Disponível em http://hdl.handle.net/10198/1070 ISSN:1138-1663
    Resumo publicado no dia 1 de Março, em raiz aberta por mim, no Fórum para discussão da análise de interacções online:
    O artigo em análise foi uma comunicação apresentada Congreso Internacional GalegoPortugués de Psicopedagoxia (2207) e nela os seus autores reflectem acerca das interacções entre professores de TIC, desenvolvidas durante uma oficina de formação, no âmbito da formação contínua de professores, a partir da utilização de uma plataforma Web, com uma componente presencial, em sala de aula equipada com computadores e respectivo acesso à Internet, e outra componente não presencial. 
    A reflexão foi orientada a partir das publicações dos formandos nos fóruns de discussão online, tendo sido objecto de discussão, entre outros, os seguintes tópicos: quadro de referência TIC 2006, coordenador de TIC, tratamento de informação no conselho de turma, competências em TIC, escola virtual e domínios de actuação das TIC. As publicações dos formandos acerca dos diversos temas propostos foram analisadas, considerando como unidade de análise cada publicação no fórum de discussão.
    Os objectivos da investigação foram procurar obter contributos para dar resposta às seguintes questões: as interacções entre os professores de TIC, nos fóruns de discussão online traduzem:
      a) Posições convergentes?
    b) Posições divergentes?
    c) Sequências de monólogos?
    Apresentada a fundamentação teórica, os autores apresentam a metodologia, destacando, das estratégias usadas no desenvolvimento da oficina de formação, aquelas que estava relacionadas com a utilização de fóruns de discussão. A discussão de cada tema foi sempre precedida da criação de um fórum de discussão na Plataforma Moodle, bem como de uma pequena introdução ao tema do fórum, seguido de questões que orientavam a discussão.
    Na discussão dos temas tratados, participaram os professores envolvidos na formação, embora nem todos dessem a sua contribuição em todos os temas propostos.
    Para os autores foi considerada como participação nos fóruns de discussão toda a manifestação dos formandos de contacto com os fóruns. Tendo-se distinguido participação passiva de participação activa:
    a) Participação passiva - aquela que se traduziu na entrada dos fóruns, registada automaticamente pela plataforma, sem qualquer publicação escrita;
    b) Participação activa - toda a participação dos formandos traduzida por expressões escritas e publicadas nos fóruns de discussão.
    Na apresentação dos resultados, os autores referem que as participações activas foram classificadas em interacções não relacionadas com a tarefa e interacções relacionadas com a tarefa, sendo estas classificadas em convergentes, divergentes e monólogos.
    O número de participações passivas foi de 1629, tendo-se registado 86 participações activas. O número de participações variou de professor para professor. Na oficina de formação foram criados 11 fóruns, codificados por F1...F11. Os formandos que participaram foram identificados por A1...A14.
    Nas páginas 588 e 589 são apresentados dois quadros com a distribuição das participações passivas nos fóruns de discussão (quadro 1) e a distribuição das participações activas nos fóruns de discussão (quadro 2).
    Na página 590 é apresentado um quadro com a classificação das interacções nos fóruns de discussão (divergentes, convergentes e monólogos) e na página 591 é apresentado um gráfico onde se apresenta a distribuição do tipo de participação dos formandos nos fóruns de discussão online, verificando-se que a participação passiva é muito mais elevada que a participação activa.
    Na classificação que fazem das participações activas, os autores consideram "interacções convergentes" aquelas cujas opiniões individuais contribuem para a clarificação e aprofundamento dos temas propostos; "interacções divergentes" toda a participação que manifeste ideias pouco enquadradas no tema que está em discussão e monólogos todas as contribuições que traduzem a opinião do formando, sem ter em conta a opinião dos colegas.
    Na parte final da análise dos resultados, os autores destacam três questões, considerando as diferenças existentes entre o número de participações activas e passivas:
    a) A formação dos professores de TIC está mais orientada para uma posição passiva face ao que ensinam e ao que aprendem do que para a cultura do e um papel activo na construção do conhecimento?
    b) Os alunos e os professores devem aprender mais sobre os modos de participação nos fóruns de discussão online?
    c) As contribuições para a construção conjunta do conhecimento são mais efectivas nas discussões desenvolvidas nos fóruns de discussão online do que nas discussões na sala de aula convencional?
    Das considerações finais, destaca-se o último parágrafo onde os autores sugerem que seja fundamental procurar estratégias que levem os professores a considerarem a participação activa, nos fóruns de discussão online, como uma forma de melhorarem a sua formação profissional e pessoal.

    Discussão sobre a análise das entrevistas

    O terceiro tema - Análise de dados - abriu a 15 de Janeiro, tendo a Professora disponibilizado um recurso com o objectivo de nos orientar na análise das entrevistas. Foi-nos pedido que aplicássemos a análise de conteúdo às entrevistas efectuadas, recomendando-se que fizéssemos, primeiro, uma leitura "flutuante", isto é, geral, para termos uma ideia geral da "conversa" e começar a  ter uma primeira ideia. Depois deveríamos começar a assinalar partes das respostas que permitissem pensar numa categoria que se traduziriam nas unidades de registo dentro de uma unidade de contexto onde se situasse a "fala" do respondente.
    Num terceiro momento da análise, deveríamos aplicar este processo a toda a entrevista, não nos preocupando se parecesse haver muitas categorias. Trabalhada a entrevista, era-nos sugerido que voltássemos atrás e procurássemos ver se as categorias seriam de facto diferentes. Caso isso não acontecesse, o passo seguinte seria  renomeá-las e reorganizar as categorias. Na quinta etapa deveríamos voltar novamente ao que já tínhamos  feito e procurar ver se as categorias se "encaixavam" em categorias mais gerais e, nesse caso, criaríamos as categorias gerais e consideraríamos as primeiras como subcategorias. Por fim, teríamos que  rever todo o trabalho. Esta parte seria feita por cada um que tivesse feito a entrevista. A seguir passaríamos para uma fase de validação inter-investigadores da análise feita.
    Sugeriu-se ainda como bibliografia base para a realização desta actividade a leitura de Bardin, L. Análise de conteúdo
    Pela descrição é fácil de verificar que esta tarefa não era simples. E, de facto, pelas intervenções no Fórum, foi uma operação que demorou algum tempo e exigiu de nós um trabalho bastante meticuloso. 
    Fiz a minha primeira participação no Fórum aberto para trocar ideias e ficheiros sobre a análise das entrevistas, no dia 23 de Janeiro e pelo teor da participação é evidente a dificuldade que estava a ter na execução da tarefa:
    Bem, ao contrário do que previ, ainda não consegui concluir a análise. No entanto, deixo o que já está feito a fim de saber se posso continuar, isto, porque esta é a 2ª grelha que preencho.
    Comecei, na primeira, por registar as subcategorias que ia encontrando. Depois as unidades de registo e a seguir a unidade de contexto. Entretanto, apercebi-me que ao longo da entrevista apareciam unidades de registo que encaixavam em subcategorias já identificadas... A grelha começou a ficar confusa.
    Recomecei.
    Na entrevista, vou identificando as unidades de registo com cores , cores essas que correspondem a subcategorias. Transcrevo para a grelha todas as unidades de contexto onde assinalei as unidades de registo. Indico as subcategorias. Ainda não identifiquei as categorias, nem o tema.
    Poderia, Professora, dizer-me se devo manter este procedimento?
    O feedback da Professora foi muito importante, particularmente neste ponto em que afirmo: Entretanto, apercebi-me que ao longo da entrevista apareciam unidades de registo que encaixavam em subcategorias já identificadas... A grelha começou a ficar confusa.
    A professora esclareceu que isso poderia acontecer que apenas quereria dizer, apenas, que o entrevistado se tinha repetido com as mesmas ideias no contexto de outra pergunta. Sugeriu-me que, quando isso acontecesse, essas unidades de contexto e de registo deveriam ser colocadas na subcategoria onde já tivesse outras.
    Retomei o trabalho, seguindo, tendo em conta as observações da Professora. E, no dia 31 de Janeiro dei por terminada a tarefa, ainda que sentisse que o trabalho não estava, de facto, concluído,tal como se pode verificar pela minha intervenção:
    Afinal, não foi a meio da semana. Só agora terminei o trabalho que aqui deixo.
    Tenho a sensação que a tarefa não está concluída. Mas ainda assim, já cheguei a duas conclusões:
    1º - Não consegui pôr o meu entrevistado a falar sobre o que sente pelo facto de ter uma amiga que está a frequentar um curso de Ensino a Distância;
    2º - Ao contrário da ideia que tinha, este meu amigo desvaloriza imenso o EaD. Falamos com alguma frequência sobre o Curso e tinha até a percepção de que ele era favorável à minha frequência do Curso, nesta modalidade de Ensino. Pela análise, parece que essa minha percepção estava errada.
    Professora, mantive as suas sugestões de subcategorias e acabei por integrar ,como subcategoria, a questão da idade. De facto, ao longo da entrevista é relevante a importância que o entrevistado dá à questão da geração, podendo dizer-se que há, de certa forma, uma tentativa implícita de justificar a sua opinião por esse facto.
    Publiquei aqui [ http://www.scribd.com/doc/28059320/Analise-de-Conteudo-Entrevista] a análise efectuada. A grelha usada foi disponibilizada pela Professora na Plataforma Moodle.
    A 2 de Fevereiro deu-se início à segunda etapa desta actividade: validação inter-investigadores da análise feita.
    No post inicial da apresentação da tarefa a Professora descreveu-nos o processo que deveríamos seguir, explicando-nos, em simultâneo, a necessidade deste procedimento na análise de conteúdo e que passo a transcrever, pois parecem-me indicações bastante  importantes e que de alguma forma justificam a minha sensação e trabalho inacabado, quando concluí o trabalho de análise de conteúdo:
    1) fazer análise de conteúdo, por muito objectiva que seja, é já um tratamento de dados; a sensibilidade e a experiência do analista é uma questão a ter em conta;
    2) em regra o analista procura ver se a sua codificação é estável ao longo do tempo; para isso, faz uma primeira análise, coloca de lado o trabalho e mais tarde torna a fazer a análise para ver se as suas categorias (e sub..) resitiram ao tempo - está aqui em causa a questão da fidelidade intracodificador;
    3) para tornar a sua análise mais objectiva, pede a um especialista que analise a sua própria análise - fidelidade intercofidicadores.
    Na realização prática da dissertação, é muitas vezes o orientador que ajuda a fazer o ponto 3, mas pode ser outra pessoa.
    No processo de validação inter-investigadores da análise feita, trabalhei directamente com o Pedro Teixeira. Trocámos os documentos e optámos por, apesar de se privilegiar a comunicação assíncrona, trocar as opiniões sobre o recorte que cada um tinha feito à entrevista do outro comparando com a do próprio, através do Googletalk em dois momentos com a duração de cerca de hora e meia cada. Encontrámos algumas discrepâncias e procurámos perceber a sua razão.
    Na discussão houve ainda um terceiro momento: Análise das entrevistas -ponto da situação. Iniciou no dia 16 de Fevereiro. A Professora fez o ponto da situação e nesse discurso levantou as seguintes questões que deverão acompanhar o trabalho de análise de conteúdo:
    Como é que sabemos que a análise de conteúdo foi bem feita? Quando procuramos fazer a interpretação completa do que foi dito á luz dos objectivos que tínhamos; ou seja, a análise feita serve para nos ajudar a fazer inferências sobre o que foi dito na entrevista. Somos capazes de fazer uma leitura global sobre o que foi dito na totalidade, à luz do que pretendíamos saber? É possível comparar depois com outros casos de sujeitos também submetidos a uma entrevista igual? Qual o padrão que emerge do que foi dito?

    Atendendo ao facto de ter concluído a tarefa revelando sinais de insatisfação pelo trabalho feito, uma vez que me parecia inacabado, reflecti sobre as questões apresentadas pela professora e fiz duas intervenções no Fórum:
    1ª Intervenção - Análise das entrevistas - verificação
    Segunda, 22 Fevereiro 2010, 06:35 
    Bom, procurei, partindo das orientações que transcrevo, em cima, [Questões que  refiro anteriormente a propósito do ponto da situação feito pela Professora] verificar se a análise do conteúdo feita à minha entrevista fora bem feito.
    Defini como objectivos as três questões de investigação:
    1)O que pensam pessoas que nunca tiveram experiência de ensino a distância sobre esta modalidade de ensino?
    2) Como é que valorizam e/ou desvalorizam o ensino a distância?
    3) Como é que sentem o facto de ser amigo de um estudante de mestrado em Ensino a Distância?
    Para perceber se o primeiro objectivo - saber o que pensava o meu amigo sobre o EaD - fora atingido, considerei duas das categorias por mim identificadas: Definição de EaD e processos de aprendizagem em EaD. Identifiquei para a primeira categoria três subcategorias e para a segunda seis subcategorias. 
    Da leitura que fiz da análise da primeira categoria, concluí que o meu amigo define EaD como sendo um recurso e associa repetidamente o EaD à teleescola. Nesta definição é também relevante a recorrência ao factor geração para justificar a sua opinião.
    Quanto à segunda categoria - processos de aprendizagem em EaD - o meu amigo, considera que o EaD se desenvolve pela leitura, eventualmente com o recurso a Fóruns e realça, nas competências dos alunos e professores as competências técnicas e a auto-disciplina.
    Portanto, julgo que posso afirmar que, na sua opinião, o EaD é um recurso associado à teleescola onde o processo de aprendizagem se faz pela escrita, tendo professores e alunos que ter determinadas características, neste caso, domínio técnico e autodisciplina.
    Em relação ao segundo objectivo, consegui definir, para a desvalorização do EaD, duas categorias: Caracterização do EaD e EaD vs ensino presencial.
    No que respeita a valorização do EaD, encontrei duas categorias: EaD e outras modalidades de ensino a distância e Razões para a escolha de um curso EaD.
    Em relação à primeira categoria, pela forma como caracteriza o EaD, o meu amigo considera esta modalidade de ensino algo menor. Foram 4 as unidades de registo que consegui identificar como indicador da subcategoria EaD - algo menor. Ainda na caracterização do EaD, outra subcategoria identificado foi a Ausência de credibilidade da avaliação em EaD.
    Quanto à segunda categoria - EaD vs ensino presencial -, a subcategoria por mim identificada foi Menor interactividade que no ensino presencial, portanto, nessa comparação está presente a desvalorização do Ead face ao ensino presencial.
    Ainda no segundo objectivo, foi possível identificar duas categorias que resultaram noutro tema: a valorização do EaD. O meu amigo distingue, neste ponto, no EaD, o ensino online das outras modalidades de ensino a distância, valorizando o ensino online. Outros elementos de valorização são a questão geográfica e flexibilidade de horários que considerei subcategorias da categoria Razões para a escolha de um curso EaD, incluindo ainda nesta o factor idade como razão para escolha de um curso EaD.
    Logo, quanto ao segundo objectivo, o meu amigo desvaloriza o EaD face ao ensino presencial, valorizando o ensino online em relação a outras modalidades. É também dada importância ao facto do EaD permitir a frequência de cursos às pessoas condicionadas que idade, horários e questões geográficas.
    Em relação ao terceiro objectivo, revista a entrevista e reanalisada a análise, continuo com a mesma percepção que deixei aqui: Não consegui pôr o meu entrevistado a falar sobre o que sente pelo facto de ter uma amiga que está a frequentar um curso de Ensino a Distância.
    Do meu propósito inicial, só me falta verificar com outros casos. Deixarei para mais tarde. [Preciso de ir descansar um pouco] De qualquer forma, Professora, gostaria de saber se esta poderá ser uma forma de verificar se entrevista foi bem feita. Porque, neste momento, em todo este processo, sinto-me bastante insegura, quanto ao trabalho realizado até agora.

    2ª Intervenção - Análise das entrevistas - verificação / à procura de um padrão
    Terça, 23 Fevereiro 2010, 04:11
    Muito obrigada pelo feedback. Garanto-lhe que foi importantíssimo.
    Passarei agora a apresentar o resultado da comparação que fiz com outros casos. Neste caso, optei por comparar apenas com outro caso e escolhi, precisamente, a interpretação e a análise da entrevista da M.ª de Lurdes. Para isso usei os documentos disponibilizados na plataforma.
    Na percepção sobre o EaD, a entrevistada da M.ª de Lurdes considera o EaD um recurso. Esse é um elemento que, apesar de ter sido categorizado de forma diferente, comparando com a análise feita à minha entrevista, é comum. Outro aspecto que também é comum, apesar de não estar expresso na interpretação, mas que me interessa referir para procurar justificar a existência de um padrão, é o facto da entrevistada da M.ª de Lurdes ter referido, na entrevista, a TV como forma de EaD. Recordo que, nas conclusões que fiz em cima, esse foi um dos aspectos que identifiquei na entrevista do meu amigo: o facto dele identificar o EaD com a Teleescola, logo, TV. O meu amigo tem 44 anos. A entrevistada da M.ª de Lurdes tem 47. Talvez aqui seja possível encontrar um elemento comum - a geração.
    Outro aspecto que me parece ser comum às duas entrevistas, ainda que categorizados de forma diferente, prende-se com a ausência de credibilidade da avaliação em EaD. Na minha análise esse aspecto foi categorizado na Caracterização do EaD, dentro do tema da desvalorização do EaD, enquanto que na análise da entrevista da Maria de Lurdes aparece na sequência do tema Credibilidade do EaD, no entanto, a subcategoria é muito semelhante: Falta de fiabilidade na avaliação a distância, na entrevista de M.ª de Lurdes, Ausência de credibilidade da avaliação em EaD.
    No que respeita, a caracterização, quer do aluno, quer do professor, encontrei alguns aspectos similares, mas não foram suficientes para tirar conclusões finais. Talvez analisando outras entrevistas. Mas penso que vou ficar por aqui. Tenho de passar à próxima tarefa. piscar
    Antes de ir, quero deixar ainda a seguinte reflexão, desta vez sobre o pormenor quanto à última parte do meu post anterior. Tenho estado a pensar se o facto de ter feito a entrevista pelo messenger terá permitido ao meu amigo fugir à questão. Isto porque eu fiz a pergunta, mas, pela resposta (Acho que fazes bem.) achei que não deveria explorar mais. Fiquei com a sensação que o meu amigo não queria dizer mais do que já tinha dito. Pergunto-me se a presença física poderia ter provocado outro tipo de resposta...

    segunda-feira, 8 de março de 2010

    Discussão sobre a entrevista na investigação qualitativa - II

    O Fórum para discussão e preparação de um guião comum foi aberto no dia 9 de Dezembro. No post inicial, a Professora deu-nos as seguintes orientações:
    Chegados a este ponto temos de confrontar as várias propostas. O objectivo é criar um guião comum de modo a que cada um possa conduzir uma entrevista a um amigo dentro de um quadro geral comum.
    Por isso, para além de aspectos de pormenor que deixo à vossa análise, ficam já aqui duas questões para discussão:
    1) uma equipa equaciona a possibilidade de as entrevistas serem presenciais; outros dois grupos colocam a hipótese de serem online; o que vamos decidir?
    2) um dos guiões coloca a hipótese de preparar a entrevista pensando á partida em questões objectivas, do tipo sim ou não, ou de escolha múltipla; será adequado para uma entrevista semi-estuturada que se insere numa metodologia qualitativa?
    Os Guiões, entretanto, já tinham sido disponibilizados pelas várias equipas para análise:
    Grupo Viagens

    Fiz a minha primeira intervenção a 11 de Dezembro, procurando responder às questões iniciais do debate:
    Em relação à primeira questão, parece-me que será uma discussão semelhante àquela que se desenvolveu a propósito dos e-questionários. A diferença aqui residirá no facto de termos de tomar uma decisão, já que as entrevistas irão ser feitas e o grupo / turma deverá ter um procedimento semelhante.
    Parece-me que, decorrendo o curso em regime online, se deveria, também, usar esse registo para efectuar as entrevistas. Claro que poderá acontecer algum de nós não ter amigos que usem ou saibam usar a internet e / ou as ferramentas disponíveis para realizar as entrevistas online. Poderá ser um factor a ter em conta e ponderá-lo no guião comum.
    Quanto à segunda questão, e de acordo com a literatura lida e analisada, parece-me que uma entrevista semi-estruturada não será compatível com a elaboração de questões objectivas, com itens de resposta fechada.
    Neste tipo de entrevista pretende-se que o entrevistado fale sobre determinados assuntos, relacionados entre si, podendo a ordem das questões ser alterada, se se verificar que o diálogo possa ser mais frutífero. Julgo mesmo que, neste contexto, as perguntas feitas, no momento, poderão ser alteradas, se o entrevistador entender que dessa forma poderá recolher informações que possam facilitar a análise de outros dados.

    Mais tarde, no dia 14 de Dezembro, em resposta a um colega (Alexandre Monteiro) sobre o tipo de perguntas, escrevi:

    ...todos os grupos utilizam perguntas objectivas, do tipo sim ou não, o que consequentemente se ínclui na escolha múltipla, senão vejamos:...
    Realmente, aparentemente, parece-me que poderíamos considerar essas perguntas objectivas. E se à frente delas estivessem dois espaços em branco com SIM e NÃO para resposta, não teria qualquer dúvida em afirma que se tratavam de itens objectivos. No entanto, no nosso caso estamos a falar de perguntas que vão ser feitas a alguém em sincronia, portanto, quer pela escrita, no caso de se usar a escrita, quer pela voz, quer pela expressão facial (se for presencial) teremos, certamente, oportunidade de prolongar essa resposta que num questionário se traduziria apenas por uma cruz no SIM ou no NÃO.
    Concordo plenamente consigo, quando escreve: o que realmente interessa é que no fim da entrevista todos os temas propostos tenham sido cobertos (Wilson, 1985), independentemente da ordem...
    Já não me parece que a forma e o tipo das questões colocadas sejam irrelevantes.
    Julgo que, pelo que interpretei das leituras que fiz, que o que distingue a entrevista semi-estruturada da estruturada e não estruturada, não será tanto a forma ou o tipo de questões, mas residirá mais sobre quem tem o controlo da entrevista.
    No caso de uma entrevista estruturada, claramente, é o entrevistador quem 'manda'. Pelo contrário, na entrevista não estruturada, o entrevistado controla a situação, isto é, é-lhe dada a liberdade de discorrer sobre um determinado assunto, ocorrendo a entrevista numa espécie de conversa informal.
    A semi-estruturada será aquela em que o papel do entrevistador não será tão controlador como na estruturada, mas tem já, dentro de um tema aglutinador, vários assuntos que quer que o entrevistado desenvolva e, por isso, irá orientar o entrevistado nesse sentido.
    Aproveito este raciocínio para registar que, depois de (re)ler todas as propostas de guiões, incluindo a do grupo a que pertenço, me parece que de uma forma geral e, no que respeita, concretamente, os exemplos de perguntas, estaremos a ser um pouco rígidos de mais...pensativo

    A discussão foi bastante participada - 58 respostas. Foi criado na Plataforma, pela Professora, um wiki só para o guião comum da entrevista, cuja construção se iniciou no dia 14 de Dezembro, por iniciativa do colega Paulo Simões. E depois de discutidos vários aspectos, o wiki ficou concluído a 21 de Dezembro, resultando num documento que traduz  a leitura das várias propostas das equipas feita pelo Grupo/Turma. Participei quer na discussão quer na construção do Guião comum e, novamente, porque houve, tal como na construção do Guião em grupo, um trabalho coeso e de cariz colaborativo, não me parece relevante destacar qualquer das minhas intervenções, uma vez que o que se pretendo sublinhar é, precisamente, o carácter colaborativo do trabalho desenvolvido. Reuni as várias páginas do wiki num documento que disponibilizei aqui [http://www.scribd.com/doc/28056032/Guiao-da-Entrevista-Wiki-Turma].
    A 7ª parte – realização de e-entrevistas no terreno - desta actividade teve início a 3 de Janeiro com a abertura de nova raiz no Fórum de discussão das entrevistas. O prazo acordado para a conclusão desta tarefa foi cerca de uma semana.
    A minha entrevista foi realizada no messenger a um amigo que conheci pela Internet através do meu blog pessoal e demorou duas horas.  Procedi à transcrição da entrevista para um documento que publiquei aqui [http://www.scribd.com/doc/28057361/Transcricao-da-Entrevista].

    Discussão sobre a entrevista na investigação qualitativa - I


    Este Fórum de discussão foi aberto, no âmbito do estudo da entrevista na investigação qualitativa, prevendo-se a discussão dos guiões produzidos por cada equipa e a discussão conjunta sobre os mesmos de modo a conseguir-se um guião comum. Cumprir-se-iam, assim, as 5ª e 6ª partes das orientações previstas para a actividade 2 - A recolha de dados.
    Irei apresentar a análise da participação neste Fórum de discussão em duas partes. Nesta primeira parte, farei referência à discussão no Fórum da equipa a que pertencia (Descobrimentos) sobre a entrevista e construção do Guião da equipa.
    Numa segunda parte, farei referência à discussão sobre as várias propostas e construção do Guião da Turma.

    Num primeiro momento, concretização da 5ª parte da actividade os vários grupos teriam de produzir em equipa um guião para uma entrevista. Esse guião deveria ser colocado em fórum e discutido neste, de modo a produzir-se um guião consensual que servisse de base à realização de entrevistas. A entrevista seria aplicada, numa situação hipotética em que estivéssemos a fazer um estudo de caso sobre a forma como  os amigos dos estudantes deste mestrado percepcionariam o ensino a distância.
    Recorrer-se-ia a entrevistas semi-estruturadas para entrevistar um amigo de cada um de nós e só poderiam pertencer ao estudo amigos que nunca tivessem tido experiências de ensino a distância.
    Foram-nos sugeridas 3 questões de investigação:
    1) O que pensam pessoas que nunca tiveram experiência de ensino a distância sobre esta modalidade de ensino?
    2) Como é que valorizam e/ou  desvalorizam o ensino a distância?
    3) Como é que sentem o facto de ser amigo de um estudante de mestrado em Ensino a Distância?
    Na discussão do Fórum da equipa, os colegas Luís Miguel Rodrigues e Joaquim Lopes partilharam com os restantes elementos o resultado das leituras que tinham feito, tendo sido esse produto também publicado no wiki da equipa e discutiu-se sobre se na situação de se entrevistarem alunos, as entrevistas deveriam ser feitas pelo próprio professor.
    Deixo registo da minha última participação nesta raiz da discussão:
    Segunda, 7 Dezembro 2009, 02:26
    Olá, Joaquim
    A Rosalina diz que poderá ser uma vantagem o entrevistador conhecer o entrevistado e tem a sua lógica
    Ora, eu digo isto fruto das leituras que fiz, Joaquim. Se nos autores lidos , se afirma que se deve criar um ambiente de empatia entre entrevistado entrevistador, julgo que a conclusão a que cheguei fará sentido.
    Claro que a questão apontada pelo Luís também me parece pertinente. Mas, por exemplo, não sei se concordo muito com a sugestão de entrevistas em grupo. Por um lado poderá atenuará a relação de poder professor / aluno, mas, por outro, certamente, que os alunos que tivessem mais à vontade a falar, se iria destacar... E, nestas situações de grupo, há sempre aqueles que optam, por timidez ou outros factores, não participar.
    Tudo dependeria dos objectivos da entrevista. De qualquer forma, um trabalho deste tipo nunca poderia ser obrigatório e, por isso, sendo a situação explicada aos alunos, parece-me que a situação poderia ser desbloqueda. Mas lá está, estamos a falar de que idades. Sim, a situação não é fácil...sorriso

    Na discussão para a construção do Guião, não me parece relevante destacar qualquer das minhas intervenções, porque o trabalho desenvolvido traduz um trabalho de equipa coeso e de clara cariz colaborativa. Por isso optei por fazer cópia de toda a discussão e publicá-la aqui  [http://www.scribd.com/doc/28035588/Discussao-sobre-construcao-do-Guiao] de forma a ilustrar o que acabo de afirmar. O resultado final do nosso trabalho pode ser lido aqui [http://www.scribd.com/doc/28036211/Guiao-de-entrevista-Descobrimentos] e foi disponibilizado, para discussão, no Fórum aberto para o efeito, no dia 9 de Dezembro de 2009.

    Discussão sobre métodos e técnicas quantitativas de recolha de dados - Parte II

    Na outra raiz da discussão sobre métodos e técnicas quantitativas de recolha de dados, a discussão teve início, também, a 16 de Novembro de 2009. Na abertura do espaço, a Professora colocou-nos três questões:
    1) o e-investigador utiliza questionários endereçados pelo correio? Entregues para preenchimento presencial?

    2) vantagens e desvantagens da utilização de questionátios online versus questionários "presenciais" ou em papel?

    2)Questionários online: que ferramentas?
    Fiz a minha primeira intervenção no dia 18 de Novembro de 2009 e debrucei-me sobre a questão de fiabilidade da utilização de e-questionários:

    Talvez fugindo um pouco às questões em discussão, ou talvez não, vou começar a minha intervenção por citar um excerto do trabalho referido pelo Luís e que explorei (obrigada Luís, pela partilha no MICO grande sorriso):
    Uma das instituições, para quem tinha sido enviado o inquérito por e-mail, respondeu-nos referindo: “Lamentamos informar mas o documento que enviou por e-mail não foi reconhecido. Deverá enviar o mesmo através dos correios e devidamente assinado. (…)” (pág. 10)
    Este episódio é referido pelos autores como sendo uma curiosidade, no capítulo dedicado à 2. Metodologia de recolha de dados on-line.
    Quanto li esta curiosidade, lembrei-me de ter lido sobre a necessidade de autenticação da assinatura no papel, no artigo Ethical Issues in Qualitative E-Learning Research (Heather Kanuka and Terry Anderson, 2007). Escrevem os autores, a propósito da autenticidade e consentimento:
    In some cases consent is implied by the completion of a survey or questionnaire. Normally a signatureauthenticates consent; however, many potential research participants do not use digital signature technologies that insure encryption and authentication. Thus, education researchers who are collecting e-mails or Web forms, in a technical sense, are more likely to be subject to “erasure and corruption through power drops, operator error, etc.” (Ess, 2002, p. 6) as well as identity deception (Frankel & Siang, 1999). Bruckman (2002) recommended that electronic consent should be obtained only if “the subjects are 18 years of age or older. The onlineconsent form steps people through each sub-element, one at a time. The risks to subjects are low. Otherwise, consent must be obtained with a signature on paper
    Portanto, se, numa primeira leitura, me parece quase óbvio que um e-investigador não utilize questionários endereçados pelo correio e / ou entregues para preenchimento presencial, depois de reflectir sobre questões como o consentimento dos participantes e como garantir a confidencialidade e anonimato em questionários feitos online, pergunto-me se a utilização de e-questionários nos garante a fiabilidade do processo de recolha de dados.

    No dia seguinte, 19 de Novembro de 2009, voltei a participar, acrescentando ao conteúdo da entrada anterior mais elementos, no sentido de procurar discutir sobre a fiabilidade do processo de recolha de dados pelo uso de e-questionários: 
    Na referência que já aqui fiz algumas vezes, Manuela Hill e Andrew Hill (2008), no capítulo 15, a propósito do Relatório sobre a Investigação, e em particular na parte do relatório que refere os métodos de investigação, no que respeita o questionário, podemos ler o seguinte:
    São frequentes as pessoas que não confiam muito nas conclusões baseadas em respostas dadas a um questionário e, portanto, nesta secção do trabalho, o autor tem de persuadir o leitor de que o seu questionário foi construído de modo que o leitor possa confiar nos resultados e nas conclusões obtidas por aplicação do mesmo (p. 350).
    Mais à frente, e depois de terem sido indicados alguns pontos que devem ser incluídos a fim de explicar como se desenvolveu o questionário, quando referem a recolha de dados, os autores indicam seis aspectos que deverão ser incluídos na descrição desse processo.
    Por exemplo, a forma como os respondentes receberam o questionário, a indicação da forma como o questionário foi respondido, se o questionário foi respondido na presença de um intermediário, a indicação de existência ou não de uma relação de dependência entre intermediário e o respondente, quais as precauções tomadas para assegurar, na mente do respondente, a natureza anónima das respostas, caso se trate de um questionário anónimo.
    Não indico todos os aspectos, uma vez que me parece que estes serão suficientes para formular a minha dúvida.
    Será que, usando um questionário online, temos ferramentas que nos permitam garantir uma resposta a estas questões / aspectos?
    Sei que, de certa forma, retomo a linha de pensamento que já aqui deixei registada na minha anterior participação, mas gostava de discutir convosco esta questão, pois sozinha não estou a ser capaz de lhe responder.
    Neste ponto da discussão, o colega Joaquim Lopes referiu que num questionário online não é possível sabermos a forma como o inquérito foi respondido e citando Cohen et al (2007), quanto ao anonimato, sugere que se use Direct respondents to a web site em vez do email, acrescentando haver estudos que referem que inquéritos em que se pede o endereço de email há uma maior taxa de pessoas que não enviam os dados.
    De seguida, contrapus:
    Sábado, 21 Novembro 2009, 02:34
    De facto parece que a utilização do email como recurso para solicitar a participação em questionários não será a melhor escolha...
    Por outro lado, no artigo cuja referência o Joaquim faz em cima na sua participação de 19 Novembro (22:15) - Zhang (Zhang, Y. (1999). Using the Internet for Survey Research: A Case Study, o autor escreve:
    Mailing lists and newsgroups can be used efficiently to reach potential respondents because their subscribers usually share common interests or concerns. In most previous studies, questionnaires were sent to multiple mailing lists and/or newsgroups that were most likely to include the target individuals.
    E isso fez-me lembrar que durante o curso já respondi a dois questionários, um por sugestão de um dos professores de uma uc do 1º semestre e outro por solicitação de um 'amigo' no facebook. A questão que me coloco é: será que se os questionários me tivessem chegado por mail eu não responderia?
    Outra que entretanto por surgiu agora é: serão as redes sociais um recurso a ter em conta para a aplicação de questionários online?
    Outra questão ainda que me tenho colocado, depois de ter lido a participação da Sandra Brás de 18 Novembro 2009, a propósito do trabalho que Paula Flores está a desenvolver no campo das TIC na Educação, e da opção por fazer o inquérito em papel, porque na altura os professores estariam muito ocupados, leva-me a perguntar se não teria sido preferível, então, ter aplicado o inquérito noutra altura, já que a investigação está a ser desenvolvida no campo das TIC.
    E continuo sem conseguir dar uma resposta definitiva ao primeiro ponto de discussão: 1) o e-investigador utiliza questionários endereçados pelo correio? Entregues para preenchimento presencial? grande sorriso 
    De novo, o Joaquim Lopes interveio, esclarecendo um ponto que na minha anterior participação estaria menos claro e que se prendia com o facto do e-mail ser usado apenas para convidar as pessoas a participar. Em relação à minha dúvida, manifestada no último parágrafo, escreveu o seguinte: eu arrisco dizer que não faz sentido um e-investigador utilizar questionários pelo correio para serem preenchidos presencialmente, referindo que desta forma estaríamos a responder à primeira questão colocada pela professora.
    Na sequência destas intervenção, levantei, então, outra questão que se prendia com o domínio das TIC:
    Terça, 24 Novembro 2009, 00:44
    (...)E aqui eu ouso levantar ainda outra questão. Vamos imaginar que os dados que sejam solicitados num determinado inquérito que pretende recolher dados sobre a utilização do mail como forma institucional de comunicação numa escola é entregue em papel. Nesse questionário, uma das questões é: Tem e-mail? Outra é: costuma usar?
    Agora imagina esta situação: uma pessoa tem e-mail, mas não usa directamente, isto é, alguém, por si, que não está no mesmo espaço geográfico, abre o e-mail, imprime as várias mensagens e envia-a por correio (CTT) para a primeira pessoa.
    Ora, se essa primeira pessoa respondesse ao inquérito em suporte papel iria, provavelmente, responder que tinha conta e que usava. O que é certo é que apesar de ter conta não usava. Logo, se o inquérito fosse enviado por mail para ser devolvido por mail ou respondido numa aplicação online, não participaria.
    Esta parece uma situação absurda, mas garanto que não se trata de ficção. sorriso
    Portanto, como prevenir situações destas? Ou, enquanto e-investigadores, deveremos limitar-nos aos utilizadores da web nas nossas pesquisas?
    Uma vez mais, o Joaquim Lopes, interagiu comigo e apontou, como resposta à minha última questão a listagem das  mais óbvias manifestações de e-pesquisa, de acordo com Anderson e Kanuka (2003).
    Ainda assim, não fiquei satisfeita e insisti:
    Quarta, 25 Novembro 2009, 19:51
    (...)A minha questão não se prende com as vantagens e desvantagens, mas sim em saber se, enquanto e-investigadores devemos ter como universo apenas os utilizadores da web.
    Concretizando: nós estamos a fazer um curso de mestrado em e-learning e iremos apresentar uma tese, caso optemos por usar, por exemplo, o questionário para recolha de dados, deveremos usar para amostra apenas os utilizadores da web, usando, por isso, questionários online, ou mesmo usando utilizadores da web, devemos usar questionários em papel?
    Isto é, para além de aqui iterarmos as vantagens e desvantagens da utilização o que eu pretendia discutir e tentar encontrar uma solução sobre qual o procedimento mais adequado, atendendo ao facto de estarmos a fazer um curso online e estarmos precisamente a discutir esse assunto.
    É um facto que estamos a falar da utilização da Internet e parece que será para todos óbvia a utilização de questionários online. No entanto, na prática, temos, no caso da tese que analisámos e cuja temática era, precisamente, a utilização da internet no processo de construção de conhecimento, um questionário em suporte papel que foi distribuído. Não é justificada , pela autora, a razão pela qual não se usou e-questionários. E temos, ainda, o caso apontado pelos José Carlos, Mónica, Paulo e Sandra da investigadora que optou pelo suporte papel por uma questão de calendário escolar.
    Portanto, devemos ou não, para recolha de dados, usar o e-questionário, sendo e-investigadores. Era isto que eu estava a querer discutir.
    Ainda nesta raiz da discussão sobre métodos e técnicas quantitativas de recolha de dados me referi às ferramentas que se podem usar, na situação de e-questionários:
    Sábado, 21 Novembro 2009, 02:52
    Bem, de todas as sugestões de ferramentas que até foram dadas pelos colegas, a única que já explorei é a do Googledoc, formulários, referida pela Sandra e seria aquela que iria sugerir. Concordo com o que foi escrito pela Sandra em nome do grupo: Permite investigador criar máscaras de introdução de dados de forma simples e intuitiva (...) 
    Enquanto investigadora ainda não usei, mas como professora estou a fazer um questionário que pretende substituir aquele que até aqui usava em suporte papel para avaliação das aulas e que era distribuído aos alunos no final do ano. Por isso, como ainda não apliquei não sei se me será tão fácil a análise de dados como a sua construção. 
    Em síntese, parece-me que este foi um dos pontos altos das discussões em Fórum desta uc. As duas raízes da discussão sobre o tema obtiveram um total de 60 respostas. Pessoalmente gostei bastante de participar na discussão.

    Discussão sobre métodos e técnicas quantitativas de recolha de dados - Parte I

    O Fórum para discutir a Recolha de dados quantitativos, foi dividido em duas raízes:
    - e-questionários;
    - Análise da dissertação com a utilização do questionário: Alves, A. (2007). E-Portefólio: Um estudo de caso, disponível em   repositorium.sdum.uminho.pt/handle/1822/7178.
    O Fórum foi aberto a 16 de Novembro de 2009 e fiz a minha primeira intervenção na raiz da discussão sobre a análise da dissertação com a utilização do questionário. Na abertura do tema a Professor recordou-nos aquelas que deveriam ter sido as questões orientadoras da análise e que constavam das orientações para o desenvolvimento da actividade:
    • A autora apresenta claramente os objectivos de investigação que presidiram à elaboração do questionário?
    • Na dissertação apresentada há indicação dos passos que estiveram subjacentes à construção do questionário?
    • A amostra é claramente identificada?
    • É indicado o método usado na definição da amostra?
    • O questionário usado foi objecto de validação prévia?
    • Na explicitação da metodologia usada há indicações sobre o modo de tratamento dos dados obtidos com a aplicação do questionário?
    Transcrevo, de seguida, a minha intervenção:
    Terça, 17 Novembro 2009, 01:50
    Deixo aqui o resultado da minha análise, face às questões colocadas e que também já tive oportunidade de partilhar com os meus colegas de equipa.
    Em relação à primeira questão colocada, a referência ao uso dos questionários é muito lapidar, sendo, sucintamente, descritos como: constituídos por perguntas fechadas e por questões de escolha múltipla, pretendendo-se que satisfizessem os objectivos propostos. (4. Instrumentalização, pág. 66). Não encontrei no documento qualquer referência aos passos que estiveram subjacentes à construção do questionário.
    Quanto à amostra, a mesma é identificada, mas não me parece que seja claramente identificada. Há questões que ficam por descrever e que poderiam ser dados importantes para garantir a importância do estudo. Ainda em relação ao método usado na definição da amostra, creio que, indirectamente, o mesmo é identificado, quando a autora apresenta no ponto 6., pág. 66, os critérios que estiveram subjacentes as escolas onde os questionários foram aplicados. Quanto a mim enquadram-se num método de amostragem por conveniência (Hill, 2008).
    Quanto à validação do questionário, de acordo com o ponto 5. o mesmo foi validado. Mas é apenas feita uma síntese do processo, não sendo por exemplo explicado por que razão a redacção das questões teve de ser reformulada e acrescentada uma delas. Faltando ainda especificar de que questionário se tratava, uma vez que existem dois questionários: um para alunos e outro para professores.
    Existem indicações sobre o modo como de tratamento dos dados obtidos. Isto é, a autora indica, na página 67 o programa usado de computador usado para a análise estatística, referindo que os resultados foram apresentados na sua perspectiva percentual, sempre que tinha sido considerado útil. Não me parece pela leitura que fiz de Cohen et ali que estas indicações sejam suficientes para descrever o processamento dos dados resultantes de questionários.

    Tendo sido alargado o tempo para discussão deste tema, fiz, a 25 de Novembro outra intervenção nesta raiz da discussão que intitulei: "O universo alvo".

    Há, nesta tese, uma questão que me tem feito reflectir e sobre a qual só agora decidi escrever, porque não sei se se enquadra na temática da discussão. Uma vez que não responde, directamente, a nenhuma das questões, mas que se prende com a minha própria interpretação, quer da própria tese, quer, particularmente, das questões que foram feitas no questionário.
    E, porque o prazo para podermos participar foi alargado, achei que devia aproveitar esse tempo.
    A intenção do estudo de acordo com a autora é: contribuir para uma reflexão sobre as potencialidades educativas da Internet, ou seja, pensar a sua utilização numa vertente pedagógica. A tecnologia por si só não desempenha uma função catalítica. É a utilização que dela se faz que pode favorecer o processo de construção do conhecimento por parte do sujeito que aprende.
    Este trabalho tem como objectivos verificar a representação que professores e alunos têm acerca da Internet, bem como caracterizar a utilização que fazem deste meio de aceder à informação. Julgo que poderemos considerar que, por isso, o Universo alvo será a Escola, enquanto instituição.
    Ora, a minha questão é: se o objectivo é contribuir para uma reflexão sobre as potencialidades educativas da Internet, ou seja, pensar a sua utilização numa vertente pedagógica, se o inquérito foi distribuído em Escolas, por que razão não se tentou saber quantos computadores com ligação à net estão disponíveis, na Escola, para uso de professores e alunos? A questão é aflorada em ambos os questionários, quando se pretende saber das razões pelas quais não é frequente o uso da internet, mas o inquérito inicia, em ambos os casos, por querer saber se alunos e professores possuem computador com ligação à internet em casa.
    Logo, fará sentido ter restringido o inquérito ao universo da Escola?

    Neste ponto da discussão, sobre a recolha de dados, as nossas participações resultaram, de uma forma geral, na apresentação da análise, individual ou em equipa, efectuada a propósito da tese.