1 Introdução

A revolução possibilitada pela Web 2.0 trouxe com ela pressões por mudanças no cenário da comunicação e no monitoramento e avaliação de sua efetividade. Novos canais e práticas de Comunicação Pública de Ciência e Tecnologia (CPCT), 1 sobretudo no ambiente digital, passaram a exigir novos modelos de avaliação e a compreensão de uma variedade de métricas [ de Aguiar & Salles-Filho, 2020 ]. Tais mudanças têm incentivado estudos sobre seus efeitos e obstáculos [ Jensen, 2014 , 2015 ; Gascoigne & Metcalfe, 2001 ], assim como a emergência de novas abordagens de avaliação de impacto das publicações difundidas por mídias sociais 2 [ Bornmann, 2014 ; Macnamara, 2018 ; Jensen, 2015 ].

Órgãos financiadores e formuladores de políticas carecem, cada vez mais, do entendimento sobre o uso de métricas, indicadores e padrões de avaliação do alcance social da pesquisa científica. Ao mesmo tempo, cientistas e comunicadores necessitam de modelos eficazes de acompanhamento para que o processo comunicativo seja avaliado no que tange ao seu alcance e engajamento [ Bucchi, 2013 ]. Porém, embora tenha havido crescente esforço para comunicar e uma melhor compreensão pública da ciência [ Lewenstein, 2003 , 2010 ; Massarani & de Castro Moreira, 2016 ; Bucchi & Trench, 2008 ; Polino & Castelfranchi, 2012 ; Massarani, 2012 ], não desenvolvemos uma clara compreensão de como medir e acompanhar essa complexa relação entre ciência e sociedade.

Enquanto na comunicação científica — entre pares — prevalecem os indicadores bibliográficos, de inovação e índices disponíveis no mundo da academia, tanto para avaliação individual como para comparação coletiva [ Mugnaini, 2006 ; dos Santos, 2018 ], quando tratamos da comunicação com a sociedade, as tentativas de monitoramento e avaliação são mais dispersas, pontuais e recentes [ Pellegrini, 2014 ]. Isso porque não estamos falando de um produto, mas de um processo que pretende afetar a forma como a sociedade é alcançada e se engaja em questões de C&T [Jensen, 2014 ].

Falamos da “Comunicação Científica 2.0”, em que os fluxos tradicionais dessa relação sofreram relevante disruptura. O processo que era mediado, filtrado por canais específicos, verticalizado e sequencial, passa a conviver com uma nova realidade de comunicação, muitas vezes de forma direta, realizada por novos atores, de forma horizontal, simultânea e não linear. Novas tecnologias e modos de comunicar C&T são disponibilizados por instituições de pesquisa, jornalistas científicos, movimentos ativistas ou pelos próprios pesquisadores [ de Aguiar & Salles-Filho, 2021 ]. Nesse contexto dinâmico, o processo comunicativo tradicional (discussão especializada/exposição didática/popularização) é colocado em discussão [ Bucchi, 2013 ] e suas tendências sugerem novos estudos.

Vale reforçar que a CPCT é uma forma de comunicação que possibilita que o conhecimento científico extrapole os limites da academia, circule em comunidades mais amplas e passe a integrar processos de apropriação cultural. É empreendida por vasta diversidade de atores e territórios, “refletindo diferentes práticas e modelos, assim como diferentes funções, espaços, objetivos, motivações e públicos para democratizar o conhecimento técnico-científico” [ Castelfranchi & Fazio, 2021 , p. 9].

Apresentamos nesse artigo o embasamento teórico e a sugestão de um modelo analítico, a partir de tipos ideias de CPCT, usando como referência os modelos: Informacional (Déficit), Engajamento Público e Participativo/Apropriação de C&T. A partir desse constructo, propomos um modelo de monitoramento e avaliação a partir da abordagem da Teoria da Mudança (TM). Objetivamos a prospecção de uma cadeia lógica que seja capaz de explicar o encadeamento das etapas que melhor caracterizam cada um dos tipos ideais propostos e quais supostos seriam necessários para o atingimento de cada objetivo ou impacto almejado.

2 Modelos de CPCT: do déficit à utopia da participação

Antes de discorrer sobre os modelos de CPCT, cabe-nos pontuar que seguimos a perspectiva de comunicação como um processo reflexivo. De acordo com Germano e Kulesza [ 2007 ], por essa visão, comunicar pressupõe um processo horizontal de compartilhamento e diálogo. Remetemos, assim, a um processo comunicativo com sentido de democracia, ambicionando, sobretudo nos tempos atuais, uma atitude de resistência contra os movimentos anticientíficos e do avanço dos ecossistemas de desinformação [Castelfranchi & Fazio, 2021 ]. Seguimos, pois, a percepção de CPCT como a comunicação vinculada ao interesse público, tendo como paradigma a construção da cidadania [ Matos, 2012 ; Duarte, 2007 ]. Destacadamente, significa enxergar a comunicação pública como um processo político, devendo ser levado em consideração o contexto de sua atuação e os modelos adotados [ Lewenstein, 2010 ].

Assim, devemos pensar na evolução da CPCT, mas também atentar para seus desafios. A partir do século XXI, com o avanço das Tecnologias de Informação e Comunicação (TICs) e Internet, a forma como nos comunicamos foi profundamente alterada. No campo da CPCT, deixamos de ter um cenário previsível, com um modelo linear e centralizado de produção e distribuição do conhecimento, com atores e funções bem delimitadas, voltado para informar um público uniforme e passivo. Hoje temos uma profusão de canais e atores, com metas e objetivos voltados cada vez mais para uma comunicação dialógica e participativa [ Bucchi & Trench, 2008 ].

Revemos, assim, os modelos de comunicação mais recorrentes na literatura, em especial os apresentados por Lewenstein [ 2003 , 2010 ] e retomados em outras versões por diferentes autores. Eles vão da abordagem conhecida como “modelo de déficit”, passando pelo modelo contextual, modelo de expertise leiga (conhecimento popular) e o modelo de participação pública. Do modelo de déficit ao modelo contextual haveria o reconhecimento de que os indivíduos “processam as informações de acordo com esquemas sociais e psicológicos que foram moldados por suas experiências anteriores, contexto cultural e circunstâncias pessoais” [Lewenstein, 2010 , p. 3]. No nível prático, o autor comenta que o modelo fornece orientação para a construção de mensagens que sejam relevantes para indivíduos em contextos específicos.

Acerca do modelo de expertise leiga, assume-se que o conhecimento popular pode ser tão relevante para resolver um problema quanto o conhecimento técnico. Assim, as atividades de comunicação deveriam ser estruturadas de forma a “reconhecer a informação, o conhecimento e a experiência já detidos por comunidades que enfrentam questões científicas e técnicas” [Lewenstein, 2010 , p. 5]. Já o modelo de participação ou engajamento público inclui conferências de consenso, júris de cidadãos, avaliações deliberativas, oficinas de ciência, votação e outros formatos de construção coletiva [Lewenstein, 2010 ]. Seria uma forma de impulsionar as atividades de participação pública, com o compromisso de “democratizar” a ciência, dando a grupos públicos alguma forma de empoderamento.

Bastos [ 2020 , p. 32] revê esses conceitos quando discorre que “as políticas para o engajamento público em C&T, lideradas por universidades e centros de pesquisas, pretendem trazer os cidadãos de forma mais ativa ao processo de tomada de decisões”. Navas e Contier [ 2015 ], em análise dos tipos de comunicação pública, enfatizaram que a forma de se comunicar relaciona-se com os objetivos. Os autores sintetizaram os modelos com base nas caracterizações de Lewenstein [ 2003 , 2010 ] e Bucchi [ 2008 ], em três tendências: Modelo de Déficit; Modelo de Diálogo e Modelo de Participação.

Em outras palavras, temos de um lado um movimento de integração entre cientistas e cidadãos, chamado de ciência cidadã [ Irwin, 2008 ] e, de forma complementar, uma comunicação cidadã [Lewenstein, 2003 ; Bucchi, 2008 ; Polino & Castelfranchi, 2012 ], que busca reconhecer a participação social nos processos comunicativos. Todavia, Castelfranchi e Fazio [ 2020 ] reforçam a complexidade destas intersecções ao resgatar diferentes definições e perspectivas sobre o conceito de cidadania no território científico e tecnológico. Os autores propõem o termo “cidadania técnico-científica”, com referência ao “contexto das interrelações contemporâneas entre democracia, mercado, inovação, produção e apropriação social do conhecimento” [Castelfranchi & Fazio, 2020 , p. 150].

Na prática, como alerta Lewenstein [ 2010 ], muitas atividades combinam elementos dos diferentes modelos. Ou seja, podem ser complementares numa estratégica de comunicação, já que informar sobre questões científicas, também pode representar uma etapa para atividades de engajamento público. O autor parece concordar sobre o valor de todos os modelos, bastando para isso entender o objetivo da atividade proposta [ Lewenstein, 2003 ].

Por fim, julgamos importante incorporar o conceito de Apropriação Social da C&T (ASCyT), que representa uma estratégia integrada de produção do conhecimento, sua democratização e participação cidadã, bem como uma política pública que leve em conta as especificidades da região, tanto em termos territoriais, quanto da abertura para outros protagonistas [ Castelfranchi & Fazio, 2021 ]. Essa perspectiva, particularmente vinculada a estudos latino-americanos, aproxima produtores de conhecimento e seus destinatários. O que torna o conceito diferente de outros relacionados é justamente o distanciamento que pretende ter dos modelos difusionistas e deficitários de conhecimento, buscando estar mais próximo do modelo de comunicação situado e participativo [ Daza-Caicedo et al., 2017 ]. Dávila-Rodríguez [ 2020 ] comenta que, ao longo do tempo, o termo adquiriu outras dimensões, contribuindo para as análises relacionadas à recepção e aos efeitos da mídia sobre o público.

3 Avaliação da CPCT

Na virada do século 21 a avaliação de políticas de C&T tomou novos rumos, em parte justificada pelas pressões sobre a relevância e o impacto da ciência produzida localmente [Daza-Caicedo et al., 2017 ]. Nesse sentido, houve crescente demanda para extrapolar a gestão dos recursos e efeitos no campo acadêmico, incluindo o impacto dos programas e das atividades empreendidas na sociedade [ de Brito Cruz, 2021 ]. Passa a ter ainda mais relevância os estudos e debates acerca do papel da comunicação nessa relação, bem como o uso de métricas para sua avaliação [ Gouveia, 2016 ]. É cada vez mais necessário conhecer o alcance dos resultados de uma pesquisa e as formas como diferentes atores interagem com ela [ Pulido, Redondo-Sama, Sordé-Martí & Flecha, 2018 ].

No entanto, Jensen [ 2014 ] enfatiza que mesmo nas instituições de comunicação científica com melhores recursos, métodos questionáveis de avaliação da eficácia da comunicação são empregados rotineiramente. Para o autor, boa parte das justificativas para o baixo uso e baixa qualidade das avaliações está justamente na complexidade do processo. Mas ressalva que medir a aprendizagem científica, as atitudes e outras variáveis-chave de resultados é possível quando bem articulada. Pellegrini [ 2014 ] adota a mesma perspectiva ao considerar que o desenho e planejamento de avaliações da comunicação de C&T são tarefas complexas por envolver múltiplos fatores, disponibilidade ampla de métodos e perspectivas.

Apesar da complexidade, muitas instituições que empreendem atividades de CPCT têm avançado na avaliação da eficácia das intervenções, dos programas e das políticas de comunicação. O que envolve a identificação de padrões de interação entre os atores e o monitoramento das reações frente aos recursos disponibilizados [ Macnamara, 2018 ]. Trata-se de avaliação do processo, que envolve o monitoramento e rastreamento para identificar se os objetivos estão sendo alcançados ou se podem ser aferidos impactos de curto prazo [ Bauman, King & Nutbeam, 2014 ].

Mas, converter as formas de interação do público com a apreensão de seus significados exige uma análise cuidadosa dos indicadores e dos resultados. É preciso uma maior compreensão dos novos fluxos e da relação entre os atores [ Gouveia, 2016 ]; assim como ampla investigação para se compreender como menções em blogs, número de tweets ou de pessoas que salvam trabalhos em gerenciadores de referência podem ser consideradas medidas válidas da disseminação e apropriação de resultados científicos [ Torres-Salinas, Cabezas-Clavijo & Jiménez-Contreras, 2013 ].

Cerqueira e Silva [ 2011 , p. 122] reforçam essa ideia, pontuando que “a simples coleta de dados, ainda que realizada de maneira estratégica, não é detentora de sentidos em si mesma”. Eles sugerem, mesmo com a análise quantitativa dos dados, a inclusão de uma etapa interpretativa, “que busque identificar, por exemplo, correlações, motivos, desdobramentos, consequências e variações”. Ter mais dados à disposição poderia tornar ainda mais complexa a mensuração. Nesse sentido, enfatizam a necessidade de selecionar indicadores mais pertinentes aos objetivos comunicacionais, sobretudo no ambiente digital, onde prevalecem as métricas, mas falta consenso sobre quais usar e como interpretá-las. Justamente a motivação para nosso estudo.

A maioria dos estudos que envolve métricas voltadas para a relação ciência e sociedade busca compreender a percepção do público e o impacto das atividades na apreensão dos conteúdos e compreensão de temas afetos à CTI, sobretudo, aquelas realizadas em museus e universidades [ Pellegrini, 2014 ; Castelfranchi & Fazio, 2020 ]. E, dessa forma, essas pesquisas acabam tendo um escopo pontual e limitado, não resultando em evidências para se pensar uma real mudança de paradigma no que tange à CPCT [ Daza-Caicedo et al., 2017 ]. Embora as pesquisas de percepção pública da C&T sejam importantes e indiquem mudanças culturais na sociedade, faltam indicadores específicos para relacionar se essas mudanças são efeito dos processos de comunicação empreendidos.

4 No contexto de mídias digitais, o potencial dos modelos dialógicos

Com o uso de novas ferramentas e possibilidades de interação no ambiente online, a comunicação científica tem representado um rico e complexo campo de investigação, visando não apenas a compreensão de seus fluxos, mas também onde e como se dão as novas formas de interação entre diferentes atores sociais [ de Araujo & Furnival, 2016 ; Gouveia, 2016 ]. Isso não quer dizer que deixamos de analisar o processo de comunicação feita por canais tradicionais de divulgação de informação, ações presenciais e eventos abertos para popularização de C&T à sociedade. A escolha do meio digital e de redes sociais como recorte de nosso estudo é justamente pelo caráter de esfera pública, constituindo base fundamental para a ciberdemocracia [ Lévy, 2003 ], e da tecnologia, que favorece os modelos dialógicos de comunicação [ Macnamara, 2016 , 2018 ] e, sobretudo, de escuta ativa [ Blanchard, 2011 ].

Ao comparar o fluxo da comunicação científica tradicional e da comunicação científica no ambiente digital, Castro [ 2006 ] afirma que o advento da internet e o desenvolvimento de novas tecnologias alteraram as relações sociais e o fluxo da comunicação científica foi reestruturado. Com o desenvolvimento das TICs, as formas de comunicação disponíveis à comunidade científica vêm se modificando, ampliando-se e tornando-se cada vez mais eficientes, rápidas e abrangentes, vencendo barreiras geográficas, hierárquicas e financeiras [ Mueller, 2000 ]. Especialmente no ambiente digital, as novas formas de produzir, comunicar e utilizar a informação está baseada na conexão, convergência e no compartilhamento [ Gonçalves, 2017 ; Jenkins, 2006 ; Lemos & Lévy, 2010 ].

Brüggemann, Lörcher e Walter [ 2020 ] argumentam que a mídia e as transformações socioculturais mais amplas levam a desafios, renegociações e mudanças não apenas para o papel dos cientistas no processo de comunicação pública, mas também para toda a configuração de atores, normas e práticas envolvidas na comunicação científica. Consideram que ambos os grupos estão cada vez mais atuando como defensores de bens comuns que enfatizam as normas emergentes da comunicação científica: transparência, interpretação, advocacia e participação. Também destacam que as atividades e interações comunicativas acontecem em novos canais de mídia, como blogs, mídias sociais ou plataformas de compartilhamento online.

É justamente neste ambiente que pensamos o modelo de monitoramento e avaliação de CPCT que propomos. Para Blanchard [ 2011 , p. 237], existe um triplo valor quando buscamos medir e avaliar a comunicação no espaço de mídia social: “descobrir quais elementos de uma campanha ou programa funcionam e não funcionam, fazê-lo em tempo real e ser capaz de fazer ajustes dinamicamente para alcançar objetivos específicos”.

5 Procedimentos metodológicos para a construção do modelo

Nesta seção, descrevemos os passos sugeridos pela literatura para o desenvolvimento de uma Teoria da Mudança (TM), tendo como objetivo a sugestão de indicadores para os diferentes tipos de CPCT. A proposição desse modelo fundamenta-se sobretudo nas orientações de Weiss [ 1998 ], Anderson [ 2005 ], Funnell e Rogers [ 2011 ], Vogel [ 2012 ], Rogers [ 2014 ], Mayne [ 2015 ], Hermann-Pawłowska e Skórska [ 2017 ] e James [ 2011 ].

Usamos a abordagem da TM popularizada por Carol Weiss como mecanismo para descrever o conjunto de suposições que explicam os passos rumo às metas de longo prazo, assim como as conexões entre as atividades e os produtos em cada fase das intervenções [Weiss, 1998 ]. Essa escolha é argumentada pela ênfase que a TM dá ao processo de tomada de decisão na prática [Hermann-Pawłowska & Skórska, 2017 ]. Trata-se de inferir um marco lógico e atributos de causalidade, favorecendo o desenvolvimento de uma representação dos resultados, por meio de “um relato articulado que vincula a realização de atividades à consecução de objetivos desejados, sob determinadas condições e suposições” [ Ministério de Desenvolvimento Social e Combate à Fome. Secretaria de Avaliação e Gestão da Informação, 2015 ].

Iniciamos com uma análise do contexto da CPCT, buscando identificar o problema que a intervenção procura abordar; as ações e os supostos em cada fase e para cada uma das dimensões. Fizemos um recorte para as ações empreendidas em mídias digitais, identificando os impactos finais pretendidos [Funnell & Rogers, 2011 ]. Nessa etapa, pontuamos os tipos ideais de CPCT como nossa visão de longo prazo [Hermann-Pawłowska & Skórska, 2017 ]. A partir deles, fizemos um caminho inverso de relação. Ou seja, partimos de uma teoria acadêmica para buscar inferir os caminhos lógicos para os resultados e impactos desejados e previstos. Seguindo a sugestão de Funnell e Rogers [ 2011 ], usamos as questões “se-então” para contribuir para a construção dos modelos mentais a partir da percepção de diferentes atores, visões e interesses. Essa base teórica foi construída a partir de revisão de literatura, consulta a documentos que orientam a comunicação, planejamentos e avaliações anteriores.

Como já mencionado na seção anterior, usamos os modelos de CPCT como fundamento para a construção da TM: Informacional (Déficit), Dialógico, Conhecimento Leigo e Participativo [ Lewenstein, 2003 , 2016 ; Bucchi, 2008 ; Neresini & Bucchi, 2011 ; Bucchi & Trench, 2016 , 2021 ] e, ainda, o modelo de Apropriação Social da Ciência e Tecnologia — ASCyT [ Borda & Maldonado, 2010 ; Polino & Cortassa, 2016 ; Daza-Caicedo et al., 2017 ; Dávila-Rodríguez, 2020 ]. A ideia foi desdobrar as grandes metas colocadas nos diferentes modelos em estratégicas de ações e resultados claros, objetivos e mensuráveis.

Visto por uma ótica prática, focalizamos nas perguntas norteadoras a compreensão e organização dos modelos e tentamos incorporar esse construto em imagens significativas [ Brandão & Ribeiro, 2017 ]. Seguindo a esses autores, convertemos a noção das atividades de comunicação em estratégias e táticas. Fizemos isso tentando pontuar quais seriam os supostos de curto e médio/longo prazo. Também pensamos nos beneficiários diretos e indiretos das atividades de CPCT e de como isso poderia influenciar a própria instituição e as demais organizações de seu entorno, como órgãos de financiamento, formuladores de políticas; comunidades e grupos de interesse ou associações [ Morra Imas & Rist, 2009 , p. 145].

O monitoramento que propomos envolve a medição do progresso em direção a um resultado ou impacto, que não é medido diretamente, mas através de um conjunto de indicadores capazes de fornecer informações sobre o alcance dos objetivos ou o seu desvio, ou seja, uma proxi dos resultados pretendidos [ Morra Imas & Rist, 2009 ]. Além disso, os indicadores são usados de forma operacional, não apenas com um sentido abstrato. Definimos um indicador para cada resultado (ou pré-condição) no caminho da mudança, usados para determinar a magnitude dos efeitos previstos do programa [ Gertler, Martínez, Premand, Rawlings & Vermeersch, 2018 ].

Para tanto, utilizamos o conceito de indicador de desempenho sugerido pela OCDE [ 2002 ], como “uma variável que permite verificar mudanças na intervenção de desenvolvimento ou mostrar resultados em relação ao que foi planejado” [Organisation for Economic Co-operation and Development, 2002 , p. 29]. Além disso, de acordo com Aspen Institute , indicador é um conceito para se determinar o sucesso, o que é diferente de o meio como ele será medido. Eles sugerem pensar no indicador mais relevante, para depois pensar nas formas de se coletar esses dados.

Especificamente neste artigo, demonstramos como o modelo pode ser construído para avaliar os diferentes tipos de CPCT. Embora se busque um construto de tipos ideais, é desejável adaptá-los para a realidade das instituições de C&T brasileiras. Dos indicadores usados na gestão de mídias sociais, identificamos aqui quais poderiam ser aplicados no contexto de universidades públicas, especificamente para o monitoramento e avaliação da CPCT e como eles poderiam ser separados nos diferentes tipos e dimensões.

Ou seja, dado o propósito de avaliar o processo de informar a sociedade sobre resultados de pesquisa de uma universidade, propomos aqui marcas de progresso e indicadores para essa medição. Sugere-se assim um conjunto de indicadores que podem ser usados para esse nível de comunicação, entre eles: o número de inserções na mídia, menções rastreadas pela altmetria, fator de impacto na web (Web Impact Factor — WIF), percepção de empregadores em rankings nacionais, presença e regularidade em diferentes plataformas, taxa de crescimento no número de seguidores (fãs), curtidas e pessoas alcançadas nas postagens, entre outros. No caso do tipo engajamento, os indicadores de progresso são voltados para esse fim, assim como no tipo participativo/apropriação. Em síntese, para cada modelo, uma régua distinta.

Nesse sentido, a verificação do progresso se dá a partir da “evidência cumulativa de um grupo de indicadores”, não devendo ser o resultado ou impacto observado por apenas um indicador. Seguimos Anderson [ 2005 , p. 13], quando sugere que para cada pré-condição no caminho da mudança, devemos indicar quais evidências serão usadas para mostrar que isso foi alcançado. É justamente essa evidência que se torna o indicador que será usado para rastrear o progresso e documentar marcas previstas de desempenho.

Além dos indicadores mensuráveis, incluímos alguns aspectos qualitativos como destacado por Funnell e Rogers [ 2011 ]. Seguimos algumas perguntas na seleção do que medir: como os aspectos mais importantes na cadeia de resultados a serem monitorados, os critérios de sucesso, os fatores programáticos e não programáticos e aspectos da implementação do programa mais importantes [Funnell & Rogers, 2011 , p. 426]. Nota-se que muitos indicadores são quantificáveis e outros qualitativos, fornecendo uma visão sobre o valor, significado ou importância da experiência de comunicação de um participante [ National Academies of Sciences, Engineering, and Medicine, 2016 ].

Apresentamos todos esses elementos, principais componentes e interações do programa ou política de comunicação, por meio de recursos visuais. Eles trazem em si uma previsão das relações causais que levam ao objetivo ou impacto. Fizemos isso por meio de uma matriz ou fluxograma horizontal que, segundo Morra Imas e Rist [ 2009 ], é o formato mais usado para ilustrar a TM. O objetivo é transmitir visualmente o encadeamento lógico, identificando os recursos e atividades que vão permitir que uma organização atinja seus objetivos [Morra Imas & Rist, 2009 , p. 152].

De todas as orientações para a construção da TM, a que mais nos apropriamos é justamente a sua natureza contextual e sua forma ajustável. “Deve ser considerado como um “guia aproximado, flexível e que ofereça um conjunto de perspectivas, não uma previsão definitiva e estática” [ Vogel, 2012 , p. 29]. Como sugerido pela autora, por envolver diferentes contextos e caminhos para o impacto desejado, usamos a abordagem em “dimensões da mudança”, o que contribuiu para definir mudanças intermediárias e identificar áreas de investigação e perguntas de avaliação para rastrear o surgimento de caminhos e ligações causais.

No caso da comunicação, como objeto de nosso estudo, defendemos que essa vinculação entre atividades e resultados não deva ser linear, mas cíclica, respeitando a dinamicidade do processo, em diferentes níveis de mudança e períodos para a apresentação dos resultados: curto, médio e longo prazos. Seguimos Rogers [ 2014 ], ao utilizar a TM para apoiar a avaliação de impacto, incluindo a identificação da própria mudança necessária, de variáveis relevantes para a coleta de dados, de marcadores proxi de sucesso e de aspectos de implementação que afetam os resultados, incluindo os fatores contextuais que podem gerar algum tipo de padrão.

6 Tipos ideias de CPCT: constructo para avaliação

Tendo apresentado o embasamento teórico no que tange os Modelos de CPCT e à TM, seguimos para a síntese de um encadeamento lógico pensado a partir de tipos ideais [ Weber, 1999 ]. Nele, os tipos de CPCT definidos em nossa proposição são representados pelos objetivos estratégicos. Ao utilizar o recurso de “tipo ideal” para a avaliação da CPCT, não intencionamos esgotar as possibilidades da realidade empírica, mas sim, utilizá-lo como instrumento teórico analítico. A tipificação weberiana permite referirmos aos objetos de forma mais ampla, unificados por traços comuns e reconhecíveis entre si, por meio de características empiricamente apreensíveis [ Figueiredo, 2008 ].

Os tipos ideais, em diferentes níveis e objetivos, permitem a construção de uma cadeia lógica de atividades, resultados de curto e médio prazos e impactos esperados. Os supostos que propomos para o modelo estão indicados na Figura 1 . Para cada um dos objetivos, sinalizamos os supostos fundamentais para os efeitos desejados, em cada fase do processo comunicativo. Registre-se que, embora seja um modelo analítico fundamentado em tipos ideais, os supostos e, posteriormente, os indicadores, foram pensados a partir do contexto das ações de comunicação de C&T em universidades públicas brasileiras. Trata-se de um conjunto básico de indicadores a partir da prática de gestão de mídias sociais e sugestões a partir da literatura. A discussão dos indicadores será tema para publicação futura.


PIC

Figura 1 : Supostos para criação da Teoria da Mudança em CPCT. Fonte: autoria própria [2021].

Assim, na primeira camada, estaria o tipo Informacional, em que se espera como impacto a transparência das informações e o alcance amplo da sociedade. Em nosso constructo, reunimos nesse tipo os modelos descritos na literatura como Modelo de Déficit e Contextual [ Lewenstein, 2003 , 2010 , 2016 ; Brossard & Lewenstein, 2010 ; Bucchi & Trench, 2008 , 2016 ]. Esse tipo caracteriza-se pela difusão de informações para um público de massa, predomina a mediação para tornar acessível a linguagem acadêmica e o receptor é tido como passivo, em um fluxo unilateral de informação.

Como descrito na Tabela 1 as atividades trazem a ideia recorrente de déficit de conhecimento, a partir de uma baixa cultura científica, não havendo, de forma geral, a compreensão de assuntos complexos de natureza científica. Mesmo que exista reação por parte do receptor, não há uma escuta ativa nos diferentes canais em que a divulgação científica se faz presente, com alta percepção de constrangimentos para o envolvimento e participação. As limitações desse tipo coloca em questionamento até mesmo o conceito de CPCT, já que ela inclui, como princípio, a comunicação de duas vias. Nesse sentido, utilizamos o conceito de divulgação científica (tornar público) [ de Aguiar & Salles-Filho, 2021 ].


Tabela 1 : Encadeamento lógico para o tipo ideal informacional. Fonte: autoria própria [2021].
PIC

Na cadeia lógica da mudança desejável para a CPCT, a segunda camada é representada, em nosso constructo, pelo tipo de Engajamento Social. Reunimos nesse tipo os modelos descritos na literatura como Conhecimento Leigo e Engajamento Público [ Lewenstein, 2003 , 2010 , 2016 ; Brossard & Lewenstein, 2010 ; Bucchi, 2008 ; Bucchi & Neresini, 2008 ; Bucchi & Trench, 2016 ], como descrito na Tabela 2 .


Tabela 2 : Encadeamento lógico para o tipo ideal engajamento público. Fonte: autoria própria [2021].
PIC

Como visto no quadro acima, a palavra de ordem nesse tipo é a interação. Há inclusão de mais atores no processo comunicativo, para além da academia, prevendo-se mesmo a transferência de autoridade para públicos não científicos. A comunicação ainda é de massa, mas sua percepção é de um público “consciente” e “ativo” [ Grunig, 1992 ]. A produção incorpora o conhecimento leigo situado, em um fluxo bidirecional e multidirecional, buscando-se uma comunicação dialógica. Como as atividades são destinadas à interação, há a percepção de menor constrangimento para opinar e participar. Embora a participação esteja presente no conceito de engajamento, é na camada seguinte que ela se configura no conceito de engajamento político, de apropriação de C&T no sentido mais amplo de cultura científica.

Na camada mais profunda dessa mudança, estaria justamente essa forma de comunicação que busca trazer os cidadãos mais ativamente para o processo de tomada de decisões sobre questões de política científica e tecnológica [ Lewenstein, 2016 ; Polino & Cortassa, 2016 ; Daza-Caicedo et al., 2017 ; Dávila-Rodríguez, 2020 ]. As atividades são descentralizadas e envolvem um maior entendimento dos processos científicos, de maneira que possam apoiar decisões mais informadas e uma participação ativa nas controvérsias, como visto na Tabela 3 .


Tabela 3 : Encadeamento lógico para o tipo ideal cidadania técnico-científica. Fonte: autoria própria [2021].
PIC

Nesse nível, falamos de um público segmentado, com menor constrangimento para participar das conversações nas plataformas sociais, inclusive da reprodução de novos sentidos. O fluxo de informação é multidirecional, ou seja, pode partir tanto da comunicação institucional, dos acadêmicos, individualmente ou em grupos, assim como em resposta às demandas da sociedade. Nesse caso, as atividades são discutidas coletivamente, incorporando a visão do emissor e receptor. Há escuta ativa, dialógica e participativa. Essa participação não se limita aos projetos de comunicação, mas reverbera para as decisões do próprio planejamento institucional. Por ser um nível mais aprofundado no que tange aos efeitos esperados, esse tipo ideal representa apenas uma parcela da audiência (públicos específicos). Essa limitação deve ser observada no desenho de monitoramento e avaliação proposto [ de Aguiar & Salles-Filho, 2021 ].

7 Discussão do modelo

Depois de apresentar o conceito de tipos ideias e a abordagem da Teoria da Mudança, vale-nos ressaltar os supostos em cada etapa do monitoramento do processo comunicativo. De forma prática, dizemos que no tipo informacional, os supostos de curto prazo seriam o alcance e atenção da audiência. É como dizer que estas seriam pré-condições para outros resultados esperados, como uma maior inserção na mídia, maior presença da pesquisa rastreada na web social e isso renderia uma maior evolução em rankings nacionais e internacionais.

O caminho lógico ou de mudança pode ser prospectado para os demais impactos pretendidos, como no tipo Engajamento Público. Nessa camada, pontuamos como suposto fundamental a existência de interações por meio de menções, com previsão de um nível elevado de envolvimento. Além disso, as análises das conversações devem sinalizar para uma evolução da participação da sociedade, assim como o crescimento dos projetos de ciência cidadã, sua valorização no contexto institucional e uma participação acadêmica em pautas espontâneas da mídia de massa. Ou seja, a imprensa deixa de ser receptora de informações de C&T institucionais e passa também a demandar informações conforme suas próprias pautas de interesse.

Para tanto, percebe-se que a partir dessa camada, a análise deixa de ser apenas quantitativa, passando a questionar o nível desse resultado esperado na percepção da audiência. Nesse caso, deve ser reforçada a natureza flexível tanto dos supostos quanto dos indicadores sugeridos para a medição, que devem ser idealmente adaptados aos contextos de cada instituição monitorada/avaliada. Apresentamos, entretanto, um conjunto de supostos básicos pensados a partir do estudo teórico e observações práticas do campo.

No tipo que chamamos Cidadania Técnico-Científica, o impacto pretendido é a participação social advinda de uma consciência mais informada, que seja capaz de conduzir à uma mudança de atitude e à real apropriação do conhecimento de C&T. Nesse nível, prevemos como a existência de projetos com públicos específicos, configurando o fluxo dialógico necessário para esse nível de envolvimento. Esses projetos acabam por demandar uma nova relação entre pesquisa e extensão, vista no modelo pela ótica da comunicação com a sociedade.

Em nossa cadeia de mudança, essas relações devem propiciar novas redes de interações, com um envolvimento mais qualificado e ativo nas conversações das redes sociais e também em outros espaços de participação no âmbito institucional. Com mais envolvimento, a tendência é uma melhor percepção pública de C&T, a partir de pesquisas adaptadas para públicos específicos da comunicação monitorada/avaliada. Também haveria, como suposto, a presença de metas e indicadores de CPCT no planejamento institucional, com a clara observância dos objetivos e impactos pretendidos com a comunicação empreendida. Adicionalmente, uma comunicação voltada para a participação/apropriação conduziria a um maior alcance e atenção às informações de C&T, fechando um círculo virtuoso de expansão.

Nota-se, assim, que tratamos do processo comunicativo como um ciclo contínuo e evolutivo, cujo monitoramento e avaliação leva em conta a existência de diferentes modelos articulados e a relação entre diferentes fases e atores. Essa perspectiva evolutiva complementa o modelo que propomos, como descrevemos a seguir. Como orientado por Mayne [ 2015 , p. 126], organizamos os componentes da teoria genérica da mudança — atividades, resultados, mudanças de capacidade e mudanças comportamentais, juntamente com as suposições de vínculo associado a uma realidade prática, em nosso caso, os resultados pretendidos no contexto de universidades públicas brasileiras.

8 A origem do modelo: a espiral da cultura científica

Para finalizar, ressaltamos que a presente proposta de modelo de monitoramento e avaliação da CPCT foi desenvolvido em aderência à metáfora proposta por Carlos Vogt, que imaginou uma espiral da cultura científica como a representação da dinâmica e da relação entre diferentes atores e contextos, fatos, ações e eventos compreendidos pela cultura científica [ Vogt, 2003 , 2012 ; Vogt & Morales, 2018 ]. Na espiral que propõe, Vogt busca retomar a essa dinâmica por meio de quatro quadrantes: a) produção e difusão da ciência; b) ensino de ciência e da formação do cientista; c) do ensino para a ciência (atividades informais, feiras e museus) e d) divulgação da ciência.

A espiral seria uma forma distinta dos modelos lineares e baseados na ideia de déficit [ Fonseca & de Oliveira, 2015 ]. Em cada um dos quadrantes, Vogt [ 2003 ] aponta os atores (destinadores e destinatários), bem como os lócus em que essa dinâmica ocorre. Destaca-se a presença da universidade e centros de pesquisa como atores relevante da produção à interlocução com a sociedade, incluindo ainda como atores desse processo os cientistas, professores e jornalistas/comunicadores com diferentes atribuições.

Por meio da espiral da cultura científica, observada na Figura 2 , situamos a necessidade de um modelo de monitoramento e avaliação para a CPCT (quadrante 4). Pensando em cada um dos quadrantes, imaginamos que a evolução dessa cultura, ou seja, a aproximação da ciência e sociedade se dá pelo conjunto de ações e comunicações tanto entre pares (quadrante 1), passando pele ensino e formação (quadrantes 2 e 3) e, por fim, pela comunicação da ciência com os diferentes públicos de interesse (quadrante 4).


PIC

Figura 2 : Espiral da cultura científica. Fonte: Vogt [ 2011 , p. 11].

Por meio de revisão de literatura, concluímos que a maioria dos modelos e instrumentos focalizam os quadrantes 1, 2 e 3, sendo que a avaliação da CPCT (quadrante 4) é feita geralmente de forma pontual e por meio de estudos de casos, privilegiando as relações de determinados atores ou meios específicos onde as interações ocorrem [ Pellegrini, 2014 ; Jensen, 2015 ].

Inspirados em Vogt [ 2003 , 2012 ], mas diferente dele, propomos que cada um dos quadrantes seja visto por nova perspectiva, tendo os diferentes objetivos da CPCT como norteadores das ações. Nesse sentido, quando pensamos num modelo que pressuponha canais dialógicos e participativos, a própria configuração da espiral acaba por ser repensada. Isso porque é preciso que as mudanças ocorram desde a produção de conhecimento científico, que deve prever uma maior participação da sociedade quando o objetivo for o maior engajamento e apropriação de C&T.

Importa observar que nessa forma de representação, a espiral da cultura científica, ao cumprir o ciclo de sua evolução, retornando ao eixo de partida, não regressa, contudo, ao mesmo ponto de início, mas a um ponto alargado de conhecimento e de participação da cidadania no processo dinâmico da ciência e de suas relações com a sociedade [ …] [Vogt, 2003 , p. 2].

O que Vogt e Morales [ 2016 ] chamam de cultura científica envolve, assim, o “conjunto de impressões, de percepções e vivências históricas que convivem, sob o ponto de vista da sociedade e da cultura, que caracteriza como esta sociedade percebe a verdade que é enunciada cientificamente”. Em outras palavras, faz sentido observar para nosso estudo que a cultura científica que queremos intensificar está na mistura da cultura do fazer científico e da percepção que a sociedade tem desse resultado, suas impressões e aplicações no cotidiano.

9 Considerações finais

Ao longo desse artigo, trouxemos um conjunto de informações que sustentam a proposta de um modelo de monitoramento e avaliação da CPCT. Vamos reforçar alguns pontos que julgamos importantes para esse entendimento.

O primeiro ponto relaciona-se com a espiral da cultura científica, abordada na seção anterior. Ela é a própria representação do conceito de CPCT. A partir dela, podemos sinalizar que há, no campo da Comunicação, uma demanda premente por um modelo analítico que seja capaz de subsidiar o monitoramento e a avaliação do desempenho da CPCT. O resgate da literatura demonstra que temos um consolidado modelo de avaliação da comunicação científica entre pares, mas pouca orientação quando essa comunicação se faz com a sociedade. A espiral nos fornece justamente um mapa do contexto e completamos com as especificidades do quadrante que nosso modelo almeja representar.

O segundo ponto é que fazendo isso pela Teoria da Mudança. Trata-se da reflexão acerca de supostos e objetivos, bem como a sua representação gráfica para a observação de um plausível caminho de mudança. No final deste caminho estão os objetivos que queremos alcançar ou, em outras palavras, os impactos pretendidos a partir das ações realizadas. A TM nos ajuda a compreender quais resultados podemos esperar para cada nível de estratégia comunicativa. E o aspecto da TM mais aderente ao nosso modelo é justamente a sua flexibilidade. O modelo basilar que propomos pode e deve ser adaptado para cada realidade institucional. Isso significa que existe uma TM para cada contexto de CPCT e uma avaliação pertinente para cada objetivo.

O terceiro ponto é que recorremos aos modelos de CPCT mais presentes na literatura do campo para agrupar e caracterizar os tipos ideais que propomos: Informacional (Déficit), Engajamento Público e Participativo/Apropriação de C&T. E eles não são únicos e excludentes, mas múltiplos e complementares. Existe na literatura uma profusão de formas de caracterizar os modelos de CPCT empreendidos no mundo. Escolhemos os modelos descritos por Lewenstein [ 2003 , 2010 ], bem como as versões de outros autores que o seguiram. Completamos com a ideia da apropriação social do conhecimento — ASCyT, intencionalmente para trazer uma perspectiva latino-americana para melhor representar os tipo ideias que propomos avaliar. Ela ainda nos lembra que o processo comunicativo não se mensura apenas por dados postos e quantificáveis que quase toda rede social propicia.

No quarto ponto destacamos a aplicabilidade do modelo teórico-analítico na realidade das instituições de C&T. A flexibilidade é a chave para essa aplicação estendida. O que fazemos é justamente sugerir um desenho para o monitoramento e avaliação das políticas de CPCT empreendidas, de forma clara, reproduzível e totalmente adaptativa. Para cada um dos tipos ideais propostos, é possível considerar outros tipos de insumos (ações, atividades, políticas), alterar os supostos e resultados pretendidos, assim como adequar os indicadores sugeridos. Também podem ser descritos os riscos percebidos, assim como o nível de importância no caminho de mudança escolhido.

O quinto ponto fala do futuro. O próximo passo da pesquisa é colocar esse modelo, já avaliado por uma banca de qualificação de doutoramento, para a apreciação de profissionais vinculados às universidades federais brasileiras. Eles serão convidados a analisar a pertinência dos indicadores selecionados no modelo, na realidades de suas instituições. Os supostos e indicadores serão abordados de forma a identificar os modelos de CPCT empreendidos. O desenvolvimento do survey e a sua análise está programada para o decorrer de 2022. Esse ponto está diretamente vinculado ao caráter prospectivo de política pública, permitindo a apreciação do modelo por um grupo de profissionais da comunicação e especialistas.

Referências

Anderson, A. A. (2005). The community builder’s approach to theory of change: a practical guide to theory development . The Aspen Institute. New York, NY, U.S.A. Recuperado de https://www.theoryofchange.org/pdf/TOC_fac_guide.pdf

Bastos, A. (2020). Engajamento público em controvérsia científica: o caso da pílula do câncer (Tese de doutorado, Universidade Federal de Minas Gerais, Belo Horizonte, Brasil). Recuperado de http://hdl.handle.net/1843/34138

Bauman, A. E., King, L. & Nutbeam, D. (2014). Rethinking the evaluation and measurement of health in all policies. Health Promotion International 29 (suppl_1), i143–i151. doi: 10.1093/heapro/dau049

Blanchard, O. (2011). Social media ROI: managing and measuring social media efforts in your organization . Indianapolis, IN, U.S.A.: Que Publishing.

Borda, M. L. & Maldonado, O. J. (2010). Estrategia nacional de apropiación social de la ciencia, la tecnología y la innovación . Colciencias. Bogotá, Colombia. Recuperado de https://minciencias.gov.co/sites/default/files/ckeditor_files/estrategia-nacional-apropiacionsocial.pdf

Bornmann, L. (2014). Validity of altmetrics data for measuring societal impact: a study using data from Altmetric and F1000Prime. Journal of Informetrics 8 (4), 935–950. doi: 10.1016/j.joi.2014.09.007

Brandão, D. & Ribeiro, A. (2017). Teoria de Mudança. Move . Recuperado de https://move.social/teoria-de-mudanca/

Brossard, D. & Lewenstein, B. V. (2010). A critical appraisal of models of public understanding of science: using practice to inform theory. Em L. Kahlor & P. A. Stout (Ed.), Communicating science: new agendas in communication (pp. 11–39). doi: 10.4324/9780203867631

Brüggemann, M., Lörcher, I. & Walter, S. (2020). Post-normal science communication: exploring the blurring boundaries of science and journalism. JCOM 19 (03), A02. doi: 10.22323/2.19030202

Bucchi, M. (2008). Of deficits, deviations and dialogues: theories of public communication of science. Em M. Bucchi & B. Trench (Ed.), Handbook of public communication of science and technology (pp. 57–76). doi: 10.4324/9780203928240

Bucchi, M. (2013). Style in science communication. Public Understanding of Science 22 (8), 904–915. doi: 10.1177/0963662513498202

Bucchi, M. & Neresini, F. (2008). Science and public participation. Em E. J. Hackett, O. Amsterdamska, M. E. Lynch & J. Wajcman (Ed.), The handbook of science and technology studies (3ª ed., pp. 449–472). Cambridge, MA, U.S.A.: MIT Press. Recuperado de https://sicm.mitpress.mit.edu/books/handbook-science-and-technology-studies-third-edition

Bucchi, M. & Trench, B. (Ed.) (2008). Handbook of public communication of science and technology . doi: 10.4324/9780203928240

Bucchi, M. & Trench, B. (2016). Science communication and science in society: a conceptual review in ten keywords. Tecnoscienza — Italian Journal of Science & Technology Studies 7 (2), 151–168. Recuperado de http://www.tecnoscienza.net/index.php/tsj/article/view/277

Bucchi, M. & Trench, B. (2021). Rethinking science communication as the social conversation around science. JCOM 20 (03), Y01. doi: 10.22323/2.20030401

Castelfranchi, Y. & Fazio, M. E. (2020). Comunicación de la ciencia en América Latina: construir derechos, catalizar ciudadanía. Em El estado de la ciencia: principales indicadores de ciencia y tecnología iberoamericanos/interamericanos 2020 (pp. 145–156). Red de Indicadores de Ciencia y Tecnología Iberoamericana e Interamericana (RICYT). Recuperado de http://www.ricyt.org/2020/11/ya-se-encuentra-disponible-el-estado-de-la-ciencia-2020/

Castelfranchi, Y. & Fazio, M. E. (2021). Comunicación pública de la ciência . Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. Oficina Regional de Ciencias de la UNESCO para América Latina y el Caribe. Recuperado de http://forocilac.org/wp-content/uploads/2021/04/PolicyPapers-CILAC-ComunicacionPublicaCiencia-ES.pdf

Castro, R. C. F. (2006). Impacto da Internet no fluxo da comunicação científica em saúde. Revista de Saúde Pública 40 , 57–63. doi: 10.1590/S0034-89102006000400009

Cerqueira, R. & Silva, T. (2011). Mensuração em mídias sociais: quatro âmbitos de métricas. Em M. Chamusca & M. Carvalhal (Ed.), Comunicação e marketing digitais: conceitos, práticas, métricas e inovações (pp. 119–140). Salvador, Brasil: Edições VNI.

da Cunha Recuero, R. (2008). Elementos para a análise da conversação na comunicação mediada pelo computador. Verso e Reverso 22 (51). Recuperado de http://www.revistas.unisinos.br/index.php/versoereverso/article/view/6995

Dávila-Rodríguez, L. P. (2020). Apropiación social del conocimiento científico y tecnológico. Un legado de sentidos. Trilogía. Ciencia, Tecnología y Sociedad 12 (22), 127–147. doi: 10.22430/21457778.1522

Daza-Caicedo, S., Maldonado, O., Arboleda-Castrillón, T., Falla, S., Moreno, P., Tafur-Sequera, M. & Papagayo, D. (2017). Hacia la medición del impacto de las prácticas de apropiación social de la ciencia y la tecnología: propuesta de una batería de indicadores. História, Ciências, Saúde-Manguinhos 24 (1), 145–164. doi: 10.1590/S0104-59702017000100004

de Aguiar, C. M. G. & Salles-Filho, S. M. (2020). Como saber se comunicamos, se não avaliamos? Percepções e tendências em estudos avaliativos a partir dos trabalhos da Intercom, 1–10 de dezembro de 2020. Intercom — Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. Universidade Federal da Bahia (UFBA). 43 Congresso Brasileiro de Ciências da Comunicação. Recuperado de https://portalintercom.org.br/anais/nacional2020/resumos/R15-2937-1.pdf

de Aguiar, C. M. G. & Salles-Filho, S. M. (2021). Informação, engajamento e participação: o uso de tipos ideais na criação de uma Teoria da Mudança para a comunicação pública de ciência e tecnologia, 4–9 de outubro de 2021. Intercom — Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. Universidade Católica de Pernambuco (Unicap). 44 Congresso Brasileiro de Ciências da Comunicação. Recuperado de https://portalintercom.org.br/anais/nacional2021/resumos/dt7-sa/cibele-maria-garcia-de-aguiar.pdf

de Araujo, R. F. & Furnival, A. C. M. (2016). Comunicação científica e atenção online: em busca de colégios virtuais que sustentam métricas alternativas. Informação & Informação 21 (2), 68–89. doi: 10.5433/1981-8920.2016v21n2p68

de Brito Cruz, C. H. (2021). Uso responsável de métricas e indicadores nas IES. Metricas.edu. Reunião Anual do Projeto Métricas. Recuperado de https://youtu.be/j9N-hN_0ICk

dos Santos, S. M. (2018). Rankings internacionais de universidades: comparação e desempenho por áreas. Em J. Marcovitch (Ed.), Repensar a universidade: desempenho acadêmico e comparações internacionais . doi: 10.11606/9788571661868

Duarte, J. (Ed.) (2007). Comunicação pública: estado, mercado, sociedade e interesse público . São Paulo, Brasil: Editora Atlas.

Figueiredo, C. D. (2008). Utopias e distopias na comunicação: uma breve discussão sobre os modelos idealizados da comunicação. Revista Brasileira de Marketing 7 (1), 91–98. doi: 10.5585/remark.v7i1.864

Fonseca, M. A. & de Oliveira, B. J. (2015). Variações sobre a “cultura científica” em quatro autores brasileiros. História, Ciências, Saúde-Manguinhos 22 (2), 445–460. doi: 10.1590/S0104-59702015005000011

Funnell, S. C. & Rogers, P. J. (2011). Purposeful program theory: effective use of theories of change and logic models . San Francisco, CA, U.S.A.: Jossey-Bass.

Gascoigne, T. & Metcalfe, J. (2001). Report: the evaluation of national programs of science awareness. Science Communication 23 (1), 66–76. doi: 10.1177/1075547001023001007

Germano, M. G. & Kulesza, W. A. (2007). Popularização da ciência: uma revisão conceitual. Caderno Brasileiro de Ensino de Física 24 (1), 7–25. Recuperado de https://periodicos.ufsc.br/index.php/fisica/article/view/1546

Gertler, P. J., Martínez, S., Premand, P., Rawlings, L. B. & Vermeersch, C. M. J. (2018). Avaliação de impacto na prática (2ª ed.). Washington, DC, U.S.A.: Grupo Banco Mundial.

Gonçalves, T. S. (2017). A participação pública em portais de ciência: análise comparativa entre os portais MCTI e Ciência Viva (Tese de doutorado, Universidade de Coimbra, Coimbra, Portugal). Recuperado de http://hdl.handle.net/10316/36879

Gouveia, F. C. (2016). A altmetria e a interface entre a ciência e a sociedade. Trabalho, Educação e Saúde 14 (3), 643–645. doi: 10.1590/1981-7746-sip00126

Grunig, J. E. (Ed.) (1992). Excellence in public relations and communication management . Mahwah, NJ, U.S.A.: Lawrence Erlbaum Associates.

Hermann-Pawłowska, K. & Skórska, P. (2017). A comprehensive review of the theory-based evaluation concepts. Em J. Pokorski, Z. Popis, T. Wyszyńska & K. Hermann-Pawłowska (Ed.), Theory-based evaluation in complex environments (pp. 21–34). Warsaw, Poland: Polish Agency for Enterprise Development. Recuperado de https://www.een.org.pl/storage/publications/pdf/20017_theory-based-evaluation.pdf

Irwin, A. (2008). Moving forwards or in circles? Scientific communication and scientific governance in an age of innovation. Em R. Holliman, E. Whitelegg, E. Scanlon, S. Smidt & J. Thomas (Ed.), Investigating science communication in the information age: implications for public engagement and popular media . Oxford, U.K.: Oxford University Press.

James, C. (2011). Theory of change review: a report commissioned by Comic Relief . Comic Relief. Recuperado de https://www.ngo-federatie.be/system/files/2018-11/2012-Comic-Relief-Theory-of-Change-Review-FINAL.pdf

Jenkins, H. (2006). Convergence culture: where old and new media collide . New York, NY, U.S.A.: New York University Press.

Jensen, E. A. (2014). The problems with science communication evaluation. JCOM 13 (01), C04. doi: 10.22323/2.13010304

Jensen, E. A. (2015). Highlighting the value of impact evaluation: enhancing informal science learning and public engagement theory and practice. JCOM 14 (03), Y05. doi: 10.22323/2.14030405

Lemos, A. & Lévy, P. (2010). O futuro da internet: em direção a uma ciberdemocracia planetária . São Paulo, Brasil: Paulus Editora.

Lévy, P. (2003). A inteligência coletiva: por uma antropologia do ciberespaço (4ª ed.). São Paulo, Brasil: Loyola.

Lewenstein, B. V. (2003). Models of public communication of science and technology. Recuperado de https://hdl.handle.net/1813/58743

Lewenstein, B. V. (2010). Modelos de comprensión pública: la política de la participación pública [Models of public understanding: the politics of public engagement]. ArtefaCToS 3 (1), 13–29. Recuperado de https://hdl.handle.net/1813/37363

Lewenstein, B. V. (2016). Can we understand citizen science? JCOM 15 (01), E. doi: 10.22323/2.15010501

Macnamara, J. (2016). Organizational listening: addressing a major gap in public relations theory and practice. Journal of Public Relations Research 28 (3–4), 146–169. doi: 10.1080/1062726x.2016.1228064

Macnamara, J. (2018). Evaluating public communication: exploring new models, standards and best practice . doi: 10.4324/9781315391984

Massarani, L. (2012). Comunicação da ciência e apropriação social da ciência: algumas reflexões sobre o caso do Brasil. Uni-pluri/versidad 12 (3), 92–100. Recuperado de https://www.arca.fiocruz.br/handle/icict/45659

Massarani, L. & de Castro Moreira, I. (2016). Science communication in Brazil: a historical review and considerations about the current situation. Anais da Academia Brasileira de Ciências 88 (3), 1577–1595. doi: 10.1590/0001-3765201620150338

Matos, H. (Ed.) (2012). Comunicação pública: interlocuções, interlocutores e perspectivas . São Paulo, Brasil: ECA/USP.

Mayne, J. (2015). Useful theory of change models. Canadian Journal of Program Evaluation 30 (2), 119–142. Recuperado de https://journalhosting.ucalgary.ca/index.php/cjpe/article/view/31062

Ministério de Desenvolvimento Social e Combate à Fome. Secretaria de Avaliação e Gestão da Informação (2015). Mapa de processos e resultados como representação de programas sociais: Estudo técnico N 07/2015 . Brasília, Brasil.

Morra Imas, L. G. & Rist, R. C. (2009). The road to results: designing and conducting effective development evaluations . Washington, DC, U.S.A.: The World Bank. Recuperado de http://hdl.handle.net/10986/2699

Mueller, S. P. M. (2000). A ciência, o sistema de comunicação científica e a literatura científica. Em B. S. Campello, B. V. Cendón & J. M. Kremer (Ed.), Fontes de informação para pesquisadores e profissionais . Belo Horizonte, Brasil: Editora UFMG.

Mugnaini, R. (2006). Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional (Tese de doutorado, Universidade de São Paulo, São Paulo, Brasil). doi: 10.11606/T.27.2006.tde-11052007-091052

National Academies of Sciences, Engineering, and Medicine (2016). Effective chemistry communication in informal environments . doi: 10.17226/21790

Navas, A. M. & Contier, D. (2015). Projetos de divulgação científica: um olhar crítico. Em M. Marandino & D. Contier (Ed.), Educação não formal e divulgação em ciência: da produção do conhecimento a ações de formação (pp. 78–84). doi: 10.11606/9788560944637

Neresini, F. & Bucchi, M. (2011). Which indicators for the new public engagement activities? An exploratory study of European research institutions. Public Understanding of Science 20 (1), 64–79. doi: 10.1177/0963662510388363

Organisation for Economic Co-operation and Development (2002). Glossary of key terms in evaluation and results based management . Recuperado de https://www.oecd.org/dac/evaluation/2754804.pdf

Pellegrini, G. (2014). The right weight: good practice in evaluating science communication. JCOM 13 (01), C03. doi: 10.22323/2.13010303

Polino, C. & Castelfranchi, Y. (2012). The ‘communicative turn’ in contemporary techno-science: Latin American approaches and global tendencies. Em B. Schiele, M. Claessens & S. Shi (Ed.), Science communication in the world: practices, theories and trends (pp. 3–17). doi: 10.1007/978-94-007-4279-6_1

Polino, C. & Cortassa, C. (2016). Discursos y prácticas de promoción de cultura científica en las políticas públicas de Iberoamérica. Trilogía. Ciencia, Tecnología y Sociedad 8 (15), 13–24. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo=5676642

Pulido, C. M., Redondo-Sama, G., Sordé-Martí, T. & Flecha, R. (2018). Social impact in social media: a new method to evaluate the social impact of research. PLoS ONE 13 (8), e0203117. doi: 10.1371/journal.pone.0203117

Rogers, P. (2014). Theory of change. Methodological briefs — Impact evaluation no. 2 . UNICEF Office of Research. Florence, Italy.

Torres-Salinas, D., Cabezas-Clavijo, Á. & Jiménez-Contreras, E. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0 [Altmetrics: new indicators for scientific communication in Web 2.0]. Comunicar 21 (41), 53–60. doi: 10.3916/C41-2013-05

Vogel, I. (2012). Review of the use of ‘Theory of Change’ in international development . UK Department of International Development. Recuperado de https://www.theoryofchange.org/pdf/DFID_ToC_Review_VogelV7.pdf

Vogt, C. (2003). A espiral da cultura científica. ComCiência . Recuperado de https://www.comciencia.br/dossies-1-72/reportagens/cultura/cultura01.shtml

Vogt, C. (2011). A espiral da cultura científica e o bem-estar cultural: Brasil e Ibero-América. Em M. Albornoz & L. Plaza (Ed.), Agenda 2011: temas de indicadores de ciencia y tecnologia (pp. 263–269). Buenos Aires, Argentina: Red de Indicadores de Ciencia y Tecnología Iberoamericanos e Interamericanos (RICYT).

Vogt, C. (2012). The spiral of scientific culture and cultural well-being: Brazil and Ibero-America. Public Understanding of Science 21 (1), 4–16. doi: 10.1177/0963662511420410

Vogt, C. & Morales, A. P. (2016). O discurso dos indicadores de C&T e de percepção de C&T . Madrid, España: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura. Los Libros de la Catarata.

Vogt, C. & Morales, A. P. (2018). Cultura científica. ComCiência . Recuperado de https://www.comciencia.br/cultura-cientifica/

Weber, M. (1999). A “objetividade” do conhecimento nas ciências sociais. Em G. Cohn (Ed.), Weber — Sociologia . São Paulo, Brasil: Editora Ática.

Weiss, C. H. (1998). Evaluation: methods for studying programs and policies . Upper Saddle River, NJ, U.S.A.: Prentice Hall.

Autores

Cibele Maria Garcia de Aguiar Pereira é jornalista e doutoranda no Programa de Política Científica e Tecnológica, na Universidade Estadual de Campinas (Unicamp). Desde 2011, é jornalista da Universidade Federal de Lavras (UFLA), onde atuou como coordenadora-geral de impressa, representante institucional na Rede Mineira de Comunicação Científica e responsável pelo projeto de implantação do Núcleo de Divulgação Científica na Universidade.
E-mail: cibele.aguiar2@gmail.com .

Sergio Luiz Monteiro Salles-Filho é professor titular do Departamento de Política Científica e Tecnológica do Instituto de Geociências da Unicamp. É autor de mais de 110 publicações em periódicos, livros e capítulos de livros, tendo orientado cerca de 50 alunos em nível de mestrado e doutorado. Coordenou mais de 50 projetos de pesquisa e extensão, incluindo de avaliação de resultados e impactos de políticas e programas de pesquisa e inovação.
E-mail: sallesfi@unicamp.br .

Notas

1 Escolhemos a terminologia CPCT para nosso estudo, concebendo que a comunicação de C&T deve englobar as noções e práticas de diálogo, interação e partilha. No Brasil, o campo de estudos tem se ampliado, sobretudo, com a criação do Instituto Nacional de Ciência e Tecnologia em Comunicação Pública da Ciência e Tecnologia (INCT-CPCT).

2 Para da Cunha Recuero [ 2008 ], mídia social se refere às ferramentas de comunicação que permitem a emergência das redes sociais, subvertendo a lógica da mídia de massa (um para todos), para a lógica da participação (todos para todos). Assim, tratando aqui especificamente do ambiente digital, toda rede social online seria uma mídia social, mas nem toda mídia social é uma rede social, devendo haver interação entre os atores para assim coexistir.