Panorama Geral: Análise da Aderência das Dissertações aos Objetivos de Desenvolvimento Sustentável

Para o mapeamento da aderência das dissertações aos Objetivos de Desenvolvimento Sustentável (ODS), foi adotada uma abordagem metodológica quali-quantitativa, estruturada em duas etapas complementares: (i) análise computacional, por meio do software Impacto Sociedade; e (ii) validação qualitativa manual, com apoio de ferramentas de inteligência artificial (IA).

A base analisada compreende 254 dissertações, distribuídas entre cinco Programas de Pós-Graduação (PPGs) da Uergs: PPGAS, PPGED, PPGCTA, PPGCSBIO e PPGSTEM. A unidade de análise corresponde a cada dissertação individualmente considerada. Para isso, foram organizadas informações bibliográficas, títulos, resumos e palavras-chave.

A primeira etapa consistiu na utilização do sistema ImpactoSociedade®, ferramenta computacional destinada à identificação de relações entre produções acadêmicas e os Objetivos de Desenvolvimento Sustentável.

Conforme a metodologia apresentada por Gomes Junior et al. (2023), utilizada como referência neste levantamento, o sistema emprega um algoritmo computacional que atribui valores numéricos de associação entre os textos analisados e os ODS.

Os resultados são apresentados em uma escala decimal de 0 a 1, na qual os valores expressam o grau de associação identificado pelo processamento computacional. Para a classificação dos resultados, foram considerados os seguintes critérios:

A classificação direta representa a associação máxima segundo a escala adotada. Os valores intermediários indicam relações classificadas como indiretas, enquanto o valor zero representa ausência de associação identificada pelo software.

É importante destacar que esses valores expressam associação computacional, não constituindo medidas de impacto social, ambiental ou econômico efetivamente produzido pelas pesquisas.

Após o processamento, os resultados foram organizados em planilhas individuais para cada PPG, preservando os ODS identificados e suas respectivas pontuações. Esses dados foram mantidos integralmente para possibilitar análises posteriores de comparação com a validação qualitativa manual.

A segunda etapa consistiu na realização de uma análise qualitativa individualizada das dissertações, fundamentada nos 17 ODS oficiais e em suas 169 metas, conforme estabelecido pela Agenda 2030 (ONU, 2015).

Diferentemente da análise computacional, essa avaliação não utilizou os valores numéricos do Impacto Sociedade para determinar a aderência. As classificações foram estabelecidas com base na interpretação científica do conteúdo das dissertações e na correspondência entre suas contribuições e as metas específicas dos ODS.

Foram examinados, conforme a disponibilidade documental, os seguintes elementos:

Quando necessário e disponível, o texto integral das dissertações foi consultado no Repositório Institucional da Uergs, permitindo aprofundar a interpretação dos resultados e verificar informações não suficientemente detalhadas nos resumos. Para os trabalhos com acesso restrito ou indisponíveis no repositório, a avaliação foi limitada às informações documentais acessíveis, sem presumir resultados ou contribuições não demonstradas.

A validação manual considerou três categorias de aderência.

Foi atribuída quando se identificou relação clara e fundamentada entre o objeto central, os objetivos, a metodologia, os resultados ou as aplicações principais da dissertação e uma ou mais metas específicas dos ODS. Nessa categoria, a contribuição relacionada à meta constitui parte substantiva do trabalho investigado.

Foi atribuída quando a dissertação apresentou contribuições secundárias, complementares ou potenciais para determinada meta dos ODS, desde que sustentadas pelos objetivos, procedimentos ou resultados da pesquisa. Essa classificação contempla estudos cujos conhecimentos podem subsidiar, futuramente, o desenvolvimento de tecnologias, políticas públicas, estratégias de prevenção, práticas sustentáveis ou outras aplicações relacionadas à Agenda 2030, mesmo quando tais aplicações não constituem o objetivo principal da investigação.

A identificação de uma relação indireta exige fundamentação científica. A simples proximidade entre a temática da dissertação e um ODS não foi considerada evidência suficiente.

Foi utilizada quando não foram encontradas evidências suficientes para estabelecer uma associação direta ou indireta entre a dissertação e as metas analisadas. Essa classificação representa ausência de aderência identificada segundo os critérios metodológicos utilizados, não significando necessariamente ausência de relevância científica ou social da pesquisa.

As classificações foram estabelecidas preferencialmente no nível das metas, e não apenas dos títulos gerais dos ODS. Dessa forma, cada associação deveria apresentar a identificação do objetivo e da meta correspondente, acompanhada de uma justificativa fundamentada no conteúdo da dissertação.

Uma mesma dissertação pôde apresentar relações com diferentes ODS, inclusive com classificações diretas para determinados objetivos e indiretas para outros. Foram diferenciados os resultados efetivamente demonstrados daqueles que indicavam apenas possibilidades de aplicação futura, evitando equiparar potencial científico ou tecnológico a impactos concretamente comprovados.

Para assegurar a consistência das análises, os casos inicialmente classificados como sem relação foram submetidos a reavaliações complementares, com aprofundamento da leitura dos trabalhos e reconsideração de possíveis associações indiretas.

Ferramentas de inteligência artificial generativa, incluindo o ChatGPT (OpenAI), foram utilizadas como instrumentos de apoio à análise qualitativa das dissertações. Seu emprego envolveu atividades de organização e interpretação das informações textuais, identificação preliminar de possíveis correspondências com os ODS, localização de metas potencialmente relacionadas e elaboração de justificativas para as associações propostas.

A IA também auxiliou na revisão de classificações inicialmente consideradas insuficientes, especialmente na identificação de possíveis contribuições indiretas não evidenciadas na primeira avaliação.

Entretanto, as sugestões produzidas pela inteligência artificial não foram consideradas classificações definitivas ou evidências científicas por si só. As associações propostas foram submetidas à apreciação crítica, considerando sua coerência com os objetivos, os resultados das dissertações e o conteúdo das metas oficiais.

Assim, a inteligência artificial desempenhou uma função de apoio analítico e documental, enquanto a validação qualitativa constituiu a referência interpretativa para a consolidação dos resultados institucionais. Esse procedimento buscou combinar a capacidade de processamento e organização textual das ferramentas digitais com a interpretação contextual e o julgamento científico necessários à classificação das pesquisas.

Após as análises, os resultados foram organizados em planilhas eletrônicas individuais para cada PPG, contendo os dados bibliográficos, os resultados computacionais e a validação manual. Posteriormente, foi elaborada uma planilha consolidada, denominada “Panorama Geral”, destinada à produção de indicadores quantitativos e à comparação dos resultados entre os programas.

Para as análises institucionais, foram considerados exclusivamente os 17 ODS oficiais da ONU. Eventuais classificações referentes a objetivos adicionais foram preservadas nos registros de origem, mas não integraram os cálculos do panorama dos 17 ODS.

Para cada PPG, foi calculado o percentual de dissertações com pelo menos uma relação direta, utilizando a seguinte expressão:

O mesmo procedimento foi aplicado às relações às aderências indiretas:

Observações:

Para identificar os ODS com maior representatividade, foi calculada a frequência de dissertações com relações diretas para cada um dos 17 ODS. O percentual foi obtido pela expressão:

Na análise individual por PPG, foi utilizado o total de dissertações do respectivo programa. Para o panorama institucional, utilizou-se o total de 254 dissertações. Cada dissertação foi contabilizada uma única vez para determinado ODS, ainda que apresentasse relação com mais de uma meta desse mesmo objetivo.

Entretanto, quando uma dissertação apresentou aderência direta a diferentes ODS, cada associação foi contabilizada individualmente. Consequentemente, a soma das frequências ou dos percentuais dos 17 ODS pode ultrapassar o total de dissertações ou 100%, respectivamente.

As frequências absolutas e relativas foram organizadas em matrizes comparativas, relacionando os cinco PPGs aos 17 ODS. Esses resultados subsidiaram a elaboração de tabelas e gráficos destinados à identificação dos objetivos mais recorrentes, das diferenças entre os perfis de aderência dos programas e das contribuições predominantes no conjunto da produção científica analisada.

Com a finalidade de verificar a correspondência entre a classificação computacional e a validação qualitativa, foi realizada uma análise de concordância entre os resultados produzidos pelas duas abordagens. A unidade de comparação correspondeu à combinação dissertação × ODS, de modo que cada dissertação apresentou 17 possibilidades de classificação, uma para cada objetivo oficial. Considerando as 254 dissertações, foram obtidas:

254 dissertações × 17 ODS = 4.318 pares de comparação.

Para essa análise, as classificações dos dois métodos foram padronizadas em três categorias:

Classificações ausentes ou registros incompletos não foram automaticamente interpretados como ausência de aderência. Apenas os pares com informações comparáveis nos dois métodos integraram os respectivos cálculos.

A concordância simples corresponde à proporção de classificações coincidentes entre os métodos. Para as relações diretas ou indiretas, consideradas separadamente, foi utilizada a expressão:

Esse indicador contempla tanto a identificação simultânea de uma associação quanto a ausência simultânea de associação.

Considerando que grande parte das combinações dissertação–ODS pode não apresentar aderência, foi calculada também a concordância positiva, baseada na proporção de associações identificadas simultaneamente pelos dois métodos em relação àquelas identificadas por pelo menos um deles. Essa abordagem permite avaliar especificamente as associações positivas, evitando que a elevada frequência de classificações negativas produza uma impressão artificial de concordância. Adicionalmente, distribuições desequilibradas entre categorias podem influenciar a interpretação de medidas de concordância corrigidas pelo acaso, como o coeficiente Kappa (Feinstein; Cicchetti, 1990). A expressão utilizada foi:

Esse cálculo corresponde ao índice de similaridade proposto por Jaccard (1901), aplicado às classificações positivas de cada categoria. Sua utilização permite avaliar a correspondência entre as associações efetivamente identificadas, sem que a elevada quantidade de classificações negativas produza uma impressão artificial de concordância.

Também foi calculada a concordância geral, considerando conjuntamente as três classificações: ausência de relação, aderência direta e aderência indireta.

A concordância geral positiva considerou apenas as coincidências das classes direta e indireta, divididas pelo número de pares em que pelo menos um dos métodos identificou uma associação positiva. Dessa forma, uma classificação direta atribuída pelo software e uma classificação indireta atribuída pela validação manual para o mesmo ODS foram consideradas divergentes na análise geral de três classes.

Como medida estatística complementar, foi utilizado o coeficiente Kappa de Cohen (κ), que permite avaliar a concordância entre dois métodos de classificação categórica, considerando a concordância observada em relação àquela esperada ao acaso (Cohen, 1960; McHugh, 2012). Diferentemente da concordância percentual simples, esse coeficiente incorpora as frequências marginais das categorias analisadas, proporcionando uma medida ajustada de concordância. O coeficiente foi calculado pela expressão:

Em que:

P₀ corresponde à proporção de concordância observada.

Pe corresponde à concordância esperada ao acaso, calculada a partir das proporções marginais das categorias atribuídas pelos dois métodos.

O coeficiente Kappa foi calculado para as classificações diretas e indiretas, separadamente, e para a classificação geral em três categorias. Na análise institucional, os resultados foram calculados a partir da consolidação dos pares de comparação dos cinco PPGs, e não por meio da média aritmética simples dos percentuais individuais dos programas. Considerou-se, ainda, que a distribuição desigual das categorias, especialmente diante da possível predominância de classificações sem relação identificada, pode influenciar os valores do coeficiente Kappa, mesmo em situações de elevada concordância observada (Feinstein; Cicchetti, 1990). Dessa forma, a interpretação conjunta da concordância simples, da concordância positiva e do coeficiente Kappa permite uma avaliação mais abrangente e consistente das similaridades e divergências entre os métodos, considerando as particularidades da distribuição dos dados analisados (McHugh, 2012).

Para assegurar a rastreabilidade dos resultados, as planilhas foram estruturadas de maneira a preservar separadamente as informações bibliográficas, as classificações produzidas pelo software Impacto Sociedade e aquelas estabelecidas pela validação qualitativa manual.

A planilha consolidada utiliza fórmulas vinculadas às abas individuais, permitindo recalcular os indicadores quando os registros de origem forem atualizados, dentro dos limites estruturais previstos no arquivo. Os procedimentos quantitativos seguem os princípios de identificação única das dissertações, diferenciação entre aderência direta e indireta, contagem individualizada por ODS e utilização de denominadores explícitos.

A disponibilização das classificações por dissertação, acompanhadas dos ODS, das metas correspondentes e das informações bibliográficas, permite verificar as associações utilizadas na construção dos indicadores e reproduzir as frequências e percentuais apresentados.

A reprodução integral da etapa computacional depende, adicionalmente, da utilização dos mesmos dados de entrada, da versão e das configurações do software Impacto Sociedade. A reprodução da etapa qualitativa requer acesso aos documentos analisados, aos critérios de classificação e aos registros das justificativas adotadas.

Os indicadores apresentados expressam a aderência temática, científica e potencial das dissertações aos ODS, não devendo ser interpretados como comprovação de impacto efetivo das pesquisas sobre os indicadores oficiais de desenvolvimento sustentável.