Panorama dos sistemas e modelos contemporâneos de avaliação de livros acadêmicos

Ano: 2020 | Volume: 14 | Número: 1

Autores: C. França, N. Oddone

Palavras-chave: livros acadêmicos, avaliação da produção científica, indicadores de desempenho e impacto

Resumo Português:

Situado no contexto da comunicação científica e da avaliação da produção acadêmica, o presente estudo propõe mapear e descrever os sistemas e modelos contemporâneos de avaliação de livros acadêmicos. Ao longo da pesquisa constatou-se que a avaliação da qualidade e do impacto dos livros encontra-se em situação ainda incipiente face à avaliação de artigos e periódicos científicos. No entanto, observaram-se alguns esforços no sentido de construir metodologias específicas para avaliar os livros produzidos no âmbito acadêmico. A fase inicial do estudo foi dedicada à identificação e ao mapeamento de plataformas, sistemas, aplicativos e outras iniciativas correntes, por meio de pesquisa documental de natureza exploratória durante a qual foram consultados especialistas, sistemas governamentais, ferramentas de busca, grupos de pesquisa, além da mineração e do exame de referências localizadas em documentos que remetiam a métodos de avaliação de livros. O exame desses documentos e de artigos publicados sobre o tema ensejou a elaboração de uma matriz de coleta de dados utilizada para organizar os sistemas e modelos identificados de acordo com um grupo de variáveis: tipologia da avaliação, técnicas utilizadas para reunir informações sobre as obras, produto gerado e tipo de impacto mensurado. Os resultados evidenciaram a existência de 24 modelos e sistemas de avaliação, a maioria envolvendo iniciativas comerciais, e outros resultantes de projetos de cientistas e grupos de pesquisa e de modelos institucionais e governamentais cujo principal interesse reside na avaliação da atividade científica de países e regiões. Embora apresentem variações nos indicadores aferidos e nos métodos de avaliação, a maioria (71%) dos modelos se dedica essencialmente a avaliar indiretamente a qualidade e o impacto dos livros acadêmicos, tendência que dificulta a observação de outros aspectos característicos dos livros, que envolvem indicadores de natureza multidimensional, como os socioculturais.

Resumo Inglês:

Situated in the context of scholarly communication and the evaluation of scientific production, this study proposes to map and describe contemporary systems and models for the evaluation of academic books. Throughout the research it was found that the evaluation of the quality and impact of books is still in an incipient situation compared to the evaluation of scientific articles and journals. However, some efforts were made to build specific methodologies to evaluate books produced in the academic field. The initial phase of the study was dedicated to the identification and mapping of platforms, systems, applications and other current initiatives, through documentary research of an exploratory nature during which specialists, government systems, search tools, research groups were consulted, in addition to mining and examining references located in documents that referred to book evaluation methods. The examination of these documents and of published articles on the subject gave rise to the elaboration of a data collection matrix used to organize the systems and models identified according to a group of variables: type of assessment, techniques used to gather information about the books, generated product and type of impact measured. The results showed the existence of 24 evaluation models and systems, most involving commercial initiatives, and others resulting from projects by scientists and research groups and from institutional and governmental models whose main interest lies in the evaluation of the scientific activity of countries and regions. Although there are variations in the indicators measured and in the evaluation methods, most (71%) of the models are essentially dedicated to indirectly assessing the quality and impact of academic books, a trend that makes it difficult to observe other characteristic aspects of books, that involves indicators of multidimensional nature, such as socio-cultural.