Indicadores metodológicos clave para modular el nivel de realización de los diseños de investigación

Para Clément Rodríguez-Sabiote

Departamento de Investigación Educativa y Métodos de Diagnóstico

universidad de granada

Palabras clave: RELIEVE, RIE, indicadores metodológicos-analíticos, control de calidad

La importancia de los indicadores metodológicos-analíticos en la modulación de la calidad del trabajo científico, más allá de los indicadores estrictamente bibliométricos y su complementariedad con ellos, ha sido constatada en algunos trabajos, entre ellos los de Rodríguez-Sabiote (2017a). ); Rodríguez-Sabiote (2017b); Rodríguez-Sabiote y Úbeda-Sánchez (2019). En el caso de las referidas referencias se han tomado como objeto de análisis artículos publicados en revistas científicas de impacto en la disciplina educativa, aunque esta investigación no obstante puede ser reproducida en muchas otras disciplinas y sería interesante determinar qué tipo de resultados y de ellos se extraen conclusiones, aplicando las sugerencias de mejora que, por ejemplo, ofrece Aliaga (2017).

En Tendencia

Conferencia Inter-CRECS (Madrid, 19/09/2023)

En este sentido, el uso y abuso de indicadores bibliométricos tradicionales basados ​​en procesos de citación y complejos algoritmos de cálculo parecen responder más a la determinación del impacto y visibilidad de la revista que a la verdadera concepción de su calidad. Esta práctica, además de ser la que se viene imponiendo desde hace tiempo, provoca muchos efectos indeseables dentro de la comunidad científica (Delgado-López-Cózar, Ràfols & Abadal, 2021).

Así con Rodríguez-Sabiote et al. (2022) señalamos que uno de los efectos perversos de tal práctica es promover la cultura de “publicar o perecer”, lo que en muchos casos conduce a un aumento en el número de publicaciones de dudosa calidad y valor científico (Delgado – López-Cózar y Martín-Martín, 2019; Fernández-Cano, 2021). Otro efecto negativo es la excesiva dedicación del profesorado universitario a tareas de producción científica en detrimento de la docencia y la transferencia (De-Rijcke et al., 2016; Feenstra & Delgado-López-Cózar, 2021) y las posibles consecuencias que esto puede generar en la calidad de los procesos de enseñanza-aprendizaje y dificultan la transferencia del conocimiento generado en el contexto universitario a los entornos socioeconómicos.

Por último, también destacamos la multiplicación de conductas totalmente alejadas de cualquier ética deontológica por el interés de publicar a toda costa (Feenstra et al, 2021), que en muchos casos pueden conducir a la impostura, la deshonestidad académico-científica, así como a la el desarrollo de práctica corrupto o fraudulenta (Chapman & Lindner, 2016; Mohamedbhai, 2016; Denisova-Schmidt, 2017; Muñoz-Cantero et al., 2022).

En base a estos antecedentes, en un trabajo más reciente, Rodríguez-Sabiote et al. (2022) concluyeron que, efectivamente, la mayor o menor presencia de cierto tipo de indicadores metodológicos-analíticos parece modular la mayor o menor concretización de los diseños de investigación. Con el término concreción nos referimos al hecho de que el artículo empírico analizado incluye menos o más indicadores metodológicos-analíticos en su contenido. Evidentemente, entendemos que un trabajo que incluya el mayor número posible de indicadores metodológicos-analíticos puede considerarse más completo y, por tanto, llamarse científicamente más riguroso.

En este sentido, si bien la participación de todos los indicadores metodológicos y analíticos es fundamental para la adecuada consideración del trabajo científico de carácter empírico, parece existir una tipología de indicadores que tienen mayor poder predictivo a la hora de determinar la concreción del diseño de investigación. .

Fuentes de imagen: pixabay

Así, Rodríguez-Sabiote et al. (2022, p.378) consideraron 10 indicadores metodológicos-analíticos para su estudio, a saber: objetivos y/o hipótesis de la investigación, metodología de abordaje, variables de estudio, técnicas de recolección de información, tamaño de la muestra, tipo de muestreo, características de la muestra, criterios de calidad, congruencia entre los análisis de datos realizados y los objetivos y/o hipótesis propuestas, e interpretación del análisis de datos. De estos 10 indicadores, el estudio concluyó que solo 3 fueron los que influyeron con mayor intensidad en la determinación de una mayor o menor realización del diseño de investigación, a saber: los criterios de rigor metodológico, es decir, aspectos relacionados con la confiabilidad y validez de un de carácter cuantitativo a partir de las diferentes teorías psicométricas (Teoría Clásica de los Test-TCT-, Teoría de la Respuesta al Ítem-TRI- y Teoría de la Generalizabilidad-TG-), así como de tipo cualitativo; tipo de muestreo que, asimismo, se referiría a tipologías cuantitativas (probabilísticas y no probabilísticas) y cualitativas; así como la metodología del enfoque de estudio.

Por lo tanto, existe evidencia empírica suficiente para considerar que los artículos revisados ​​que especifican en su informe los criterios de rigor metodológico, el tipo de muestreo, así como la metodología del enfoque de investigación se asocian a concreciones metodológicas-analíticas más completas, o lo que viene a ser lo mismo, a informes científicos donde el proceso de investigación ha sido más detallado y, por tanto, justifica un mayor rigor científico.

Las implicaciones finales que se derivan de la consideración de estos indicadores de calidad metodológica y analítica están muy ligadas al desarrollo y uso de escalas de medida para evaluar un informe científico. Este tipo de escalas se tienen cada vez más en cuenta. Así, López-López et al. (2019) señalan que en la literatura reciente se han propuesto algunos instrumentos validados para evaluar un artículo científico (Greenberg, 2015; Merma, Peña & Peña-Alfaro, 2017; Rakedzon & Baram, 2017). Sin embargo, López-López et al, (2019, p. 113) señalan que estas escalas merecen algunas debilidades. En primer lugar, carecen de un enfoque paso a paso de todos los elementos de un artículo. En segundo lugar, algunos indicadores son ambiguos. Finalmente, sus descriptores son en ocasiones globales y poco detallados, lo que dificulta su uso en la evaluación y mejora de un artículo científico.

Por ello, es cada vez más habitual la presencia de tablas de evaluación de artículos científicos, cuyo objetivo es evaluar un trabajo de la forma más sistemática posible, de la forma más clara, con más detalle y profundidad, pudiendo garantizar criterios de fiabilidad. y validez. Ejemplos son las propuestas de Gómez-Ortega y Amaya-Rey (2013) o más recientemente López-López et al. (2019), sin contar que, cada vez con más frecuencia, este tipo de escalas se desarrollan para esto por cada revista son utilizados por ellos para evaluar artículos potencialmente publicables.

Referencias bibliográficas:

Aliaga, F. (2017). Análisis de una propuesta de indicadores metodológicos de calidad para la evaluación y clasificación de revistas de investigación. Aula Magna 2.0. [Blog].

Chapman, DW y Lindner, S. (2016). Grados de integridad: la amenaza de la corrupción en la educación superior. Estudios en educación superior, 41(2), 247-268.

Delgado-López-Cózar, E. y Martín-Martín, A. (2019). El factor de impacto de las revistas científicas sigue siendo ese número que devora la ciencia española: ¿hasta cuándo? Anuario Piensa en EPI, 13e13e09.

Delgado-López-Cózar, E., Ràfols, I. y Abadal, E. (2021). Carta: Un llamamiento a un cambio radical en la evaluación de la investigación en España. profesional de la información, 30(3), 1-6.

Denisova-Schmidt, E. (2017). Los desafíos de la integridad académica en la educación superior: tendencias actuales y perspectivas. Centro de Boston College para la Educación Superior Internacional.

Feenstra, Ramon A., Delgado-Lopez-Cozar, E., & Pallares-Dominguez, D. (2021). La mala conducta investigadora en los campos de la ética y la filosofía: percepciones de los investigadores en España. Ética de la ciencia y la ingeniería, 27.(1), 1-21.

Feenstra, RA, & López-Cózar, ED (2021). La impronta de un sistema de evaluación de la investigación basado en la medición en la erudición filosófica española: un análisis de las percepciones de los investigadores. ArXiv, abs/2103.11987

Fernández-Cano, A. (2021). Publicar, publicar… ¡maldito! Cienciometría, 126(4), 3673-3682.

Gómez-Ortega, OR, y Amaya-Rey, MCP (2013). ICrESAI-IMeCI: instrumentos para la selección y evaluación de artículos científicos para la investigación y la práctica basada en la evidencia. Aquichan, 13(3), 407-420.

Lopez-Lopez, E., Tobon, S. and Juarez-Hernandez, JG (2019). Escala de Calificación de Artículos Científicos en Ciencias Sociales y Humanidades (EACSH). ARROZ. Revista iberoamericana sobre calidad, eficiencia y cambio en la educación 17(4), 111-125.

En líneaMohamedbhai, G. (2016). El flagelo del fraude y la corrupción en la educación superior. educación superior internacional, (84), 12-14.

Muñoz-Cantero, JM, Espilleira-Bellón, EM y Pérez-Crego, MC (2022). Conceptualización del plagio académico desde la percepción de diferentes agentes de la educación superior. innovaciones educativas, 24 (0), 5-20.

Rodríguez-Sabiote, C. (2017a). Análisis bibliométrico a través de indicadores de calidad metodológica de las revistas RIE (Revista de Investigación Educativa) y RELIEVE (Revista Electrónica de Investigación y Evaluación Educativa) durante el quinquenio 2012-2016. En AIDIPE (ed.), XVIII Congreso Internacional de Investigación en Educación. Interdisciplinariedad y transferencia (págs. 787-798). Salamanca (España).

Rodríguez-Sabiote, C. (2017b). Propuesta de indicadores metodológicos de calidad para la evaluación y clasificación de revistas de investigación. Aula Magna 2.0. [Blog].

Rodríguez-Sabiote, C. y Úbeda-Sánchez, AM (2019). Análisis bibliométrico a través de indicadores de calidad metodológica de las revistas educativas españolas indexadas en JCR durante el trienio 2014-2016. ALIVIO, 25(1), art. 2. alivia.25.1.12771.

Rodríguez-Sabiote, C., Úbeda-Sánchez, AM, Olmedo-Moreno, EM y Álvarez-Rodríguez, J. (2022). Importancia de los indicadores metodológicos-analíticos en el nivel de concreción de los diseños de investigación de artículos científicos en educación. Revista de investigación educativa, 40(2), 365-383.

Cómo citar esta entrada:

Rodríguez Sabiote. C. (2022). Indicadores metodológicos clave para modular el nivel de realización de los diseños de investigación. Aula Magna 2.0.

^[i] Profesor del Departamento de Métodos de Investigación y Diagnóstico en Educación de la Universidad de Granada (España). Autor de diversas publicaciones científicas (artículos, papers, etc.) e investigador colaborador en numerosos proyectos de I+D+I.