Hora de leer
5 minutes
La Experiencia de Validar un Instrumento para Evaluar Revistas Académicas Electrónicas en Internet
Entre las características más importantes en las revistas científicas, se encuentra su evaluación. La evaluación de este tipo de publicaciones se ha justificado por la multiplicidad de títulos en el mismo campo temático, la poca cobertura, el financiamiento, la calidad del contenido, su incorporación a las bibliotecas, su indización en bases de datos, etc.
El móvil más inmediato para evaluar a las publicaciones, generalmente surge de la necesidad de hacer una selección para solicitar apoyo financiero; sin embargo, los productos y las consecuencias de estos procesos de evaluación varían.
Por todos estos motivos, existen diferentes organismos o asociaciones encargadas de establecer sistemas para evaluar la calidad de las revistas científicas en todo el mundo, estos mecanismos están basados en múltiples indicadores que pretenden eliminar la subjetividad que conlleva cualquier proceso de evaluación.
Los resultados que se obtienen en estos procesos de evaluación deben aportar información real y objetiva sobre la situación de cada publicación, principalmente en lo referente al contenido, de forma que el dictamen final, permita elevar la calidad, adquirir financiamiento, fortalecer el prestigio ante la comunidad académica, etc.
Mientras que los estudios de evaluación en revistas impresas tienen más de cuatro décadas, la investigación en materia de publicaciones electrónicas cuenta con apenas diez, lo que indica que aún falta un largo camino por recorrer. De igual forma sucede con la aplicación de los criterios tradicionales que evalúan los medios impresos (normalización, gestión, visibilidad, indización, etc.), estos se encuentran definidos y claramente identificados, pero en el caso de los recursos en línea (motores búsqueda, enlaces, navegación, acceso, etcétera), no sólo no están definidos, sino también existen marcadas diferencias entre los autores al momento de organizar y especificar cada uno de ellos.
En este sentido, el principal interés de esta ponencia es describir la experiencia de validar un instrumento diseñado para evaluar la calidad de las publicaciones académicas electrónicas en Internet.
El móvil más inmediato para evaluar a las publicaciones, generalmente surge de la necesidad de hacer una selección para solicitar apoyo financiero; sin embargo, los productos y las consecuencias de estos procesos de evaluación varían.
Por todos estos motivos, existen diferentes organismos o asociaciones encargadas de establecer sistemas para evaluar la calidad de las revistas científicas en todo el mundo, estos mecanismos están basados en múltiples indicadores que pretenden eliminar la subjetividad que conlleva cualquier proceso de evaluación.
Los resultados que se obtienen en estos procesos de evaluación deben aportar información real y objetiva sobre la situación de cada publicación, principalmente en lo referente al contenido, de forma que el dictamen final, permita elevar la calidad, adquirir financiamiento, fortalecer el prestigio ante la comunidad académica, etc.
Mientras que los estudios de evaluación en revistas impresas tienen más de cuatro décadas, la investigación en materia de publicaciones electrónicas cuenta con apenas diez, lo que indica que aún falta un largo camino por recorrer. De igual forma sucede con la aplicación de los criterios tradicionales que evalúan los medios impresos (normalización, gestión, visibilidad, indización, etc.), estos se encuentran definidos y claramente identificados, pero en el caso de los recursos en línea (motores búsqueda, enlaces, navegación, acceso, etcétera), no sólo no están definidos, sino también existen marcadas diferencias entre los autores al momento de organizar y especificar cada uno de ellos.
En este sentido, el principal interés de esta ponencia es describir la experiencia de validar un instrumento diseñado para evaluar la calidad de las publicaciones académicas electrónicas en Internet.
Elements
El método propuesto, no sólo pretende beneficiar a organismos evaluadores de publicaciones científicas, sino también a centros de información (bibliotecas) y particularmente a los académicos que requieran utilizar algunos criterios para asegurar la calidad de la información extraída de Internet. La metodología consta de dos fases.
La primera fase, diseño del sistema para evaluar revistas académicas electrónicas tiene el propósito de crear y proponer un esquema que represente los criterios más utilizados para evaluar revistas académicas impresas, así como los criterios más significativos (recientemente ubicados) en la evaluación de publicaciones en línea. Esta fase consta de tres etapas:
- Identificación de criterios del sistema de evaluación:
Inicialmente se realizó una búsqueda en los principales modelos de evaluación de revistas académicas impresas que utilizan algunos de los más importantes organismos evaluadores de revistas científicas impresas en América y España. Ubicados los modelos, se procedió a realizar un análisis de sus criterios. El análisis consistió en revisar la frecuencia con que los criterios se repetían entre sí.
Mientras en la primera etapa se seleccionaron los modelos evaluadores de revistas académicas impresas, en esta etapa la principal actividad consistió en buscar a los autores con estudios en evaluación de recursos en línea. De los autores revisados, sólo dos de ellos presentaron criterios específicos para evaluar revistas académicas electrónicas, los restantes referían su investigación a la evaluación de todo tipo de información publicado en Internet . En esta búsqueda se encontró la escasez de autores, la falta de descripción de los criterios señalados y la presentación de los criterios en listas de cotejo y sin definir. - Identificación de indicadores del sistema de evaluación:
Esta etapa tiene como propósito identificar los indicadores que se utilizaran en el sistema de evaluación de revistas académicas electrónicas y consta de dos partes: la identificación de indicadores en modelos de evaluación de revistas académicas impresas; y la identificación de indicadores del sistema de evaluación en revistas académicas electrónicas y recursos en línea. - Elaboración de un instrumento para evaluar revistas académicas electrónicas.
Una vez identificados los criterios e indicadores propuestos en el sistema se procedió a definirlos y a diseñar las preguntas correspondientes de cada indicador.
- Elaboración de un cuestionario para validar el instrumento.
Al elaborar el cuestionario, primero se analizaron los siete criterios utilizados para evaluar revistas académicas electrónicas; se consideró que los criterios utilizados particularmente en la evaluación de revistas académicas impresas (calidad del contenido, periodicidad y pervivencia, normalización y propósito y cobertura) han sido ampliamente estudiados, revisados, así como utilizados por diferentes organismos internacionales, encargados de la evaluación de este tipo de publicación impresa por más de tres décadas. - Identificación de los jueces que validaran el documento y envío del instrumento.
El propósito es identificar las características de los editores y a los propios editores que fungirán como jueces en la validación del sistema de evaluación de revistas académicas electrónicas. Consta de dos partes: definición de las características de los jueces y las revistas participantes y envío del instrumento. Se identificaron a 36 editores de revistas académicas en electrónicas en Internet como posibles jueces para la validación del instrumento. - Reestructuración del instrumento validado por los jueces.
Esta fase consta de tres etapas: análisis de los datos enviados por los jueces referentes al instrumento; las observaciones de los jueces se clasificaran en cada uno de los criterios del instrumento y se analizará la pertinencia de cada indicador; descripción de los resultados de la evaluación realizada por los jueces a sus revistas; se hará una descripción de los resultados de la evaluación de las revistas académicas electrónicas seleccionadas. La sistematización de la apreciación de los jueces permitirá eliminar o agregar indicadores, rectificar la importancia de los mismos y su incorporación dentro del criterio, revisar la redacción del indicador.
Applications
La analogía entre el mundo de las publicaciones impresas y las digitales es real, sin embargo, los criterios aplicados necesitan ser identificados, definidos y adaptados al medio.
Las técnicas de evaluación de revistas electrónicas se encuentran en proceso de desarrollo y evolución constante; para avanzar en este proceso, es necesario crear estándares y guías que puedan ser utilizadas de acuerdo a los intereses y necesidades del usuario y a las características de la publicación. De forma que el instrumento propuesto, debe ser aplicado según las características propias de cada publicación.
Finalmente es necesario comentar que el resultado de este trabajo debe entenderse entonces como un proyecto cuyo producto final deberá adaptarse a la dinámica evolución que las propias publicaciones digitales enfrentan ante los constantes cambios de las nuevas tecnologías de la información y comunicación.
Las técnicas de evaluación de revistas electrónicas se encuentran en proceso de desarrollo y evolución constante; para avanzar en este proceso, es necesario crear estándares y guías que puedan ser utilizadas de acuerdo a los intereses y necesidades del usuario y a las características de la publicación. De forma que el instrumento propuesto, debe ser aplicado según las características propias de cada publicación.
Finalmente es necesario comentar que el resultado de este trabajo debe entenderse entonces como un proyecto cuyo producto final deberá adaptarse a la dinámica evolución que las propias publicaciones digitales enfrentan ante los constantes cambios de las nuevas tecnologías de la información y comunicación.
Source
Tomado de la Revista Electrónica Razón y Palabra.
Comments
- Inicie sesión para enviar comentarios