Skip to main content

12. Metodología para evaluar aportaciones

Published onJun 17, 2021
12. Metodología para evaluar aportaciones
·

Hasta este punto ya se debe tener una comunidad de PubPub, una serie de páginas con información, invitaciones enviadas y un objetivo muy claro de qué cosa están revisando los usuarios. Pero, ¿qué sucede cuando empiezan a llegar las aportaciones de los usuarios sobre la revisión de la propia información?

El equipo de Consejo Nuevo León creó una metodología con el afán de poder utilizar adecuadamente los comentarios que se generan en los diferentes pubs. A su vez, diseñó una pequeña guía para poder entender cómo sacarle provecho a documentos cargados a la plataforma. En general, son dos procesos sencillos y altamente replicables.

Para comentarios en documentos cargados por el administrador, la metodología consta de tres fases: identificación, análisis y resolución. Estas fases están acompañadas por una base de datos para poder captar y organizar los comentarios de manera más eficiente (posterior al discernimiento de su pertinencia para el proceso).

Identificación

Existen cinco posibles tipos de comentarios que hay que definir desde un principio para poder entender a qué nos podemos enfrentar.

Tipologías:

  • Aprobaciones y desaprobaciones

    • Es el más versátil de los cuatro tipos y puede ser un precursor o cierre de alguno de los otros tipos.

    • La relevancia de este comentario recae en si tiene o no fondo en cuanto a la desaprobación (si es aprobatorio no es relevante para análisis).

    • Se puede dejar fuera de análisis este tipo de comentarios sin necesidad de llegar a la siguiente etapa.

  • Sugerencias textuales

    • Básicamente son las que proponen el cambio de palabras, frases o párrafos enteros.

    • Se refieren a cuestiones de estilo, semántica, etc.

    • También pueden ir acompañadas de aprobación o desaprobación o incluso de argumentos de tipo teóricos.

  • Argumentos enfocados en teoría o fuentes confiables

    • Estos comentarios son los más complicados, ya que suponen puntos de vista y pueden llegar a tener cargas valorativas muy grandes. No obstante, son los más importantes ya que pueden ser grandes aportaciones al proceso si se manejan adecuadamente.

    • La relevancia de estos argumentos recae en sus fuentes, en la validez de sus datos y marcos teóricos y en qué tanto invalida o desaprueba postulados de los borradores que son inamovibles (ejemplo: que contradigan el enfoque de derechos humanos o que propongan una teoría para analizar la parte social que ya es caduca), así como en la amplitud del marco de referencia utilizado para definirlos (por ejemplo: está en ODS, mesas de trabajo, Plan Estratégico previo y consulta pública).

    • Es muy probable que la mayoría de las personas no cite o sea explícita en cuanto a fuentes de información confiable. Hay que tener cuidado con esta situación.

  • Argumentos enfocados en puntos de vista alternativos

    • Estos argumentos están basados en creencias personales, religiosas o suponen puntos de vista de dudosa procedencia.

    • Es muy fácil identificar los religiosos y los personales, pero los que no puedan ser identificados pueden ser analizados con detalle.

  • Propuestas ciudadanas

    • Esta tipología no estaba contemplada para el ejercicio, pero se tuvo que incluir, ya que muchas personas utilizaron la plataforma para plasmar ideas para mejorar el Estado y, aunque no era la función del ejercicio, se tomaron en cuenta ya que pudieran servir para otros ejercicios o como insumos para crear proyectos.

Análisis

Una vez que se identifique cada uno de los posibles tipos de comentarios se tiene que pasar a su análisis. Para esto basta con tener un pequeño modelo que se basa en la forma y el fondo del comentario. Es en este momento donde se pueden identificar comentarios que contengan las cuatro tipologías, ya que algunos tipos pueden ir enfocados a forma, pero tiene un fondo más importante.

Es importante decir que todos los comentarios tienen forma y fondo pero, debido al tipo de ejercicio que se lleva a cabo, el fondo puede ser que no se pueda identificar. Por esta razón, además de que un comentario puede ser identificado por alguna de las cuatro tipologías anteriores, también entrará de una u otra forma en alguna de las dos categorías propuestas: forma y fondo.

Forma: comentarios sin argumentos concisos, ni datos, de marcos de referencia no identificables. Principalmente son sugerencias textuales y/o aprobaciones.

Fondo: comentarios estructurados y que buscan analizar el texto desde otras ópticas. Proponen marcos de referencia alternativos o dan argumentos para justificar la desaprobación o reforzar el texto.

Forma

Fondo

  • Los comentarios que solo se consideran de forma son los que no tienen contexto o no expresan más que sugerencias sin razón o aprobaciones/desaprobaciones. 

  • Existe la posibilidad de que este tipo de comentarios empiecen son alguna tipología y terminen con otra. Es necesario tener en cuenta esto ya que en donde hay una desaprobación hay un fondo oculto que no siempre se podrá identificar.

  • Es muy importante tener en claro en qué momento, los comentarios sin fondo pueden ser objeto de análisis. 

  • Todo comentario que desapruebe tendrá que ser reconsiderado solo en el caso que:

    • Más de 5 personas expresen desaprobación

    • O el equipo de CONL considere que es relevante reflexionar sobre esa desaprobación o sugerencia. 

  • En el caso de comentarios que aporten sugerencias textuales y no tengan argumentos identificables, tendrán que ser analizados por el equipo para decidir si es factible o no el cambio de la redacción. 

    • Se pone la reserva de que el equipo no puede centrarse en este tipo de análisis.

    • Se va a priorizar el tipo de sugerencias textuales que vengan acompañadas de fondo. 

  • El caso en donde siempre se nulificara una sugerencia es cuando las sugerencias textuales vayan en contra del lenguaje inclusivo o cualquier intento por invisibilizar alguna problemática o grupo, o va en contra de principios como los derechos humanos.

  • Todos los comentarios tienen fondo, pero debido al mecanismo virtual y a la imposibilidad de generar discusiones entre Consejo Nuevo León y las personas participantes, solo los comentarios con argumentos podrán ser analizados desde la fondo.

  • Todo comentario que solo pronuncie un sí o un no, un cambio en el texto, o una propuesta de datos o teorías sin validez debe de ser considerada como una aportación con una posible poca validez o importancia.

  • Si los argumentos presentados son caducos y corresponden a ideas que ya no tienen validez teórica ni sustento científico se deben de desechar automáticamente.

    • Este proceso solo es factible cuando se denota la fuente o el autor y hay forma de comprobar la información.

  • Si los argumentos presentados tienen una carga moralista o hace referencia a puntos de vista y creencias religiosas se deben de desechar automáticamente.

  • Si los argumentos presentados tienen una connotación discriminatoria se deben de desechar automáticamente.

  • Si los argumentos presentados expresan que los datos de los borradores no son correctos, pero el participante no expresa la fuente que diga lo contrario, es responsabilidad de Consejo Nuevo León revisarlo. 

  • Si los argumentos van en contra de las teorías y sustentos de la información, pero se tiene información por parte del usuario que comentó que podría poner a debatir lo que se utilizó en la construcción de ese marco teórico, es responsabilidad de Consejo Nuevo León revisarlo.

Resumen: comentarios automáticamente desaprobados

Los comentarios que automáticamente se desaprueban son:

  • Aprobaciones (estoy de acuerdo).

  • Desaprobaciones con menos de cinco comentarios (esto es totalmente discrecional y cada equipo de administración de la consulta puede cambiar esta regla).

  • Modificaciones textuales sin fondo.

  • Si la sugerencia es bastante precisa y es necesario un cambio, se toma como comentario.

  • Si es solo algo que quita el sentido o gramaticalmente es incorrecto, no se toma en cuenta.

  • La recomendación en este sentido de lenguaje es que, en la medida de lo posible, todos estos comentarios sean revisados por alguna persona experta en este ámbito y se deje la parte teórica y que necesita más análisis para los expertos en cada área.

  • Modificaciones textuales que vayan en contra del lenguaje inclusivo o cualquier intento por invisibilizar alguna problemática o grupo, o vayan en contra de los derechos humanos. 

  • Los argumentos religiosos se desaprueban automáticamente (obviamente si la consulta tiene alguna característica sobre alguna creencia será totalmente válido).

  • Que violen las reglas de convivencia (más acerca de esto en la sección de reglas de convivencia, términos y condiciones y aviso de privacidad. )

Comentarios sujetos a debate:

  • Los argumentos basados en experiencias personales pueden servir como testimonios para ver si faltó algún tema. No obstante, hay que entender que muy probablemente ya esté ese tema en el documento o es algo fuera del ámbito y responsabilidades de la institución que elabora la consulta; en ese caso se desaprueba.

  • Argumentos muy bien elaborados sin fuentes. Es probable que no tengan fuentes debido a la naturaleza del proceso. No obstante es necesario analizarlos para analizar su posible intención.

  • Todo lo que era propuesta o idea de proyecto se plasmó en la base de datos, pero siempre es importante ver qué tanto son pertinentes para el ejercicio. Por ejemplo, había ciertas ideas y propuestas que eran del ámbito de acción del Ejecutivo federal o de los municipios. Esto ayuda a los tomadores de decisiones a entender qué problemas le aquejan a la gente, pero, a la vez, demuestra que no todo puede ser utilizado debido a las competencias de las instituciones.

Resolución y captura de comentarios

Una vez que se haya identificado y analizado el comentario, se pasa a dar un veredicto a manera de conclusión de lo que sucederá con ese comentario. Este veredicto debe de ser a la par que se está llevando a cabo la captura de comentarios. Esto es solamente por una cuestión de tiempo, ya que capturar todos los comentarios en una base de datos y luego analizarlos consume demasiado tiempo y en este tipo de procesos el tiempo es crucial.

Debido a que PubPub no permite descargar los comentarios de forma automática, se procederá a pasar cada uno de los comentarios aprobados a una base de datos. Esto nos ayudará a tener analítica de qué tipos y categorías de comentarios se ponen, así como tener control entre capítulos.

  1. Se pone el comentario en la base de datos con su respectiva tipología;

  2. Se escribe el nombre de usuario.

  3. Listo… el cambio propuesto se da en el proceso de revisión.

  4. Se pueden apilar comentarios de una misma discusión.

Nota: se recomienda utilizar la funcionalidad de visualización de comentarios en formato de “blog” que se encuentra debajo de cada Pub. También se pueden ver los comentarios en cada una de las burbujas de comentarios del lado derecho del Pub, pero esto se vuelve muy complicado cuando se tienen muchas aportaciones.

Se puede consultar un ejemplo de base de datos en: https://participa.conl.mx/pub/s7jo84ez/release/1

En este ejemplo de base de datos se pueden visualizar dos cuestiones importantes:

  • Existe una hoja que ayuda al capturador de comentarios a entender cuáles son las tipologías. Esta pestaña solo sirve de guía y no tiene ninguna otra función.

  • Las demás hojas representan cada uno de los diferentes pubs a analizar.

    • El ejemplo 1 es el más tradicional de las posibilidades de análisis de pubs.

      • Es recomendable este tipo de hoja cuando se tienen pocos comentarios.

    • El ejemplo 2 es técnicamente lo mismo que el ejemplo 2, pero se añadió una columna denominada “código” que utiliza un semáforo para identificar ciertos tipos de comentarios.

      • Esto se decidió durante el análisis y especialmente para este pub, ya que este ejemplo tenía una excesiva cantidad de comentarios.

      • El semáforo denota la prioridad para integrar y utilizar las aportaciones como insumos.

        • El rojo denota que el comentario no es suficientemente relevante para integrarse en este momento, pero será considerado posteriormente.

        • El amarillo denota comentarios que son importantes, pero que por falta de tiempo no pueden ser integrados en este momento.

        • El verde denota aportaciones que son importantes y que son tan relevantes para el proceso que sí deben de utilizarse como insumo.

Hay que recordar que este ejemplo de base de datos solo es una posibilidad y que cada administrador del proceso de consulta puede crear nuevos modelos y procesos. Este ejemplo le funcionó al Consejo Nuevo León y no debe de ser entendido como una regla para otros tipos de procesos. También se pueden usar colores.

Comments
0
comment
No comments here
Why not start the discussion?