Esta segunda entrada sobre la encuesta de GWU termina, por el momento, toda la parte de planificación y la relacionada con publicación de la entrevista. Ya las siguientes entradas vendrán dentro de un buen tiempo, una vez se haya analizado el resultado del cuestionario y se comience la redacción del informe. En esta entrada hablaré un poco de lo que fue la difusión de la encuesta y también de un par de datos interesantes de los resultados. Conste que esta entrada ya casi todo son fragmentos de diferentes diarios de campo, por lo que puede estar un poquito desestructurado y a veces confuso.
Lanzamiento público del test y primeros días
El lanzamiento fue un poco accidentado. En primera instancia, en un primer rellenado de preguntas interno, se detecta un bug importante: al cambiar cualquier dato dentro de Google Forms, internamente reordena como se muestran las respuestas en el excel posterior, cambiando las respuestas de sitio. O sea, que las respuestas a la primera pregunta me las colocaba bajo la columna de la tercera pregunta, por ejemplo. Esto, si lo hubiera detectado más adelante, hubiera sido catastrófico.
La solución fue pesada, pero simple: revisión una a una de las respuestas dadas y mover las respuestas a su sitio correcto. Este bug de Google Forms no lo esperaba, pero fue buena idea hacer un soft launch primero. Hubo que arrelgar un total de 30 items antes de sacar al público el test.
El test se ha divulgado especialmente por Twitter a través de un tweet de GWU España y del propio investigador. Esto para empezar, cada cierto tiempo se realizaban nuevos recordatorios que, casi siempre, dejaban nuevas respuestas.
El arranque nos dio 50 respuestas en menos de 48 horas. Bastante bien para lo que se esperaba del test. Sí que un par de esas respuestas eran de usuarios troll, que habían rellenado todo con insultos y respuestas absurdas e ilógicas. Estas respuestas se mantienen, ya que se eliminarán únicamente al final del test, cuando se hayan recogido todas las respuestas posibles.
En las primeras respuestas, se ve una baja participación femenina (un 12% de la muestra mientras que según DEV son el 16% de la industria). Se procede a enviar activamente el test a organizaciones de mujeres en la industria del videojuego para que haga divulgación del mismo. Femdevs hace difusión de la encuesta en sus grupos internos y por redes sociales, lo que incrementa bastante el número de mujeres que realizan la encuesta. Finalmente, se obtienen unos buenos datos de participación femenina, ligeramente por encima del porcentaje de mujeres que trababajaban en la industria según el último Libro Blanco de DEV.
Espacio para mejorar
Tras el lanzamiento, se detectan algunos fallos o deficiencias en el test.
- En primer lugar, no hay una sección enfocada a discapacidades físicas o mentales.
- Tampoco una pregunta relacionada con si un trabajador/a tiene a su cargo personas dependientes o con una discapacidad mental.
- Una persona que trabaja en el extranjero nos hace saber que los expatriados, si quieren hablar en exclusiva de sus condiciones en España, tienen que rellenar el test como si actualmente no tuvieran un trabajo en la industria. Indicado para solucionarlo en una posterior revisión y para analizar de manera diferente a las personas que actualmente residan fuera de España. En el futuro, una posible solución sería hacer un set de preguntas en exclusiva para los expatriados.
- Otra persona envía la sugerencia de añadir una pregunta relativa a los expatriados: si se ha tenido que salir de España no ya para encontrar trabajo, sino para encontrar mejores condiciones.
- En una revisión superficial de las primeras respuestas del test, que luego se confirma al término del mismo, que muchas personas han usado el hueco de “otros” en la sección de contratos para indicar contratos de obra y servicio, que estaban dentro de la categoría de contratos temporales del test. Se apunta para recodificar en el análisis y para redactar mejor en el futuro.
- Otro problema de descripción del test, que necesitará trabajo extra, es que en la descripción de los campos numéricos no se indica que no se puede utilizar el “.” para separar valores. Esto ha provocado, por ejemplo, que en las estadísticas automatizadas aparezcan resultados de “26€” brutos anuales de salario en vez de lo escrito, 26.000€. De nuevo, otra nota en la que mejorar y que necesitará un largo trabajo de recodificación. Por suerte en el CSV que se descarga no se almacenan erróneamente los datos, se obtienen tal cual los ingresaron los usuarios.
Cosas que calientan el corazoncito
A ver, esta parte es más personal que de en sí los datos objetivos del test. Pero en una de las ocasiones en las que difundí la encuesta por Twitter, una persona no binaria me escribió por privado para mostrar su gratitud por la visibilización tanto de las personas no binarias como del colectivo trans. Tanto por las preguntas como por la decisión de escribir todas las preguntas en género neutro, ya sea usando fórmulas lingüísticas propias del castellano o, cuando la economía de lenguaje lo exigía, usando la “e” para el neutro.
Esto, sinceramente, me alegró el día cuando lo recibí. Pese a los errores que tiene el test, ya mencionados e, imagino, otros que se verán cuando se comience el análisis, esto se hizo bien y mereció la pena el cambio de chip al escribir.
De la limitación de alcance y la necesidad de altavoces
Al usar en este primer test un acercamiento más orgánico a través de redes sociales se ha limitado el alcance del mismo. Pese a que se han superado las expectativas, recuerdo que el test era un primer sondeo, el alcance tanto de GWU España como el mío propio es limitado. No creo que se puedan obtener más resultados recurriendo nuevamente a un sistema de este tipo. Para el siguiente estudio, habrá que hacer difusión activa en redes de desarrolladores, grupos de Facebook o Telegram, Slacks, servidores de Discord…
Aunque la verdad es que más estoy valorando es que el siguiente estudio se realice cuando tengamos una cierta normalidad y se vuelvan a hacer eventos. Creo que se podrían tener mayores, y mejores, resultados si se combinara la encuesta online con una encuesta más tradicional. Esta encuesta se podría realizar en los propios eventos de videojuegos, pasando por los diferentes stands con los desarrolladores. Aunque para eso habría que hacer un test más corto, ya que el actual es demasiado largo para hacer una encuesta presencial en un evento de ese tipo.
Cierre del cuestionario y algunos datos previos al análisis
157 respuestas, un porcentaje de mujeres muy cercano a los datos del DEV (16% DEV, 17.8% nosotros). En cuánto al tamaño y representatividad de la muestra, con el número de respuestas nos quedamos lejos del 5% de margen de error, pero nos situaremos bastante cerca del 7.5%. Es bastante aceptable para un test de sondeo como pretendía ser esto. Que al final va a ser muchísimo más, porque con la cantidad de datos que tenemos podemos empezar ya a sacar más conclusiones sobre el terreno.
El siguiente paso será filtrar los resultados (a ver si no hay muchas respuestas de imbéciles). El filtrado se hará directamente sobre Google Forms, previamente almacenando por triplicado (por si acaso) el excel original que descargaré. El fin de hacer este filtrado en GForms es poder luego sacar el informe resumido y con él ya hecho, sin tener que pasarlo antes todo por R, ir empezando a analizar al tiempo que se van redactando las preguntas. Antes del filtrado, el informe generado por Google Forms daba un total de 61 páginas de gráficos.
Las secciones planteadas serán las mismas que las del test. Y en cada una de las secciones un análisis de variables relacionadas (si tiene cabida), aunque valoro la posibilidad de hacer todos esos análisis al final.
Ahora, algunos datos que me parecen llamativos (ojo, todo esto es previo filtro y análisis):
- “Solo” un 68% de la muestra se considera heterosexual, con un 22% de personas que se consideran bisexuales.
- El porcentaje de mujeres que han rellenado la encuesta me da esperanzas de la fiabilidad de este test, ya que son datos muy próximos a los del año pasado de DEV, como ya se ha mencionado antes.
- Solo un 5.3% tienen hijos.
- Más de la mitad de las personas encuestadas han tenido que cambiar de ciudad para encontrar trabajo.
- El 10% de los estudiantes que hicieron prácticas en empresa sufrieron un crunch en toda regla en ese tiempo. Está por calcular cuántos realizaron horas de más, aunque al visualizar la tabla parece ser que va ha haber bastante desnivel (hacia arriba).1
- Pese a este dato, la experiencia de las prácticas es mayormente positiva y más de la mitad entraron a trabajar en el lugar de las prácticas…
- Pero un 36% bajo un nuevo contrato de prácticas o incluso sin contrato.
- Un 10% de la muestra corresponde a antiguos trabajadores de la industria.
- Un 60% de los contratos son indefinidos, bastante por debajo de la media nacional (que está entre el 75 y el 78% en los últimos años).
- Solo el 27% ha tenido un único empleo en los últimos 5 años. Gran inestabilidad laboral.
- En torno a un 43% de las personas encuestadas han sufrido crunch, y un 57% han realizado horas extras en algún momento en en su actual empresa.
Comienzo del trabajo de análisis
A lo largo de las siguientes semanas comenzará el trabajo de filtrado (en primer lugar), recodificación para bastantes de los datos en los que se han dejado cuadros “abiertos” y, ya después de eso, comenzar el análisis propiamente dicho.
Tanto la recodificación como el análisis se realizará directamente en R, mientras que el filtrado para detectar trolls se hará a mano desde la aplicación de la encuesta. Se estima que el informe final serán más de cien páginas (contando los gráficos, las explicaciones y los análisis). Sí, creo que nos hemos venido un poco arriba. Y cuando digo “nos” digo “me” en realidad, que soy el que ha añadido casi todas las preguntas.
De nuevo, para preguntar o comentar algo, nos vemos por Twitter.
-
Esto es especialmente grave porque según la legislación española un estudiante en prácticas o con contrato de prácticas no puede realizar horas extras bajo ninguna circunstancia. ↩︎