La caída de Workday vino de su propia prueba de respaldo y bloqueó nóminas y horarios

Workday, el software que muchas grandes empresas usan para gestionar la nómina, registrar entradas y salidas y solicitar días libres, dejó de funcionar para sus clientes después de que fallara una prueba de su propio respaldo de emergencia. Mientras revisaba sus sistemas de recuperación ante desastres, la compañía descubrió que los servicios de respaldo se habían conectado inesperadamente a las bases de datos de producción que usan sus clientes, lo que dejó los registros en un estado inconsistente. Workday desconectó los sistemas afectados para repararlos.

Para los empleados, la caída se tradujo en una página de inicio de sesión que decía: «Workday no está disponible en este momento». El personal de las empresas afectadas no podía registrar su entrada ni su salida, consultar información de pago, solicitar días libres ni completar la inscripción a los beneficios; además, podían fallar los procesos programados que envían datos a otros sistemas de las empresas. La red de seguridad diseñada para mantener el servicio en funcionamiento durante un desastre fue lo que lo dejó fuera de servicio.

La escala del problema explica por qué esto va más allá de los departamentos de Recursos Humanos. Workday afirma que más de 11,500 organizaciones usan su software, y su lista pública de clientes incluye a Walmart, Target, Netflix, Chipotle, Southwest Airlines, el US Department of Energy y el Jet Propulsion Laboratory de la NASA. La compañía no ha dicho cuántas de ellas resultaron afectadas; solo describió el impacto como «algunos de nuestros clientes», así que las publicaciones virales que dan por hecho que todas esas empresas quedaron fuera de servicio van más allá de lo que se sabe. Según UC Today, los sitios de seguimiento de interrupciones registraron reportes desde Estados Unidos e India.

La explicación de la propia Workday, publicada en su página de estado para clientes y citada por el equipo de TI de Washington University, es inusualmente directa. «Al validar la ventana semanal de mantenimiento de los entornos de recuperación ante desastres, identificamos que los servicios de los entornos del sitio de recuperación ante desastres se conectaron inesperadamente a las bases de datos de producción», decía el aviso. También señalaba que los datos habían quedado «en un estado inconsistente», lo que podía provocar errores cuando las personas abrieran sus cuentas o hacer que algunas tareas fallaran. Después, la compañía puso en mantenimiento todos los entornos de producción del grupo de clientes al que llama WD1 y prometió publicar actualizaciones cada 30 minutos.

La explicación deja sin responder la pregunta más importante. Una copia de recuperación ante desastres existe para evitar que un problema en un lugar se extienda al otro, pero en este caso la prueba llegó al sistema real. Workday no ha explicado cómo existía esa conexión ni si se perdió algún registro, en lugar de quedar simplemente desactualizado o desalineado. Sus comunicaciones también generaron quejas. Administradores de los foros sysadmin y Workday de Reddit dijeron que el problema había comenzado horas antes de la primera alerta a los clientes, un cronograma que Workday no ha confirmado. Además, un correo enviado a un cliente y compartido allí reconocía que no había una estimación para restablecer el servicio y recomendaba a las empresas con fechas límite críticas recurrir a sus planes de continuidad del negocio.

Para los trabajadores, el daño concreto depende del momento. El personal por hora que no pudo registrar su entrada necesita que le corrijan las horas manualmente, y quienes corrían para cumplir con una fecha límite de inscripción a beneficios se encontraron con la puerta cerrada. Algunos empleadores ampliaron los plazos: Emerson College anunció que extendería su periodo de inscripción abierta debido a la caída. El incidente también llegó al final de una mala semana para el software laboral, después de que una falla de Microsoft 365 dejara Outlook y el correo de Exchange poco confiables hasta el segundo día.

Este es el cronograma hasta ahora: Emerson College dijo que Workday desconectó el sistema alrededor de las 5:15 p. m., hora del Este, del viernes 13 de noviembre, y LiveNOW from FOX informó que Downdetector registró casi 3,000 reportes de problemas poco después de las 5 p. m. Un portavoz de Workday dijo que la compañía estaba «trabajando con urgencia para investigar y resolver el problema» y se disculpó con los clientes afectados. Para la mañana del sábado, Workday comunicó a sus clientes que esperaba terminar de reindexar y restablecer sus entornos para la mayoría de ellos antes de las 11 a. m., hora del Este, del sábado 14 de noviembre; algunos tardarían más y recibirían información mediante un caso de soporte. El periodo de inscripción extendido de Emerson ahora estará abierto hasta el mediodía, hora del Este, del lunes 16 de noviembre.

Que el servicio vuelva a funcionar no responderá la pregunta más difícil que ahora los empleadores le están haciendo a su proveedor. Querrán saber por qué una prueba diseñada para demostrar que Workday puede superar un desastre tenía una ruta de acceso a los datos que debía proteger.

Etiquetas: caídas informáticas, nómina, recuperación ante desastres, servicios en la nube, software de recursos humanos, Workday