Automatización de pruebas: el éxito está en cambiar

Muy bien. Después de mucho esfuerzo en tiempo y dinero, tenemos la regresión automatizada funcionando. Podemos ejecutarla las veces que queramos, con resultados confiables, velocidad aceptable y sin inconvenientes. Hasta la hemos incorporado a la integración continua y todo funciona. Ahora, podemos relajarnos. ¿O no?…

Si es viernes a la tarde y usted siente que necesita relajarse, no siga leyendo.

Un buen día, aparece un error en producción. Después de las corridas para solucionarlo y probar que todo siga funcionando, es aconsejable realizar un análisis para tratar de descubrir qué falló. La idea no es encontrar culpables, sino detectar qué salió mal, para corregirlo y que no se repita. En ese análisis, es posible que descubramos que la falla estuvo en la regresión automatizada, que no fue capaz de detectar el error. ¿Pero… cómo?

Ocurre que una vez que hemos logrado armar una regresión automatizada que funciona, que está completa y es confiable, necesitamos dar un paso más, que podemos considerar como parte del mantenimiento de esa regresión. El paso extra consiste en realizar cambios, para que siga siendo eficiente. Cambiar para evitar lo que se conoce como “paradoja del pesticida”.

La paradoja del pesticida se basa en un fenómeno observado en la actividad agropecuaria. Explica que, tras un tiempo de aplicar en un campo el mismo pesticida, en dosis similares y en la misma forma, éste pierde su efectividad, ya que habrá matado a todos los bichos a los que puede matar. Sin embargo, esto no quita que haya otra especie de bichos a los que este pesticida no puede eliminar. Esto, llevado al campo del Testing de Software, significa que, si repetimos una y otra vez las mismas pruebas bajo las mismas condiciones, estaremos seguros de que estamos libres de cierto tipo de defectos, pero habrá otro tipo de defectos que no vamos a detectar, que son “inmunes” o se han adaptado a nuestras pruebas. La paradoja del pesticida forma parte de uno de los principios de las pruebas de software definidos por la ISTQB.

En realidad, este fenómeno se aplica a todas las pruebas de regresión, pero especialmente a las automatizadas. Ocurre que, cuando la regresión se ejecuta manualmente, con el solo hecho de cambiar a la persona que ejecuta las pruebas, logramos un enfoque distinto y por consiguiente, podemos tener resultados diferentes. Las pruebas automatizadas, en cambio, son más sensibles a la paradoja del pesticida, por ser ejecutadas siempre por un robot.

Para evitar este fenómeno indeseable, como hemos dicho, deberemos realizar cambios. Vamos a necesitar del Tester, que va a ser quien va a definir estrategias para realizar modificaciones en las pruebas, sin que ellas pierdan su eficacia. Existen numerosas estrategias que se pueden aplicar para evitar la paradoja del pesticida. Algunos ejemplos:

  • Cambiar el set de datos de prueba: como hemos mencionado varias veces, los datos de prueba son muy importantes. No se trata de probar con cualquier dato, sino que deben ser diseñados cuidadosamente, ya que el set de datos incorrecto puede arruinar los mejores casos de prueba. Cuando se ha utilizado el mismo set de datos por un tiempo prolongado, es hora de cambiarlo por otro. Este cambio puede determinar que aparezcan errores que antes pasaban inadvertidos, que suceden ante determinados datos, y con otros no. Esto debe hacerse cuidando de no desvirtuar el espíritu de los casos de prueba.
  • Modificar la secuencia o el orden de las pruebas: normalmente, la regresión automatizada tiene su secuencia de ejecución. Muchas veces, esta secuencia puede alterarse, para buscar que las pruebas tengan un nuevo enfoque. Suele pasar que con sólo cambiar el orden en que se ejecutan los tests, aparecen errores que antes no se detectaban.
  • Ejecutar las pruebas sobre otro ambiente: de la misma manera, si ejecutamos el mismo set de pruebas sobre un ambiente distinto de hardware y/o software, podemos obtener resultados diferentes. Por ejemplo, si veníamos ejecutando nuestra regresión sobre el ambiente de Test, podemos ver qué sucede si la ejecutamos en Staging o incluso en Producción. Es posible que el mero cambio de ambiente nos descubra problemas que no se habían visto antes.

Estos son solamente algunos ejemplos de modificaciones que podemos aplicar para evitar la paradoja del pesticida. Estos cambios deben realizarse siempre con profundo conocimiento del concepto y el sentido de las pruebas, para evitar que terminen siendo inválidas. Asimismo, se recomienda que formen parte del mantenimiento normal de la regresión automatizada. De esta manera, vamos a asegurarnos que nuestra automatización continuará siendo exitosa a lo largo del tiempo.

Para finalizar, podemos concluir que el rol del Tester sigue siendo necesario, que estamos lejos de que la automatización reemplace al Tester. Más bien, necesitamos de él como nunca, para aportar su creatividad y el toque humano, que le permitirá al robot seguir siendo eficiente.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s