Markov chain models in practice: a review of low cost software options

Abstract

Markov processes (or Markov chains) are used for modeling a phenomenon in which changes over time of a random variable comprise a sequence of values in the future, each of which depends only on the immediately preceding state, not on other past states. A Markov process (PM) is completely characterized by specifying the finite set S of possible states and the stationary probabilities (i.e. time-invariant) of transition between these states. The software most used in medical applications is produced by TreeAge, since it offers many advantages to the user. But, the cost of the Treeage software is relatively high. Therefore in this article two software alternatives are presented: Sto Tree and the zero cost add-in package "markovchain" implemented in R. An example of a cost-effectiveness analysis of two possible treatments for advanced cervical cancer, previously conducted with the Treeage software, is re-analyzed with these two low cost software packages.

Procesos de Markov (o cadenas de Markov) se utilizan para el modelización de un fenómeno en el que cambia con el tiempo de una variable aleatoria comprenden una secuencia de valores en el futuro, cada uno de los que depende sólo del estado inmediatamente anterior, no en otros estados pasados. Un proceso de Markov (PM) se caracteriza por completo mediante la especificación del conjunto S finito de estados posibles y las probabilidades estacionarias (es decir, invariante en el tiempo) de transición entre estos estados. El software más utilizado en aplicaciones médicas es producido por TreeAge, ya que ofrece muchas ventajas para el usuario. Pero, el costo del software TreeAge es relativamente alta. Por lo tanto, en este artículo se presentan dos alternativas de software: Sto Tree y el coste cero de complemento de "markovchain" paquete implementado en R. Un ejemplo de un análisis de coste-efectividad de dos tratamientos posibles para el cáncer de cuello uterino avanzado, llevaron a cabo previamente con el TreeAge software, se volvió a analizar con estos dos paquetes de software de bajo coste.