De vez en cuando fue uno de las cuatro originales canciones Madeleine Peyroux en su tercer álbum en solitario"La mitad del mundo perfecta. Fue el tercer y último sencillo de ese álbum. La melodía, considerado como uno de los aspectos más destacados del álbum, fue escrita por Joe Harris, productor Larry Klein y Peyroux ella misma. Mark Orton hizo los arreglos en la versión del álbum.[1] En la canción, Peyroux dice a su ex amante que aún piensa en él "de vez en cuando" y ella "todavía sonrisas cuando piensa en sus besos" pero ella es "cansado de morir" y así se "vive en su lugar". La canción no la carta y no hubo ningún videoclip filmado.[2] Junto con esta canción, en la EP fue también publicó una portada de Leonard Cohende y Anjani Thomas""Alerta azul".