Significado
Sin orden. Sin objetivo fijo. En el caso de andar, la expresión es sinónimo de ir de una parte a otra sin control o sin saber qué hacer.
Ejemplo
Tengo tanto que hacer que llevo tres o cuatro días andando al retortero, sin saber por dónde empezar ni qué hacer.
Origen
Con traer significa algo así como marear a una persona, llevarla de un sitio a otro, darle órdenes diferentes…
A ver si te aclaras y me dices de una vez qué vestido quieres, porque me traes al retortero, que si vamos a esta tienda, que si a la otra…
Tortero o retortero es una vuelta sobre el propio eje.
La palabra procede de otra que actualmente está en desuso –o mejor, en deshuso, ya entenderán el chiste-: tortera, que era una pieza redonda que las antiguas hilanderas ponían para fijar el huso en la rueca y que daba vueltas con él.
Además, retortero es palabra emparentada con retorcido y con torta, entre otras, y se refiere a algo redondo, algo que da vueltas.