Nació en Valencia en 1946, pero se trasladó a Madrid con su familia en 1952. Fue alumno del colegio Claret y realizó sus estudios preuniversitarios en el instituto Ramiro de Maeztu. A finales de la década de los 60 empezó la carrera de Filosofía y Letras, en la rama de Filosofía Pura, pero los abandonó en el tercer curso.
En 1974 publicó su primera novela, Cerbero son las sombras, con la que ganó el Premio Sésamo.
Influido por Dostoyevski y Kafka en sus inicios, su obra está poblada de personajes corrientes que de repente se ven inmersos en situaciones extraordinarias, que muchas veces lindan con lo fantástico : desapariciones, mundos paralelos, terribles angustias que pueden desembocar en la locura, la depresión, el crimen, la muerte.
Al principio de los años 90 comenzó su labor periodística en El País y en otros medios de comunicación. Juan José Millás es el creador de los «articuentos». El nombre pretende subrayar su peculiaridad principal: se trata de artículos de opinión porque aparecen como tales en la prensa, no en balde se ocupan de lo que ocurre en España y en el mundo. Pero, por sus características, están más cerca de los textos de ficción, de la fábula o del microrrelato fantástico. Su objetivo es siempre mostrar el revés de la trama, lo verdadero y lo falso. El pensamiento, presentado a través del humor, la paradoja o la ironía, acaba por engullir la noticia, de modo que en su destilación final sólo queda una lúcida visión crítica de la realidad.
El 15 de octubre de 2007 es galardonado con el Premio Planeta por su novela autobiográfica El mundo. El 13 de octubre de 2008 le fue concedido el Premio Nacional de Narrativa.
Sus obras han sido traducidas a quince idiomas, entre ellos, inglés, francés, alemán, portugués, italiano, sueco, danés, noruego y holandés.