Os primeiros relatos de habitantes na região são dos índios Carijós, que fugiram das margens do Rio Pará, após disputa territorial com os índios Cataguases e se instalaram por quase toda Minas Gerais.
A região também foi frequentada pelos bandeirantes liderados por Fernão Dias Paes Leme. Em 1670, o bandeirante Lourenço Castanho Taques embrenhou-se nos sertões de Minas Gerais para expulsar os Cataguases. Ele é tido, inclusive, como um dos criadores do nome Passa Tempo.
Entre 1734 a 1754 vários personagens históricos pediram Sesmarias das terras locais (sesmarias eram terrenos abandonados pertencentes a Portugal e entregues para ocupação). Em 1760, foi doado um terreno para a construção de uma capela em homenagem a N. Sra. Da Glória por Braz da Costa e a esposa Ana Moreira. Entorno da capela foi crescendo a população. Em 1832, a capela foi elevada à Paróquia, com o vigário Padre José Fabião Cordeiro.
O nome Passa Tempo foi criado também no século XVIII, a primeira hipótese para a escolha do topônimo é pela expressão usada pelos bandeirantes, que diziam: “Vamos parar no Passatempo”, lugar de utilizado para descansar. Por conta disso, nasceu o nome Paragem do Passatempo ou Matos do Passatempo. A outra hipótese é por conta de senhoras que fiavam na porta de casa e quando passantes perguntavam como estavam elas respondiam: “Vamos passando o tempo”. Devido a isso, o município adotou como símbolo duas velhinhas fiando a roca.
O distrito foi criado com a denominação de Passa Tempo em 1832, e em 1891, subordinado ao município de Oliveira. Em 1911, foi elevado à categoria de Vila, desmembrando de Oliveira. Em 1925, Passa tempo passou a ser considerado uma cidade. Com várias mudanças nas divisões territoriais depois da emancipação, a divisão territorial que conhecemos hoje é de 2007.