Os primeiros relatos de habitantes na região foram de índios Carijós, Guaianás e Cataguás. A chegada de brancos no local aconteceu no início do século XVIII, em sua maioria eram bandeirantes portugueses e paulista vindos do sertão goiano.
A região era vista como ponto estratégico, tanto é que alguns bandeirantes ficaram por lá cuidando da lavoura para garantir suprimentos caso os bandeirantes precisassem retornar. Passados alguns anos, eles voltarem o local já estava desenvolvido, o principal alimento oferecido era o pão, fruto da manufatura produzido com o trigo local. A construção da Igreja Matriz, foi iniciada em 1807 pelo padre Domingos da Costa Guimarães.
Em 1862 o local foi batizado pela primeira vez, a região era considerada uma freguesia e ganhou o nome de “Japão”. Há duas versões não confirmadas para esse nome. A primeira é devido a grande oferta de pão, e possivelmente, ter gerado a expressão dos bandeirantes ao regressarem de: “já há pão”. A outra hipótese seria por conta da existência de aves na região chamada: “pássaro Japão”. Até hoje existe um povoado que carrega o nome de Japão Grande.
Em 1948 a freguesia se tornou munícipio e passou a ser chamada de Carmópolis de Minas. Carmo em homenagem a Padroeira Nossa Senhora do Carmo, além de remeter ao Monte Carmelo, devido a sua tipografia montanhosa. Pólis, palavra grega que significa: cidade. Ou seja, Cidade do Carmo, mais conhecida como Carmópolis de Minas.