Carpenter est poussé vers la musique par son père. Professeur de musique, ce dernier lui apprend le violon et le piano, tandis que jeune John grandit dégoûté par le conservatisme et le racisme de son environnement, la petite ville de Bowling Green, dans le Kentucky. En 1964, il crée avec ses camarades d’école primaire un groupe de folk, Tommorows’s Children, dans lequel il joue de la guitare acoustique. En 1966, c’est avec d’autres amis, du lycée cette fois-ci, qu’il forme le groupe The Kaleidoscope. En bon lycéen, c’est la guitare électrique qu’il brandit alors.