Under sin utbildningstid i Göteborg hade Johannes även läst till organist och kyrkosångare. Som folkskollärare vid Skara Folkskola kom han att sakna musiken och detta kom han senare att ändra på. 

Han blev engagerad som lärare och organist i söndagsskolan utanför Skara och knöt många kontakter.

Johannes var med och bildade i Skara Manskör år 1921, här var han både med i kören och dirigerade under många år.  Vid flera tillfällen var Johannes vikarierande domkyrkoorganist för den kände tonsättaren och domkyrkoorganisten Ivar Widéen, detta skedde vid Ivars frånvaro, t.ex. semester och annat. Musiken gav Johannes stor glädje i livet och det förstår man utifrån hans engagemang i Skara Manskör.