Intresset för folkbildningen var stor hos Johannes. Det föll sig naturligt för honom att även verka som folkbibliotekarie i Skara. Han kom att kombinera folkskollärartjänsten med tjänst som folkbibliotekarie. På Västra Kungshusgatan 4 i det dåvarande Badhuset fanns en mindre lokal där folkbiblioteket inrymdes. Johannes skötte ensam biblioteket, både in- och utlåning och allt annat som ingår i uppgiften. Johannes satt även med i styrelsen för folkbiblioteket. Biblioteket skötte han med stor omsorg under många år.

Först i samband med industrialismen i slutet av 1800-talet fick folkbiblioteken ny vind i seglen. År 1937 togs ett riksdagsbeslut att Skarabiblioteket skulle bli ett Stifts- och landsbibliotek. År 1938 gick flytten från lokalen i Badhuset  till den stora biblioteksbyggnaden som redan år 1859 stod klar. Tidigare hade endast präster och de lärda i staden tillgång till detta bibliotek. Johannes fortsatte sin gärning även på detta bibliotek.

År 1938 pensionerades Johannes, han kom dock att fortsätta som bibliotekarie fram till några dagar innan han avled år 1941.