Företaget startades i blygsam omfattning på 1890-talet av stenhuggare Per Malkolm Thor (f. 1862 -d.1949). Kommande generationer Thor var: Johan Tage Thor (f. 1893 -d. 1939) son till Per Malkolm och sonsonen Gösta Thor (f. 1925 - d. 2009). Göstas söner,  Göran, Sören och Stig blev den fjärde generationen. Idag drivs företaget av den femte generationen. styrelsen består av Lennart Henrik Thor, Anna-Karin Josefina Thor, Gustav Anders Thor, Emelie Rebecca Tor och Annica Maria Thor. Med i företaget finns kusiner och ingifta .

Sedan omkring 1925  har företaget drivits i större skala och har nu en historia som sträcker sig till drygt 130 år. I början  var produkterna mest byggnadssten, trottoarsten mm och senare gravvård. Stenen som byggnadsmaterial  användes tidigt, ett brandssäkert material. Brand i fastigheter var inte ovanligt på 1800-talet och tidigare därför blev sten som byggnadsmaterial ett självklart val om tillgången till sten fanns.

Mellan åren 1966-1970 arrenderades Råbäcks Mekaniska Stenhuggeri av Thorsbergs Stenhuggeri,  Gösta Thor var då ägare. Råbäcks Mekaniska Stenhuggeri hade även anor från slutet av 1800-talet och i samband med att Råbäcks Bruk upphörde med sin produktion arrenderades stenhuggeriet ut till Thorsbergs. Vill du läsa en berättelse om Råbäcks Mekaniska Stenhuggeri hittar du den i menyn till höger.
Trots att viss utveckling av anläggningen skedde under Göstas tid blev inte avsättningen och lönsamheten god, maskiner och byggnader var även omoderna,  verksamheten upphörde år 1970.

På 1960- och 1970-talet var en period då många hantverksyrken fick stor konkurrens, många billiga produkter importerades. Slit och släng blev ett begrepp. In med det nya ut med det gamla. Kvalité och fint hantverk var inte längre lönsamt, de stora kundgrupperna valde att köpa billiga importerade varor.
Inredningsmaterial som tidigare varit sten och trä ersattes med bl.a. plast och syntetmaterial. Stenhuggeribranschen fick känna på en stor kris.  Det importerades billigare sten vilket gjorde att de flesta svenska stenbrott och hantverket konkurrerades ut, fabriker lades ner. Thorsbergs Stenhuggeri klarade sig ur denna kris, men den  var även mycket kännbart för dem. Räddningen var att företaget var ett mindre familjeföretag och man kunde snabbt anpassa sig till situation. En bidragande orsak till att företaget klarade sig vara också att några större pågående projekt löpte på just då det var t.ex. ett jobb för domkyrkan i Mariestad och universitetsbyggnader i Uppsala.