Ifølge sagnet skal det ha holdt til en bande røvere her. Tre av røverne er navngitt. Røverhøvdingen Foksen og røverne Bjørn og Jøns. En dag de var ute på tokt ranet de med seg ei jente fra Odderud. Etter at hun hadde vært hos dem en stund ba hun om å få reise hjem en tur. Det fikk hun lov til mot å sverge på at hun ikke skulle avsløre hvor røverne holdt til. Dette holdt hun, men når jenta skulle reise tilbake til røverne tok hun med seg en pose gryn som hun stakk hull på. Folkene på Odderud fulgte grynsporene til røvernes tilholdssted og angrep dem. I et forsøk på å berge både liv og gull hadde Foksen lagd seg vinger av bjørkenever som han forsøkte å fly over tjernet med. Midt over tjernet gikk vingene i stykker og både høvdingen og gullet falt i tjernet og druknet. Røverne Bjørn og Jøns klarte å komme seg til Hillestadvannet, men der ble de drept. Stedene de mistet livet kalles nå for Bjønnhuet og Jønsvika. De fleste av de andre røverne ble også drept, men noen skal ha kommet seg unna.
Bygdeborger er befestede forsvarsanlegg som ble anlagt på høytliggende steder som var enkle å forsvare. En eller flere sider bestod ofte av bratte, nesten loddrette fjellsider. For å beskytte de andre sidene ble det bygget forsvarsmurer av stein. Det er disse forsvarsmurene man finner rester av i dag. Mange av murene er imidlertid for små til å ha fungert effektivt i forsvaret av borgen. Undersøkelser har vist at murene i de fleste tilfeller fungerte som fundament for trepalisader, en forskansning av spisse pæler. Enkelte borger har også hatt vakttårn av tre langs muren. På Tjuvberget finnes murrestene etter det som muligens kan ha vært fundamentet til et vaktrom. Ofte var bygdeborgene anlagt på steder hvor man hadde god oversikt over ferdselsårer både på land og på vann og lett kunne se hvem som var på vei.
Åsryggen Tjuvborgen ligger på faller bratt mot øst, vest og nordvest og danner naturlige forsvarspunktet. I sør og nord er skråningen slakkere og her er det bygget murer. Hellingen på sørsiden er minst bratt og her finnes det hele fire murer plassert innenfor hverandre.
De fleste bygdeborger i Norge er antatt å være fra yngre romertid eller folkevandringstiden (ca. 0 – 550 e.Kr.), men noen er enda eldre. Det er gjort få undersøkelser av bygdeborger i Norge som med sikkerhet kan fortelle oss hva borgene ble brukt til. I tillegg er det dårlige bevaringsforhold på grunn av skrint jordsmonn. Det er derfor sjeldent man finner bevarte forhistoriske gjenstander på bygdeborgene. Mange av borgene har trolig fungert som tilfluktsteder i urolige tider, men de kan også ha hatt andre funksjoner. De eldste bygdeborgene i Norge er fra bronsealderen og førromersk jernalder (ca. 1800 – 0 f.Kr.). Disse skiller seg fra de yngre bygdeborgene ved at de er mye større og ikke ligger like utilgjengelig til. En tolkning er at disse bygdeborgene kan ha vært steder for kultiske eller religiøse handlinger.
Til sammen er det kjent ca. 400 bygdeborger i Norge. De fleste på Østlandet og i Agderfylkene. I Vestfold vet vi om ca. 50 bygdeborger og i Holmestrand 3. Disse er Tjuvberget/Stufserudborgen ved Foksetjern, Tjuvberget ved Holmsvannet og Løvaldborgen ved Løvall.