I løpet av sitt lange liv har bygården tjent mange funksjoner. Blant annet har bygningen fungert som familiebolig, forretningslokaler, brennevinsutsalg, kommunelokale og trafikkstasjon for Biltilsynet. Gårdens fremtidige bruk, nå som biblioteket er flyttet ut, er ennå ikke avgjort, men ideene er mange.
Men hvorfor ble denne staselige bygården bygget? Hva var dens opprinnelige formål? Hvem bodde og levde her den første tiden? For å finne ut det må vi gå over 200 år tilbake i tid, til året 1806. Dette er året Agathe Aasilla Christensen (også kjent som Agathe Ursula Christensen) og Christen Backer gifter seg lørdag den 27. desember.
Det unge paret var kun 20 og 22 år gamle da de ble et ektepar og flyttet inn i den nybygde Backer-gården. Den gang var bygningen blant de største og mest staseligste husene i Holmestrand.
Fra hovedgaten førte en vakker port inn til huset hovedinngang og en innelukket gårdsplass. Portrommet gikk opprinnelig tvers i gjennom huset fra gata og ut i bakgården. Denne gjennomgangen ble senere fjernet, men fasaden til portrommet på siden som vender mot gaten er fortsatt bevart. Her var det inngang til forretningslokalene i første etasje. Rundt gårdsplassen lå det stall, bryggerhus, vognhus og «…alt hvad af Uthus nævnes kan.» forteller barnebarnet Harriet Backer. Christen Backer var en driftig forretningsmann som drev både trelasthandel og skipsrederi og lokalene i Backer-gården var i en periode byens forretningssentrum. I en periode var han også Holmestrands ordfører.
I andre etasje lå stuene, soverommene og festsalen. Agathe og Christen Backer var nøkterne mennesker og hadde ikke sans for overdådig luksus, men i festsalen gjorde de et unntak. Her ble det holdt familieselskaper, høytidelige middager og dans. I en barndomsskildring beskriver Harriet Backer festsalen slik:
«Op en smuk bred Trap kom man fra første Etages Hall til anden Etages deilige dansesal. Det skjønneste Tapet, jeg tror fransk. Kaprifoliumsranker med smaafugl paa hvit vatret Grund. Under Loftet to ægte Empirelysekroner. Lampetter i samme rene Stil. For Vinduerne gule Uldmorains Gardiner med appelsingult Silkefoer. Bænker langs Væggene, det var Dansesal, ikke noget almindeligt Beboelsesrum. De stoppede Sæter betrukket med samme Stof som i Gardinerne.»
Når det ikke var fest satt ofte Agathe Christensen ved et vindu i dagligstuen i andre etasje mens hun arbeidet med håndarbeidet. Ved hjelp av et speil montert utenfor vinduet kunne hun holde oppsyn med hele gaten nedenfor. Storstuen var ofte sted for familiens daglige parti med Whist, et engelsk kortspill med fire spillere. Hver dag klokken fem eller seks ble Whistbordet satt opp og Agathe og Christen Backer spilte et parti sammen med husjomfruen Andrea og en av sine voksne døtre eller svigerdøtre. Agathe Backer var også glad i et parti eller to med sjakk som hun ofte spilte sammen med husjomfuren Andrea.
På denne tiden var det flere tjenere som jobbet i Backergården. På midten av 1800-tallet jobbet det to husjomfruer (leder av kjøkkenet eller husholdningen), tre tjenestepiker og en gårdsgutt i bygården. Gårdsgutten Tobias fungerte mer som tjener for Christen Backer enn en gårdsgutt og skal ifølge Harriet Backer ha vært en uunnværlig hjelp for bestefaren.
Agathe og Christen Backer fikk til sammen 8 barn hvorav kun 5 vokste opp. En av disse var Nils Backer som senere ble far til kunstner søstrene Harriet og Agathe Backer. Utenom parets egne barn, ble det flere av slektens barn av ulike grunner fostret opp i huset, som «Pleiebarn». På denne tiden hersket det sterk disiplin ved måltidene. Alle ukonfirmerte gutter, både barn og barnebarn, måtte stå under måltidet, mens småjentene fikk sitte sammen med de voksne.
Etter Christen Backers død gikk Backergården til svigersønnen Richard Røed. Røed gikk imidlertid konkurs i 1878 og gården ble solgt til Holmestrands samlag for brennevinshandel. Noe som nok ikke ville ha falt i god smak hos hans svigerbror, Nils Backer, hvis han hadde levd på det tidspunktet. Nils Backer var nemlig formann i byens avholdsforening.
Agathe og Christen Backer døde begge på slutten av 1860-tallet og ble begravet ved siden av hverandre på kirkegården ved Holmestrand kirke hvor gravsteinene deres fortsatt står i dag.