Kjeld Tofthøj Rasmussen blev født i 1948.
Han var søn af fisker Svend Tofthøj Rasmussen og Ellen Edith Olsen, der boede i Rosengade i Kalundborg. Kjeld blev født i sin mormors hjem i Rugtved i Vestsjælland.
Efter et par år flyttede familien til Strandstræde og senere til Lundevej 85.
Efter 5 år fik han en lillesøster, Anne, og da han var 17, fik han endnu en lillesøster, Bente.
Kjeld Tofthøj Rasmussen blev gift med Kamma Trøst Kristensen i Ubby Kirke i 1973.
Kamma og Kjeld boede på Vesterbrogade 145B, da de blev gift, men flyttede året efter til Kalundborg til et af de gamle huse i Møllestræde. Efter 8 år der, flyttede de til Bredekildekvarteret i Kalundborg.
Sammen fik de tre drenge, Steen, Jeppe og Mads, der alle fik mellemnavnet Tofthøj som deres far og farfar.