From Time To Time speelt zich af in de negentiende eeuw, waar vrouwen die heel veel geld hadden, gevangen zaten in die rijkdom. Het verhaal volgt een 13-jarig jongetje, genaamd Tolly, dat tijdens een verblijf in het oude landhuis van zijn oma in aanraking komt met de geesten van enkele kinderen uit een ver verleden. Op mysterieuze wijze bevindt Tolly zich in twee werelden, die twee eeuwen gescheiden houdt. Hier legt hij familiegeheimen bloot, die generaties lang verborgen waren.