Kuigi kolm aastat pärast Diana sündi said Spencerid ka oodatud nime- ja tiitlipärija, poeg Charlesi, olid peres suhted juba lootusetult sassi läinud. Diana emal Francesel tekkis kõrvalsuhe eduka tapeedifirma pärija Peter Shand Kyddiga ja ta lahkus kodust. Pärast kibedat ja tüliderohket lahutust jäid lapsed isa hoole alla.

1975. aastal suri Diana isapoolne vanaisa, krahv Spencer ja krahvitiitel läks üle Diana isale. Dianast kui krahvi tütrest sai leedi Diana. Pere kolis suguvõsa põlislossi, 90 toaga Althorp House’i. Diana oli siis 14-aastane.