Affæren og barnet
Prinsesse Louise Augustas (1771-1843) tid på Hirschholm Slot var kortvarig. Hun blev født af dronning Caroline Mathilde på Hirschholm Slot og kort efter døbt i slotskirken. Men udover nogle måneder i 1771 som spædbarn opholdt hun sig aldrig igen på slottet. Hendes fødsel blev imidlertid set som et åbenlyst bevis for kærlighedsaffæren mellem Johann Friedrich Struensee og Caroline Mathilde, da det var en offentlig hemmelighed, at Struensee var faren.
I januar 1772 væltede en magtfuld gruppe med enkedronning Juliane Marie i spidsen Struensee og Caroline Mathilde. Begge blev arresteret og en storstilet retssag igangsattes. Mens Struensee sammen med grev Enevold Brandt dømtes til døden, opløste man Christian 7.s og Caroline Mathildes ægteskab under påskud af sidstnævntes utroskab. På grund af indblanding fra hendes forældre, det britiske regentpar, tillod man Caroline Mathilde at rejse til Celle i det britisk ejede fyrstedømme Hannover. Hendes to børn måtte hun efterlade i Danmark. Mor og børn genså aldrig hinanden, da Caroline Mathilde døde tre år efter af skarlagensfeber.
Trods en velbegrundet mistanke om, hvem Louise Augustas virkelige far var, kom det aldrig til at påvirke hendes plads ved hoffet. Godt nok påstod flere vidner under retssagen, at hun var Struensees datter, og hun fik endda tilnavnet ‘la petite Struensee’. Men da Christian 7. havde påtaget sig faderskabet, var sagen lukket.
Efter sin mors forvisning til Celle og sin formodede fars henrettelse blev Louise Augusta sammen med sin (halv)bror Frederik (.6) opdraget under opsyn af enkedronning Juliane Marie. Som 14-årig blev hun gift med den cirka ni år ældre prins Frederik Christian af Augustenborg. Der var tale om et politisk arrangeret ægteskab, hvor de to hovedpersoner aldrig fik følelser for hinanden. Der kom dog børn ud af ægteskabet, blandt andet datteren Caroline Amalie, der senere blev Christian 8.s dronning.
Mens Louise Augusta klarede frisag i affæren mellem Struensee og Caroline Mathilde, blev hendes fødesteds omdømme ødelagt. Der har hersket en del uenighed om, hvorvidt Hirschholm Slots nedrivning skyldtes skammen fra kærlighedsaffæren eller noget mere banalt i form af for høje vedligeholdelsesudgifter. Årsagen skal nok findes i begge postulater.
Hirschholm Slot var på grund af konstante vedligeholdelsesproblemer en tung udgiftspost på statsfinanserne. Samtidig opholdt kongehuset sig ikke længere på slottet efter 1771, hvilket flere samtidige kilder forklarer med den skandaløse kærlighedsaffære. Således mistede slottet sin eksistensberettigelse, vedligeholdelsesbudgettet formindskedes, og slottet forfaldt for til slut at blive nedrevet i 1810 til 1812.