Ligesom sin far, Frederik 2., havde Christian 4. en forkærlighed for området omkring Hørsholm. Men i modsætning til Frederik 2. benyttede Christian 4. Hørsholm Slot mere som en egentlig slotsresidens.
Efter færdiggørelsen af Christian 4.s Frederiksborg Slot opholdt kongen sig sjældnere på Hørsholm Slot, men fra 1630’erne benyttedes slottet igen som kongelig sommerresidens. I 1630 havde Christian 4. endegyldigt brudt med sin utro hustru Kirsten Munk, som blev sendt i husarrest på de jyske herregårde Boller og Rosenvold. Antagelig på grund af kærlighed, og for at minimere Kirsten Munks indflydelse, drog Christian 4. stor omsorg for deres fælles børn og ønskede dem så tæt på som muligt. Dette betød blandt andet, at seks af ægteparrets døtre benyttede Hørsholm Slot som sommerresidens fra 1632 til 1637. Af disse seks døtre er den mest berømte Leonora Christina (1621-1698), der sammen med sine søskende tilbragte en del af tiden på slottet med at blive undervist i diverse fag.
Kobberstik forestillende Leonora Christina. Foto: Det Kongelige Bibliotek.
Som niårig havde hendes far forlovet hende med sin kammerjunker og senere rigshofmester Corfitz Ulfeldt. Seks år efter i 1636 blev de gift. Parret udviklede et ubrydeligt bånd. Leonora Christinas og Ulfeldts hengivenhed og loyalitet over for hinanden blev en af deres største styrker, men også største svagheder.
I 1641 fik Ulfeldt til opgave at forpagte Hørsholm Len, hvorpå Leonora Christina vendte tilbage til Hørsholm Slot. Forholdet mellem Christian 4. og Ulfeldt var i 1640’erne omskifteligt. I 1643 udnævntes Ulfeldt til rigshofmester, og i 1645 repræsenterede han Christian 4. under fredsforhandlingerne ved Brömsebro, som afsluttede Torstenssonfejden (1643-1645). Den danske konge var dog langt fra tilfreds med udbyttet af forhandlingerne, som han holdt Ulfeldt personligt ansvarlig for. Ulfeldt kvitterede utilfredsheden med at blive fornærmet og krybe i flyverskjul hos Leonora Christina på Hørsholm Slot.
Kobberstik fra 1754 af Leonora Christina og Corfitz Ulfeldt. Foto: Det Kongelige Bibliotek.
Ulfeldt blev dog hurtigt taget til nåde igen, da den aldrende Christian 4. behøvede sin rigshofmesters indflydelse til at stække rigsrådet. Ulfeldt tog sig godt betalt for dette, idet han og Leonora Christina resten af deres liv skulle have Hørsholm Len og Slot kvit og frit som tak. Denne gave skulle vise sig at blive et tilbagevendende stridspunkt mellem Ulfeldt-parret og den danske krone.