Долли родилась в 1768 году в Нью-Гардене, ныне Гилфорд Кантри, Северная Каролина, в семье фермера-квакера. Свои подростковые годы она провела в Филадельфии. В январе 1790 года она вышла замуж за юриста Джона Тодда; у семейной пары было двое детей — Джон Пэйн (1792—1852) и Уильям Темпл (родился и умер в 1793). Осенью 1793 её муж и младший сын скончались от жёлтой лихорадки, эпидемия которой накрыла Филадельфию.

Вторым супругом Долли стал Джеймс Мэдисон, с которым она сочеталась браком 17 сентября 1794 года. Совместных детей у них не было, однако они вместе растили Джона — сына от первого брака Долли. В 1801 году семейная чета переехала в Вашингтон. Как жена государственного секретаря (такую должность занимал её муж с 1801 по 1809 год), Долли Мэдисон выполняла роль хозяйки Белого дома во время президентства Томаса Джефферсона, который был вдовцом. Как и ее отец, Долли была квакером (квакеры не воспринимают никаких религиозных обрядов), что не мешало ей терпимо относиться к американским католикам и даже помогать элитной школе для девочек в Джорджтауне, которой руководили католические монахини.

Во время войны 1812 года перед захватом Вашингтона британской армией Долли Мэдисон спасла серебро и другие драгоценности Белого дома, отправив их на хранение в банк Мэриленда. Среди спасённых ею вещей был также портрет Джорджа Вашингтона, ценные бумаги и оригинал Декларации независимости.

Долли Мэдисон умерла 12 июля 1849 года.

• Allgor, Catherine. A Perfect Union: Dolley Madison and the Creation of the American Nation. New York: Henry Holt, 2005.
• Ігор Шаров. Характери Нового світу. - К.: Арт Економі, 2018. – С. 105-106. ISBN 978-617-7289-69-1.

•   На Викискладе есть медиафайлы по теме Долли Мэдисон
• The Dolley Madison Project (англ.)