В 1814 году Чарлз Бэббидж женился на Джорджиане Витмур (Georgiana Whitmore), и в 1815 году они переехали из Кембриджа в Лондон. За тринадцать лет брака у них было восемь детей, но пятеро из них умерли в детстве. Дети:
Бэббидж, Бенджамин Гершель — австралийский инженер и путешественник.