В 1822 году Бэббидж задумался о создании большой разностной машины, которая позволила бы заменить огромное количество людей, занимающихся вычислением различных астрономических, навигационных и математических таблиц. Это позволило бы сэкономить затраты на оплату труда, а также избавиться от ошибок, связанных с человеческим фактором.

Со своим предложением профинансировать создание большой разностной машины Чарльз Бэббидж обратился в Королевское и Астрономическое общества. И те, и другие отозвались на это предложение положительно. В 1823 году Бэббидж получил 1500 фунтов стерлингов и приступил к разработке новой машины. Он планировал сконструировать машину за 3 года. Однако Бэббидж не учёл сложности конструкции, а также технические возможности того времени. И уже к 1827 году было затрачено 3500 фунтов стерлингов (из них более £1000 составляли его личные деньги). Ход работы по созданию разностной машины сильно замедлился.

Кроме того, на процесс конструирования машины большое влияние оказали трагические события в жизни Бэббиджа в 1827 году. В этот год он похоронил отца, жену и двоих детей. После этих событий у него ухудшилось самочувствие, и он не мог заниматься конструированием машины. Чтобы восстановить здоровье, он поехал в путешествие по континенту.

После путешествия в 1828 году Бэббидж продолжил разработку, но денег уже не было. Он обращался ко многим обществам и правительству с просьбой о помощи. Только в 1830 году он получил от правительства ещё 9000 фунтов стерлингов, после чего продолжил конструирование разностной машины.

В 1834 году работы по созданию машины были приостановлены. На тот момент уже было затрачено 17000 фунтов государственных денег и от 6000 до 7000 личных. С 1834 по 1842 год правительство обдумывало, оказывать поддержку проекту или нет, а в 1842 году отказалось финансировать проект. Разностная машина так и не была достроена.

Большая разностная машина должна была состоять из 25 000 деталей, весить почти 14 тонн и быть 2,5 метра высотой. Кроме того, разностная машина должна была быть оснащена печатным устройством для вывода результатов. Память была рассчитана на 1000 50-разрядных чисел.

Возможно, причиной неудачи создания разностной машины, наряду с трагическими событиями 1827 года и недостаточным уровнем технологий того времени, стала излишняя разносторонность Бэббиджа. Он поднимался с экспедицией на Везувий, погружался на дно озера в водолазном колоколе, участвовал в археологических раскопках, изучал залегание руд, спускаясь в шахты. Почти год он занимался безопасностью железнодорожного движения и сделал очень много специального оборудования — в том числе создал спидометр. Кроме того, при конструировании разностной машины он разработал немало оборудования для обработки металла. В 1851 году Чарлз Бэббидж предпринял попытку сконструировать улучшенную версию разностной машины — «Разностную машину 2». Но и этот проект не был удачным.