Впервые Бэббидж задумался о создании механизма, который позволил бы производить автоматически сложные вычисления с большой точностью, в 1812 году. На эти мысли его натолкнуло изучение 

логарифмических таблиц, при пересчёте

которых были выявлены многочисленные

ошибки в вычислениях, обусловленные челове-

ческим фактором. Ещё тогда он начал осмысли-

вать возможность проведения сложных матема-

тических расчётов при помощи механических

аппаратов.

​

Также очень большое влияние на Бэббиджа

оказали работы французского учёного барона

 де Прони, который предложил идею разделения

труда при вычислении больших таблиц

(логарифмических, тригонометрических и др.).

Он предлагал разделить процесс вычисления на

три уровня. Первый уровень — несколько выдаю-

щихся математиков, подготавливающих матема-

тическое обеспечение. Второй уровень — обра-

зованные технологи, которые организовывали

рутинный процесс вычислительных работ.

А третий уровень занимали сами вычислители,

от которых требовалось лишь умение скла-

дывать и вычитать. Идеи Прони навели Бэббиджа на мысль о замене третьего уровня (вычислителей) механическим устройством.

​

Однако Бэббидж не сразу начал заниматься развитием идеи построения вычислительного механизма. Лишь в 1819 году, когда он заинтересовался астрономией, он более точно определил свои идеи и сформулировал принципы вычисления таблиц разностным методом при помощи машины, которую он впоследствии назвал разностной. Эта машина должна была производить комплекс вычислений, используя только операцию сложения. В 1819 году Чарльз Бэббидж приступил к созданию малой разностной машины, а в 1822 году он закончил её строительство и выступил перед Королевским Астрономическим обществом с докладом о применении машинного механизма для вычисления астрономических и математических таблиц. Он продемонстрировал работу машины на примере вычисления членов последовательности. Работа разностной машины была основана на методе конечных разностей. Малая машина была полностью механической и состояла из множества шестерёнок и рычагов. В ней использовалась десятичная система счисления. Она оперировала 18-разрядными числами с точностью до восьмого знака после запятой и обеспечивала скорость вычислений 12 членов последовательности в 1 минуту. Малая разностная машина могла считать значения многочленов 7-й степени.

​

За создание разностной машины Бэббидж был награждён первой золотой медалью Астрономического общества. Однако малая разностная машина была экспериментальной, так как имела небольшую память и не могла быть использована для больших вычислений.