Mittler wurde am 26. Januar 1785 in Halle geboren. Nach der Ausbildung als Buchhändler in Halle (1799-1803) und als Schriftsetzer in Leipzig (1803) arbeitete der junge Mann zunächst von 1804 bis 1811 in der Buchhandelsfirma seines Bruders, Johann George, in Leipzig. Anschließend zog er nach Berlin, arbeitete in den Buchhandlungen C. F. Amelang und Schlesinger, bevor er 1816 die Firma seines Schwiegervaters Wilhelm Dieterici übernehmen konnte. 1820 eröffnete Mittler eine Filiale in Posen, 1827 in Bromberg. Einen Schwerpunkt des Verlages bildeten die Militärwissenschaften.

1848 wurde der Sohn Ernst Siegfried Wilhelm als Teilhaber in die Firma aufgenommen, die seitdem den Namen "E. S. Mittler & Sohn" trug. Ernst Siegfried junior starb jedoch bereits im Jahre 1852. Erst 1862 konnte mit dem Enkel Theodor Töche ein weiterer Gesellschafter gefunden werden, der das Unternehmen auch nach Mittlers Tod am 12. April 1870 weiterführte.