Das 1625 nach Plänen des württembergischen Stadtbaumeisters Heinrich Schickhardt erbaute Gebäude wurde beim Stadtbrand 1693 bis auf den gewölbten Keller zerstört und 1699 wieder aufgebaut. Mitte des 18. Jahrhunderts diente es zunächst als Sitz des Vogts und später der Behörden des Oberamts. Nach dem Umzug der Oberamtsverwaltung ins umgebaute Schloss im Jahr 1877, wurde das Gebäude zur Post. Nach deren Auszug 1921 nutzten es zunächst das Staatsrentamt (Liegenschaftsamt des württembergischen Staates) und ab 1927 der neue Eigentümer, die Stadt Backnang, als Verwaltungsgebäude („Stadthaus“).
2005 erwarb die Firma Fuhrmann & Benignus das historische Gebäude und sanierte es grundlegend. Dabei wurde das Gebäude, dessen Fachwerk 1968 freigelegt worden war, wieder verputzt und erhielt eine Bemalung mit barockisierenden Elementen. Außerdem wurde der Krüppelwalm entfernt und das Dach entsprechend den umstehenden Gebäuden zu einem Satteldach ergänzt. 2009 erfolgte schließlich die Eröffnung des Hotels „Alte Vogtei“. Eigentümer des Gebäudes ist der ehemalige deutsche Fußballnationalspieler Mario Gomez.
