Das Aussehen des unregelmäßigen Platzes hat sich im Laufe der Jahrhunderte stark gewandelt. Der Bereich lag im Mittelalter zwischen der Burg und dem Augustiner-Chorherrenstift. Östlich erhob sich direkt am Graben der Bergfried. Die Nordkante bildeten die Wohnhäuser der Chorherren. Der obere Hof war vom unteren Bereich durch eine Mauer getrennt. An dieser Mauer befand sich ein Uhrtürmchen. An der Südseite verlief unterhalb der Mauer der Zwinger, der die Einfahrt zur Stadt beschützte. Ein Tor an der Südostecke ermöglichte einen Direktzugang von außerhalb der Stadt. Dort steht noch heute das früher von der Stiftsverwaltung genutzte Torbogengebäude. Vor diesem kann man die steinerne zweibogige Brücke über den Graben erkennen.
Ein 1813 entferntes Tor verband den Stiftshof mit der Stadt. Für den Bau des Schlosses wurden nach 1600 die Häuser der Chorherren abgerissen. Daneben gab es noch ein Gebäude, das nach Fertigstellung des Schlosses als Schlossküche genutzt werden sollte. Südwestlich davon standen Reste der mittelalterlichen Burg der Hessonen. Dazu gehörte ein Bergfried, der für den Ostflügel des geplanten Schlosses abgebrochen werden sollte. Da dieser Flügel nie errichtet wurde, blieb der Bergfried zunächst stehen und wurde erst nach dem Stadtbrand von 1693 endgültig entfernt. Auch das Umfeld der Stiftskirche sah früher anders aus. Im Bereich des Dekanatsgartens muss man sich einen geschlossenen Kreuzgang vorstellen. Stiftskirche und Refektorium verband ein Flügel, der nach der Auflösung des Stifts als „Korncast“ genutzt wurde und noch bis Mitte des 18. Jahrhunderts als Ruine stehen blieb. An der Stelle des Refektoriums wurde nach dem Stadtbrand von 1693 das Dekanat errichtet. Im Westen schließt das Bandhaus den Stiftshof ab.
Die Zehntscheuer wurde nach Ablösung der Zehntabgaben 1853 abgebrochen. Heute steht an dieser Stelle ein Gebäude der städtischen Bauverwaltung (Stiftshof 16). Der Stiftshof wurde 1877 für den Einzug des Oberamts ins ehemalige Schloss neu angelegt. 2006 wurde er nach den Entwürfen der Stuttgarter Landschaftsarchitekten Dagmar Renée Verdyck und Stefan Gugenhan neu gestaltet. Dabei wurde der Amtsgerichtsgarten entfernt, wodurch der Platz nun als Einheit wahrnehmbar ist. Bei der Neugestaltung des Stiftshofes fanden auch die gusseisernen Wände eines alten Brunnens ihren Platz, der 1713 in der Herzoglichen Eisenfaktorei in Königsbronn auf der Ostalb gegossen wurde. Neben einem württembergischen Wappen mit den Initialen von Herzog Eberhard Ludwig sind die Reliefs von Sapientia, Caritas und Justitia zu sehen, weshalb der Brunnen auch „Tugendbrunnen“ genannt wird.
