Im Februar 1928 forderte der sozialdemokratische Nationalratsabgeordnete Adolf Laser den Bau eines Amtsgebäudes für das Kreisgericht Krems. In diesem Gebäude sollten nicht nur Kreisgericht und Bezirksgericht, sondern auch ein Gefangenenhaus, Gendarmerie, Steuerbehörden und das Vermessungsamt untergebracht werden. Der mit der Errichtung beauftragte Architekt Franz Sturm sollte später als Gauamtsleiter für Niederdonau Karriere in der NS-Hierarchie machen. Als Standort wurde der ehemalige Exerzierplatz vor dem Steinertor bestimmt, eine Fläche von 10.000 Quadratmetern. Der Bau – damals der größte Hochbau Österreichs – wurde im Oktober 1933 fertiggestellt. Einen besonderen Akzent setzten die Wandgemälde von Leopold Schmid und Herbert Dimmel im Foyer vor dem Schwurgerichtssaal und im Saal selbst. 1938 wurden sie als „entartete Kunst“ übermalt. Knapp 50 Jahre später legte Leopold Schmid seine Gemälde wieder frei und erneuerte sie.
Nach den Februarkämpfen 1934 wurden die Zellen mit Sozialdemokrat:innen und Kommunist:innen gefüllt. Bis zu 200 Häftlinge waren hier in den folgenden Jahren inhaftiert, die das ganze Spektrum der politischen Gegner:innen des Nationalsozialismus umfassten: revolutionäre Sozialist:innen, Kommunist:innen, aber auch Monarchist:innen. Rund die Hälfte der Inhaftierten waren Frauen. Einige Gefangene wurden in Werkstätten des Gefängnisses eingesetzt: in der Schneiderei, Schuhmacherei, Strickerei, Tischlerei, Wäscherei. Die Mehrheit der Häftlinge arbeitete in verschiedenen Betrieben in der Stadt.