Historie Kulturního domu Výstavba Domu Kultury pracujících, mezisvazového závodního klubu ROH, se jevila pro stranické měststké a krajské orgány nutností. Původně vzešel požadavek ,, od pracujích ze závodů", jak uvádějí prameny. A tento návrh se setkal s velikým pochopením všech složek Národní fronty. Závodní kluby se společenskými sály byly během první pětiletky vybudovány ve dvou závodech - ve Spolku pro chemickou a hutní výrobu a v Severočeských tukových závodech. Závodní klub Spolku pro chemickou a hutní výrobu koncem 50. let kapacitně nevyhovoval. Byl vybudován svépomocí zaměstnanců závodu, hlavně pro schůzovou činnost. Závodní klub Severočeských tukových závodů ve Střekově měl kapacitu pouze 300 osob a stěží dostačoval potřebám tak velkého závodu a střekovské čtvrti. ,,Ústí nad Labem, již krajské město nemělo dosud moderní, důstojný stánek kultury; obyvatelstvo se nemělo kde kulturně a společensky vyžívat. Úkolem Revolučního odborového hnutí jako masové organizace dělnické třídy je pečovat o rozšíření životní a kulturní úrovně pracujících. Rozdělením úkolů mezi státní osvětovou péčí a ROH stávají se odborové orgány organizátory kulturního a společenského života v průmyslových městech". Stojí ve zdůvodnění účelu pro výstavbu Kulturního domu. Rozhodnutím KNV z 8. června 1954 byla výstavba nového kulturního domu umístěna na pozemek Schaffnerovy vily. To předpokládalo, že dosud stojící Schaffnerova vila ve Velké Hradební č.p. 1025/19 musí být odstraněna, aby uvolnila místo nové honosné stavbě. Demolici povolil odbor výstavby a vodního hospodářství rady MěNV v Ústí nad Labem a k vlastnímu odstřelu došlo 25. září 1959. S vlastní stavbou kulturního domu bylo započato okamžitě, dokončena byla v březnu roku 1964. Vznikl Dům kultury pracujících o 700 místnostech s kapacitou 2000 návštěvníků. Vybudován zde byl divadelní sál, kinosál, přednášková místnost, loutkové scéna, reprezentační sál s moderním akustickým zařízením, řada učeben a restaurace.