Zámek byl přestavěn z původní tvrze Albrechtem z Valdštejna. V r. 1636 získal Kamenici Rudolf z Tiefenbachu; z roku 1637 pochází dopis Jacoppa Mazetty, s výkazem materiálu a plánem tvrze a dvora, včetně návrhu úpravy. Tvrz měla dvě trojpatrová křídla. Ve směru dnešního severovýchodního křídla běžela dlouhá budova s obytnými prostory, chlévy a stodolami, areál dvora z jihu uzavírala velká polygonální stodola a navazující hospodářské stavení. Zámek byl přestavěn v r. 1794 a na konci první poloviny 19. stol.