Rokokový zámeček byl postaven roku 1770 a jeho název pochází z německého názvu „Kahlstein“, což znamená holý kámen. Původně obýval zámek Karlštejn knížecí rod Kinských a až do roku 1925 jej obklopovala jelení obora. Následně se vlivem nových majitelů Thurn-Taxis změnil v myslivnu a později na rekreační středisko. Teprve od roku 2020 je zpřístupněn veřejnosti.
Navštívit zde můžete restauraci, salonek, apartmány pro dvě až čtyři osoby (každý má své vlastní sociální zařízení a kuchyňku), galerii se stálou i tématickou expozicí a reprezentativní dobový sál. Součástí zámečku je také kaple sv. Jiljí, která byla 15. 9. 2020 slavnostně vysvěcena biskupem J. Vokálem.
Několikrát byl propůjčen k natáčení, a tak právě zde vznikl československý film Temno, pohádka O kominickém učni a dceři cukráře nebo některé díly televizního seriálu Četnické humoresky. Pořádají se zde rovněž svatby, firemní akce a další události.
K zámeckému areálu vedou dvě značené turistické trasy a jedna cyklotrasa.