За легендою замок був збудований для панни з Парижу, в яку закохався Глібов, і яка не схотіла їхати до Чернігова, бо тут не було палаців. Правда, жартують історики, Глібов був одружений і приїзд парижанки точно потрібно було якось пояснювати.
Химерний готичний замок схожий на його власника. Сучасники порівнювали Глібова з Дон Кіхотом, лицарем сумного образу, що на чернігівському небосхилі хоче відродити деякі лицарські звичаї.