Op de plattegrond van Marcus Gerards uit 1562 is een toren te zien, bekroond met een opengewerkte constructie met pilaren. Op een gravure uit 1641 is de bekroning verdwenen en staat er geen tweede torentje tegenaan. Na veel discussie kreeg Delacenserie eind 19e eeuw toch toestemming om de belvedère te reconstrueren, zoals afgebeeld bij Gerards.

Ook bij de recente restauratie van het paleis was de toren geen sinecure. Delacenserie opteerde destijds voor een houten constructie bekleed met lood. Na enkele decennia bleek de constructie verweerd en werd het hout vervangen door gewapend beton dat opnieuw met lood werd bekleed.

Bij het weghalen van enkele loodplaatjes bij de restauratie bleken de houten bevestigingspunten waarop het lood gemonteerd was, bijna volledig rot. Het beton vertoonde barsten en de wapening was gecorrodeerd. Na zorgvuldig afwegen werd daarom een nieuwe betonconstructie met loodbekleding geïnstalleerd.