Auf dem Plan von Marcus Gerards aus dem Jahr 1562 ist ein Turm zu sehen, bekrönt mit einer durchbrochenen Konstruktion mit Pfeilern. Auf einem Stich aus dem Jahr 1641 ist die Bekrönung verschwunden und gibt es keinen zweiten Turm mehr. Nach zahlreichen Diskussionen bekam Delacenserie Ende des 19. Jahrhunderts doch die Zustimmung, um das Belvedere zu rekonstruieren, gemäß der Abbildung bei Gerards.

Auch bei der kürzlichen Restaurierung des Palastes war der Turm kein Zuckerschlecken. Delacenserie entschied sich damals für eine mit Blei bekleidete Holzkonstruktion. Nach einigen Jahrzehnten erwies sich die Konstruktion als verwittert und wurde das Holz durch armierten Beton ersetzt, der erneut mit Blei bekleidet wurde.

Beim Wegnehmen einiger Bleiplatten bei der Restaurierung zeigte sich, dass die hölzernen Befestigungspunkte, auf denen das Blei montiert war, nahezu gänzlich morsch waren. Der Beton wies Risse auf und die Armierung war korrodiert. Nach sorgfältiger Abwägung wurde deshalb eine neue Betonkonstruktion mit Bleibekleidung installiert.