Bag den grå port sad Struense fængslet i flere uger inden han blev ført til Fælleden, hvor han blev henrettet og senere parteret og lagt på hjul og stejle. Fængslet er bygget bagved og sammen med Kastelskirken, der i dag er en almindelig sognekirke.