Tornet uppfördes under 1400-talet att stärka försvaret mot havet. Sitt namn Jungfrutornet har det fått från den gamla legenden om dottern till Nils Guldsmed, som murades in där till straff för att hon förråde Visby åt Valdemar Atterdag 1361.