Distribuidas en las diferentes zonas del lazareto, se hallan cinco torres con funciones de vigilancia. Todas se comunican visualmente entre sí desde las terrazas superiores, a la vez que se controlan los muelles de acceso. La torre sur de la patente sospechosa es conocida como la torre de los Secretos, debido al curioso efecto acústico que permite que dos personas colocadas en las esquinas opuestas —sureste y noroeste— puedan conversar en voz baja entre sí. Además, también fue calabozo y polvorín.