De bouw begon in 1862 maar werd vertraagd door uitbraken van gele koorts en spanningen tussen de pro-confederale bevolking van Key West en het federale leger. Een orkaan in 1865 vertraagde de bouw van zowel de oostelijke als de westelijke Martello Towers. Oorspronkelijk was het plan voor 9 forten, maar door de stijgende kosten werden alleen Fort Zachary Taylor en twee Martello torens gebouwd, nr. 1 West en nr. 2 East.
In 1950 restaureerde de Key West Art and Historical Society het complex en opende er een museum.
Heeft u zelf meer informatie over deze locatie? Lever het aan!