Carte Postale Château de l'île du Gouverneur Williams

Le château Williams a été conçu et érigé entre 1807 et 1811 sous la direction du lieutenant-colonel (plus tard colonel) Jonathan Williams, ingénieur en chef du Corps des ingénieurs et premier surintendant de l'Académie militaire des États-Unis à West Point, New York. Le château était l'un des éléments d'un système défensif pour le port intérieur qui comprenait le fort Columbus (rebaptisé plus tard Fort Jay) et la batterie sud sur l'île Governors; Castle Clinton à la pointe sud de Manhattan, Fort Wood sur Liberty Island et Fort Gibson sur Ellis Island. Sa conception pionnière consistait en de multiples niveaux d'enplacements d'armes (casemates) enfermés ou fortifiés. Il a établi un prototype de fortification côtière américaine pour le reste du XIXe siècle. La fortification presque circulaire, de 40 pieds de haut et de 210 pieds de diamètre, a été construite de murs de grès de 2 à 8 pieds d'épaisseur. Chacun de ses quatre niveaux avait 13 casements qui pouvaient chacun contenir 26 canons de calibre varié. Avant son achèvement, le colonel Henry Burbeck, commandant des défenses de New York, a émis un ordre de l'armée le 24 novembre 1810, qui a nommé le château pour son concepteur et son constructeur : "À l'avenir, la Tour de Pierre de cette île (avec l'approbation du secrétaire de la Guerre) portera le nom de CHÂTEAU WILLIAMS, en l'honneur du commandant du Corps des ingénieurs des États-Unis, qui l'a conçu et érigé."