La cité eut d'abord une vocation commerciale, grâce à « l'or blanc » : le sel. A partir du XIVe siècle, le commerce du sel de Brouage prit une dimension internationale. Le port devint le plus important d’Europe et faisait vivre tout un peuple (sauniers, mariniers, pêcheurs de morue, etc.) en rapportant des droits et taxes au clergé et à la noblesse locale. Jusqu'à 200 bateaux pouvaient venir mouiller dans le port. La cité était alors un lieu d'approvisionnement en sel pour les pêcheurs de morue de Terre-Neuve. Jacopolis sur Brouage, nom originel de la cité, devint ainsi riche et prospère.
Pendant les guerres de religion, la ville est tour à tour prise par les catholiques et les huguenots. En 1576, lors de la sixième guerre de religion, le duc de Guise prit la ville afin de compléter l’encerclement de la place protestante de La Rochelle. Cette même année, Henri de Navarre, futur Henri IV, séjourna dans la citadelle. En 1578, le roi Henri III décide que la ville, devenue trop importante, ne doit ni tomber aux mains des protestants ni dans celles des Anglais, et en fait une Ville Royale : elle devient un coffre-fort du pouvoir central. En 1586, les Rochelais rendirent inutilisable le port de Brouage. Le prince de Condé fit couler des bateaux pour bloquer le port et celui-ci ne fut d’ailleurs jamais totalement dégagé par la suite.
En 1626, Louis XIII l'intégra au royaume de France, la cité prit alors le nom de Brouage. Le gouverneur en titre de la cité était Jean Armand du Plessis, Cardinal de Richelieu. À cette époque, la ville comptait 4000 habitants et était toujours une place de négoce : on y trouvait de tout et la cité était très cosmopolite. Point stratégique, elle devint le cœur logistique de la machine de guerre royale pour conquérir La Rochelle. En 1628, Louis XIII visita le port. Entre 1630 et 1640, Richelieu ordonna la construction d’une nouvelle enceinte réalisée par Pierre de Conty d'Argencour. Le bourg de Hiers, de son côté, était devenu l'arrière-cour industrieuse de Brouage : c'est là qu'étaient installés tous les métiers du bâtiment (charpentiers, maçons…) de l'armurerie et de la marine. Certaines enseignes sculptées de l'époque sont encore visibles çà et là.
En 1653, Mazarin devint gouverneur de Brouage. En 1659 celui-ci hébergea sa nièce, Marie Mancini pour l'éloigner du jeune Louis XIV qui la courtisait mais qui devait épouser pour des raisons politiques l'infante Marie-Thérèse d'Autriche (1638-1683).
En 1685, Vauban modernisa les bastions et les chemins de ronde.
Le déclin
L'océan se retira petit à petit loin de la ville, et la vaste baie se colmata peu à peu, à cause de la baisse du niveau de la mer et de l'absence d'une rivière drainante. La fondation et l'ascension de la voisine Rochefort, choisie par Vauban en remplacement, plongea Brouage dans l'oubli dès le XVIIIe siècle. Les marais salants furent abandonnés, la ville commença à tomber en ruine. De nombreux bâtiments disparurent. De fait, les constructions n'ont jamais occupé tout l'espace disponible à l'intérieur des remparts.
À la Révolution, la cité devenue centre de détention logea plusieurs centaines de suspects courant 1793, puis des prêtres réfractaires qui refusaient de jurer fidélité à la République, déportés en provenance des pontons de Rochefort à partir de 1794.
En 1885, l'armée quitte définitivement Brouage.