Na het overlijden van zijn oom in 1540 volgde Filip de Lalaing hem als tweede graaf van Hoogstraten op, en liet hij de verbouwingswerken verder zetten.
In 1542 viel de Gelderse krijgsman Marten van Rossum met zijn benden Hoogstraten binnen. Uit angst voor plundering zocht de bevolking van
de Vrijheid zijn toevlucht binnen de muren van het Kasteel. De graaf zelf was niet aanwezig en de drossaard (beheerder) wist het onheil en
een belegering af te wenden door een paar stukken vestinggeschut en een beurs goudstukken prijs te geven.
Voor die bescherming moest de bevolking nog jarenlang brandschatting en oorlogsbelasting betalen.
Drie jaar later overleed de tweede graaf, gouverneur van Gelderland, te Arnhem en ook hij werd in Hoogstraten begraven.
Zijn weduwe, gravin Anna van Rennenberg, verliet het Gelmelslot en het zou tot 1555 duren voor haar oudste, 22-jarige, ongehuwde zoon
Antoon II het voltooide grafelijk slot in zijn bezit zou nemen.
Antoon II was erg geliefd door de bevolking die hem bedacht met talrijke geschenken.
De graaf zelf toonde zich eveneens genereus en schonk aan de Vrijheid het door een anonieme kunstenaar gemaakte schilderij Gezicht in vogelvlucht op
de Vrijheid in 1564 dat nog steeds te bezichtigen is in de bovenzaal van het stadhuis. Dat de graaf redelijk ingenomen was met zijn rijkdom moge
blijken uit de omkadering van het doek dat versierd is met de wapenschilden van de Lalaing en deze van de Vrijheid.
Bovendien werden de regels van de perspectief -in opdracht?- zwaar met voeten getreden om het kasteel zo imposant mogelijk voor te stellen.
Als een adelaar lijkt het zijn beschermende vleugels vanuit de hoogte over de Vrijheid uit te strekken.
Ondanks zijn jeugdige leeftijd werd de jonge graaf gouverneur van Mechelen, en in 1558 mocht hij de Heilig Grafridders van heel West-Europa in
Hoogstraten ontvangen voor hun eerste kapittel. Hoogstraten was niet langer zomaar een onbeduidende vlek op de kaart van Europa.
Twee jaar later huwde hij met Eleonora de Montmorency, maar veel zorgeloze jaren kende hij niet.
In 1566 brak de beeldenstorm uit en verving hij als gouverneur van Antwerpen de prins van Oranje, Willem de Zwijger.
In die periode groeide ook het verzet tegen Filips II, koning van Spanje, en net als andere misnoegde edellieden uit die tijd zou
Antoon II een vooraanstaande rol spelen op het politieke toneel.
Willem de Zwijger had in maart 1566 zijn voornaamste onderdanen ontboden in Breda om hun positie te bepalen, maar uiteindelijk werd
de vergadering in Hoogstraten gehouden. Volgens sommige bronnen was er een schitterend banket en werd hier het smeekschrift opgesteld dat door
het Verbond der Edelen aan de landvoogdes, Margaretha van Parma, werd aangeboden.
En hoewel de handtekening van de Graaf van Hoogstraten ontbreekt, werd hij net als de andere edelen van dan af beschouwd als
´vijand van God en koning´. Dit conflict lag mee aan de basis van de Tachtigjarige Oorlog.
Net als de graven van Egmont en Hoorne werd ook Antoon II de Lalaing door de Hertog van Alva gedagvaard om in Brussel
voor de Raad van Beroerten te verschijnen.
Hoogstraten reisde ook daadwerkelijk af naar Brussel, maar toen hij onderweg vernam dat de beide graven in hechtenis waren genomen, maakte hij
rechtsomkeert, nam op het kasteel het hoogstnoodzakelijke en vluchtte te paard naar Keulen. De Hertog van Alva was buiten zinnen van woede,
beschuldigde de graaf van opstandigheid en majesteitsschennis, en om duidelijk te stellen dat de Spaanse suprematie boven alles stond en
de Inquisitie moest worden nageleefd, werden Egmont en Hoorne onthoofd. Graaf Hoogstraten werd voor eeuwig en
altijd verbannen, de grafelijke bezittingen werden verbeurd verklaard,
hij werd beroofd van al zijn rechten en aandelen, en zijn uiterst waardevolle bibliotheek moest naar Madrid worden overgebracht.
Don Loys Carillo de Castilla, een Spaanse kapitein, zou een jaar later worden aangesteld als gouverneur van het Land van Hoogstraten.
Toen men in Hoogstraten het bericht van de executies van Egmont en Hoorne vernam, vertrok een boswachter onmiddellijk om
de graaf hiervan op de hoogte te brengen. Hij slaagde erin door de vijandelijke linies heen te komen, zwom de Maas over en bereikte de voorposten van
het leger van de Zwijger, waar de graaf werd ingelicht. Deze bleef resoluut de zijde van Oranje steunen.
Bij een legermanoeuvre werd hij getroffen door een losbranding van zijn eigen pistool en op 11 december 1568 bezweek hij aan zijn verwondingen.
In de daaropvolgende jaren woedde de oorlog volop verder en de krijgskansen wisselden voortdurend.
De bevolking van het Land van Hoogstraten en de gouverneur don Loys die het kasteel betrok en belast was met het beheer van goederen
en gronden, bereikten een zekere modus vivendi waardoor er bestuurlijk, afgezien van de gruwelen van het oorlogsgeweld, de facto niet zo erg veel
veranderde. Er moest, ook onder de moeilijkste omstandigheden gewerkt, gebouwd en verbouwd worden om zich te kunnen handhaven.
Plunderingen en brandstichting bleven echter schering en inslag, ziektes braken uit en velen vluchtten naar het Noorden.
In 1572 bezette Willem de Zwijger het kasteel.
In 1573 werd het weer ingenomen door de Hertog van Alva.
In 1574 werd Hoogstraten door de Geuzen beroofd.
In 1576, bij de Pacificatie van Gent, kwam het opnieuw in handen van de familie de Lalaing.
Willem de Lalaing volgde zijn vader op als graaf van Hoogstraten.
Het geweld bleef ook de jaren daarna aanhouden.
In 1581 werd het kasteel door brand geteisterd, en twee jaar later werd het veroverd door de graaf van Mansfeld.
Nog decennialang bleven bendes rovende en plunderende soldaten en huurlingen die geen soldij ontvingen, het land onveilig maken met strooptochten
en brandstichtingen. In 1603 bezetten duizenden muitende Spaanse soldaten gedurende negen maanden het kasteel en de Vrijheid.
Het water van de Mark werd opgehouden zodat de watermolens stilvielen en de weilanden overstroomden, akkers werden omgewoeld en loopgrachten aangelegd;
er werden massaal bomen uit bossen en dreven gekapt en gebruikt als wegversperring. Het kasteel werd eens te meer belegerd, maar dank zij de steun
van het leger van Prins Maurits van Nassau, hielden de muiters stand. Hiermee werd eens te meer het bewijs geleverd dat het Gelmelslot
een geduchte vesting was in die dagen. Het grondoppervlak heeft immers de vorm van een pentagram, en op elke hoek stond een vierkante toren,
waarop geschut kon worden geplaatst. Door een brede gracht, gevuld met water uit de Mark, was het beschermd, en de buitengebouwen hadden nog muren met kantelen,
en lagen eveneens achter brede grachten. Ruim 30.000 soldaten stonden toen tegenover elkaar, na afloop van het mislukt beleg en de terugtrekking van de troepen,
was het landschap grondig veranderd. Het kasteel had zwaar geleden, maar stond nog overeind, in het dorp lagen 45 huizen in de as.
De pest brak uit en gedurende enige tijd was de ontreddering nagenoeg totaal.
Maar eens de ravage goed en wel overzien, ging men noodgedwongen opnieuw over tot de heropbouw.
In de dreef van het kasteel naar de kerk waren,
tot groot ongenoegen van de graaf en de bevolking, de reuzeneiken gekapt tijdens de krijgsverrichtingen, nu werden aan weerszijden jonge linden aangeplant,
en tot op heden spreekt men van de Lindendreef. De loopgrachten werden gedempt, de akkers opnieuw geploegd en bezaaid, moeizaam hernam het leven in
de Noorderkempen zijn normale gang.
Men kwam overeen het kasteel tot neutraal terrein te verklaren, en om te verhinderen dat het nog van groot strategisch belang zou zijn, dienden
de versterkingen ervan te worden gesloopt.
Het kasteel bleef in handen van de familie de Lalaing, die er meer niet, dan wel verbleef. Het verkommerde dan ook zienderogen en de graven hadden
te veel schulden om het echt te kunnen restaureren. Een en ander bleef dan ook beperkt tot het laten uitvoeren van onderhoudswerkzaamheden.
In 1621 eindigde het Twaalfjarig Bestand en was men bang voor het opflakkeren van het oorlogsgeweld, maar door bemiddeling van de drossaard
tussen Spanje en de Nederlanden, bleef het Land van Hoogstraten neutraal en voorlopig gespaard van nog meer rampspoed.
De streek en de bevolking hadden het gedurende tientallen jaren zwaar te verduren gehad, en in laatste instantie richtte men zijn hoop op God.
Het religieuze leven kende een nooit geziene bloei. Op het Begijnhof verbleven 160 begijntjes, er kwamen Minderbroeders,
een Engels klooster werd gebouwd en de Capucijnen breidden hun orde verder uit in Meersel-Dreef.
In 1652 kwam vanuit het Nederlandse Boxtel de relikwie van het Heilig Bloed naar Hoogstraten, waardoor de stad een bedevaartsoord werd.
Tot op heden gaat twee keer per jaar de Heilig Bloedprocessie uit. Meer dan drie eeuwen lang was deze processie één van de belangrijkste,
feestelijke activiteiten waar de bevolking maanden naar toe leefde, en die door vele godvruchtige mensen in grote getale werd bezocht.
Met de Vrede van Munster in 1648 was er definitief een einde gekomen aan de Tachtigjarige Oorlog.
Spanje erkende de onafhankelijkheid van de Republiek der Verenigde Nederlanden in het Noorden, maar behield zelf de Zuidelijke Nederlanden.
De grens hier werd gevormd door de noordergrens van het graafschap Hoogstraten, het Hertogdom Brabant werd in twee gesplitst waardoor de handelsbetrekkingen
met het Noorden en de economische opbloei in aanzienlijke mate werden belemmerd.
De bevolking herademde echter, voor het eerst in tijden kon men van een zekere voorspoed gewagen.
De betrekkingen met de naaste buren in het Noorden waren meer dan goed, zelfs vriendschappelijk te noemen.
De burgers en boeren gingen naar elkaars markten en kermissen, de adel frequenteerde elkaar tijdens feesten en partijen op hun respectieve kastelen.
In 1657 huwde de laatste telg uit het geslacht de Lalaing, gravin Maria Gabriëla (+1709), de gouverneur van het kasteel van Breda,
de jeugdige jonker en Wild- en Rijngraaf, Carolus-Florentinus van Salm.
Dit betekende het einde van de de Lalaing-dynastie, en het begin van een nieuw vorstenhuis.
