Walraven van Valkenburg bouwde rond 1360 een kasteel(stein) aan de oevers van de Maas zodat hij tol kon heffen op de scheepvaart. Mede door de grachten rond het kasteel en zijn voorburcht wist men in 1364 een belegering door de Hertog van Brabant te weerstaan.
Rondom het kasteel groeide een nederzetting die in 1380 stadsrecht verkreeg. Korte tijd later begon de aanleg van een gracht met aarden wallen.
De hele volgende eeuw werd waar nodig bijgebouwd en aangepast. Zo is het aannemelijk dat de Maaspoort en de Landpoort omstreeks 1485 zijn gebouwd. Ook de rondelen zijn jonger dan de middeleeuwse stadsmuur. 
Philips van Kleef verbouwt begin 16e eeuw de vesting Ravenstein naar Italiaans model. Dit om het vechtende Gelderland en Brabant uit de stad te houden. Het worden aarden wallen met kazematten. Zie het Philips van Kleef Bolwerck op de foto. De oostelijke gracht wordt verplaatst (zie blauw in de prent) waardoor uitbreiding van de stad mogelijk wordt. De Walstraat wordt bebouwd. Het huidige stratenplan wordt nog steeds bepaald door deze grachten. zie schets.
Karel V vindt de vesting een obstakel, hij beveelt in 1544 sloop van de verdedigingswerken. De grachten worden halfslachtig gedempt. Wat over bleef maakte het Staatse troepen in 1590 onmogelijk om Ravenstein te veroveren. Maar dan, in 1610 geeft de keurvorst van Brandenburg toestemming aan 
de Republiek om in Ravenstein Staatse troepen te legeren. Een vesting volgens het oud-Hollands stelsel werd aangelegd, met twee hoornwerken langs de Maas. zie ets. In 1651 doet von Neuburg een vergeefse poging om Ravenstein binnen te vallen. In het rampjaar 1672, slagen de Fransen daar wel in en eisen de volledige afbraak van de verdedegingswerken.
In 1818 beveelt de landsregering ook het slot te slopen.
Tijdens een wandeling door het stadje kunt u op meerdere plaatsen zien waar een oude stadsgracht heeft gelegen. De oudste grachtresten liggen rondom het kasteel en in de pastorietuin. De 16e-eeuwse grachten zijn in de ets aangeduid door een blauwe ovaal. Het Philips van Kleef Bolwerck uit 1509 is onmiskenbaar en verder vallen de laaggelegen delen grond langs de huidige grachten op, evenals de diepliggende tuinen aan weerszijde van de Landpoortstraat. De 17e-eeuwse grachten zijn nog goeddeels intact, zoals hier voor de stip O.
Geluidsfragment over buitenste gracht;
Aan de gracht ziet u Leerlooierijmuseum liggen.
