We zien het Stadskasteel, dat Maarten van Rossum rond 1535 liet bouwen. Maarten was veldheer van beroep, sommige bronnen spreken van roofridder. Enfin, zijn baan heeft hem geen windeieren gelegd en het leverde hem veel rijkdom op. De hertog van Gelre gaf hem in 1534 het kasteel van Bredevoort in leen met aanwezigheidsplicht. Dat betekende dat hij er moest wonen. Omdat Maarten ook bezittingen had in de Bommelerwaard, benoemde hij voor kasteel Poederoijen dat hij ook in bezit had, een rentmeester. Maar doordat het zo dichtbij het vijandelijke Brabant lag, werd het van Rossum toch te heet onder de voeten. Voor zijn bezittingen en het beheer van zijn inkomsten liet hij voor de rentmeester dit huis in Bommel bouwen, veilig binnen de stadsmuren, vlakbij het stadspaleis van zijn broer Johan.