Het prachtige pand op Kerkplein 16 is een restant van het stadspaleis van Johan van Rossum, broer van ridder Maarten van Rossum die het Stadskasteel aan de Nonnenstraat liet bouwen. Johan liet dit huis bouwen als zijn stadswoning in Bommel. Het is een van de opvallendste gebouwen aan het Kerkplein en getuigt van de rijkdom en macht van de familie Van Rossum in de zestiende eeuw.