Am Südwestende des Dijver liegt links der ehemalige Palast der "Heren van Gruuthuse", eine Gebäudegruppe aus dem 15. Jh., die 1471 dem vertriebenen König Eduard IV. von England als Zuflucht diente. Die "Heren" waren zunächst kein Adelsgeschlecht, sondern Kaufleute, die das Gruutrecht besaßen, das Monopol auf den Handel mit getrockneten Blüten und Kräutern, die vor Einführung des Hopfens zum Würzen des Biers verwendet wurde. Über der Eingangstür wacht die Statue von Luis de Gruuthuse der damals eine wichtige Position innehatte. Er war Ratgeber von Philip dem guten und Karl dem Kühnen. Man erreicht den Hof auch vom Groenige Museum aus durch den Arentspark und über die romantische Bonifatiusburg (Büste des spanischen Humanisten Luis de Vives).
Museum zeigt in 22 Sälen eine reiche Sammlung von Altertümern und Kunstgewerbe, von denen besonders die Spitzensammlung und Steinarbeiten, Wandteppiche und Waffen hervorzuheben sind. Zu den im Original eingerichteten Räumen gehören auch die alte Küche und die Apotheke.