Die Familie von Walderdorff ist in Bensheim etwa ab 1300 nachweisbar. Im Jahre 1321 besaßen die Junker von Walderdorff das Recht, verschiedene Altar-Benefizien in Bensheim zu verwalten. Zweihundertfünfzig Jahre später waren Angehörige dieser Familie als Vermögensverwalter des Bensheimer Heilig- Geist- Hospitals tätig.

Den alten Urkundenbänden im städtischen Archiv ist es zu entnehmen, daß der Walderdorffer Hof ursprünglich ein Bürgerhaus war, das von seinem Besitzer Paul Guttes um 1580 an den Herrn von Walderdorff verkauft wurde. Rund 50 Jahre später um 1630 gehörte der Hof zum Besitz der Herren von Gemmingen. Etwa 1710 ist das Haus Eigentum der Herren von Überbruck und Rodenstein, die es schließlich wieder an Bensheimer Bürger verkauften.
Im Laufe der Jahrhunderte wurde das Haus mehrfach verändert. So wurde der ehemals offene Laubengang im Obergeschoß geschlossen und der hallenartige Saal im Erdgeschoß durch eine Zwischendecke in der Höhe verkürzt. Fast jede Generation änderte irgend etwas, entsprechend ihren jeweiligen Bedürfnissen und dem Zeitgeist. Und nicht immer gerieten diese Änderungen dem Walderdorffer Hof zum Vorteil.

1964 gelangte der Hof in den Besitz der Stadt Bensheim.

1975 konnte das Gebäude, buchstäblich in letzter Minute saniert und vor dem Abbruch gerettet werden. Bereits im Jahre 1965 hatten zwei Mitglieder der Heimatvereinigung „Oald Bensem“, Werner Fillauer und Wilhelm Weyrauch Möglichkeiten gesucht den Walderdorffer Hof zu erhalten. Mit einer Bürgerversammlung von „Oald Bensem“ sowie der Einladung des damaligen Landesdenkmalpflegers Prof. Gottfried Kiesow leisteten beide wichtige Beiträge zur Meinungsbildung und trugen damit ein maßgebendes Scherflein zur Rettung des Gebäudes bei. 1977 konnte die Sanierung erfolgreich abgeschlossen werden. Seit diesem Zeitpunkt beherbergt das ehrwürdige Gebäude eine Weinstube und die Vereinsräume der Heimatvereinigung „Oald Bensem“. Mit großem finanziellem Aufwand und unter der Mithilfe der Stadt Bensheim konnte die Heimatvereinigung zwischenzeitlich dieses wunderschöne Fachwerkhaus erwerben.

2015 - im Jubiläumsjahr "85 Jahre Oald Bensem" - wurde der Innenhof des Walderdorffschen Hofes neu gestaltet. Nun kann der Gast unter großen Bäumen und unmittelbar an der alten Stadtmauer im neu gepflasterten Garten sitzen und Südhessens ältestes Fachwerkhaus bei einem guten Glas Bergsträßer Wein genießen.