Der Legende zufolge beginnt die Geschichte Beromünsters im 10. Jahrhundert. Damals habe Graf Bero eine Stiftskirche errichtet und zwar an jener Stelle, wo sein Sohn auf der Jagd von einem Bären getötet worden sei. Hingegen historisch gesichert ist, dass Graf Ulrich «der Reiche» von Lenzburg 1034 eine Basilika bauen liess, die zwei Jahre später erstmals in einer Schenkungsurkunde Erwähnung findet. König Heinrich III. erhob 1045 Beromünster zum Reichsstift.
Nach der Eroberung des Aargaus durch die Eidgenossen 1415 ging das Stift an die Luzerner. In der Folge wurden die mehrheitlich adeligen Chorherren zunehmend durch Söhne Luzerner Patrizierfamilien abgelöst. Diese brachten den vornehmen Lebensstil ihrer Familien, aber auch Kunstverständnis und die nötige Finanzkraft nach Beromünster und liessen herrschaftliche Wohnhäuser um die Kirche errichten. Für deren Bau und Unterhalt beschäftigten sie zahlreiche Künstler und Handwerker, die sich unterhalb des Stiftbezirks in der wachsenden Dorfsiedlung niederliessen.
Das Stift mit seiner bis ins Mittelalter zurückreichenden Schule wurde neben St. Urban das bedeutendste Kulturzentrum auf der Luzerner Landschaft mit einer grossen Ausstrahlung in die nähere und weitere Umgebung. Zahlreiche Persönlichkeiten, die die Schweiz verändern sollten, wirkten hier. Darunter befinden sich beispielsweise Chorherr Helias Helye (1400–1475), der in in Beromünster 1470 das erste datierte Buch der Schweiz druckte oder Chorherr Heinrich von Gundelfingen (1440/50–1490), der ein Wegbereiter des Humanismus war.
In der Nacht vom 12. auf den 13. März 1764 brach Feuer im Flecken Beromünster aus. Der verheerende Brand konnte nicht eingedämmt werden und breitete sich über alle Häuser aus. 92 Gebäude brannten nieder. Glücklicherweise konnten die rund 370 Bewohner gerettet werden und es gab keine Tote zu beklagen. Oberhalb des Fleckens waren nur die herrschaftlichen Stiftsgebäude und der «Hirschen» unversehrt geblieben, am unteren Ende der Spittel und das Zollhaus. Dazwischen stand nichts mehr.
Anstelle der abgebrannten Häuser wurden zwischen 1764 bis 1769 insgesamt 46 breitere und feuersichere Neubauten errichtet. Darunter befand sich auch das Haus zum Dolder, das Ammann Johann Kopp erbauen liess. Während hundert Jahren wurde darin eine Pintenwirtschaft geführt. Im Gewölbekeller des Erdgeschosses waren die grossen Weinfässer gelagert.
1866 kam das Haus in den Besitz des Ochsenwirts Jost Dolder-Galliker. Dessen Sohn Josef eröffnete hier ein Jahr später eine Arztpraxis, die in zweiter Generation von seinem Schwiegersohn, Dr. Edmund Müller-Dolder, weitergeführt wurde. Als dritter Arzt wirkte Dr. Edmund Müller jun. von 1930 bis zu seinem Tod 1976 im Haus zum Dolder.
Edmund Müller jun. hatte keine Nachkommen. Damit aber die wertvolle Sammlung seiner Familie in Beromünster erhalten bleibe, errichtete er sieben Jahre vor seinem Tod eine Stiftung. Als Anerkennung dafür erhielt er 1970 den Kulturpreis der Innerschweiz. Am Auffahrtstag 1976 starb Edmund Müller, genau zum Zeitpunkt, als die berittene Prozession in den Flecken einzog.
