Zur Römerzeit lag die Stadt an einem wichtigen Handelsweg.
Im 9. Jahrhundert entwickelte sich um das Benediktinerkloster "Monasterium Mosabach" reges Leben und bald gewann die Siedlung als Markt-, Münz- und Gerichtsstätte an großer Bedeutung.
Die Vergangenheit nachvollziehen kann man bei einem Bummel durch die historische Altstadt mit ihren Fachwerkhäusern aus dem 15. und 16. Jh. und dem Rathaus (Renaissance 1554 - 58). Das Palm’sche Haus (1610) gilt als eines der schönsten Fachwerkhäuser Deutschlands. Manche Schnitzwerke besitzen „magische“ Bedeutung. Die Stiftskirche (1390 - 1410 Spätgotik) ist seit 1708 eine Simultankirche, da sich Katholiken und Reformierte im Zuge der Glaubensspaltung durch die Reformation nicht über eine gemeinsame Nutzung einigen konnten.
Gegenüber des Rathauses liegt das ehemalige Salzhaus von 1450, das vom Bemühen Kurfürst Carl Theodor zeugt, mit dem Ausbau der Mosbacher Salzquellen wirtschaftlichen Aufschwung in das damalige Handwerksstädtchen zu bringen. Sehenswert sind auch das Alte Hospital (15. Jh.) und das Schloss des Pfalzgrafen Otto I., einmalig auch die Fayencen im Stadtmuseum.
Eine Besonderheit des Ortes ist die Gutleutanlage, bestehend aus Gutleuthaus, Elendshaus und der Gutleutkapelle. Die spätgotische Kapelle aus dem 15. Jahrhundert ist mit ihren zahlreichen und bemerkenswerten Wand- und Deckenmalereien ein ganz besonderes Kleinod. Heute wird die Kapelle auch gerne für Konzerte genutzt. Kulturgeschichte schrieb auch das Tempelhaus (1188) im Ortsteil Neckarelz. Entlang des „Historischen Rundweges“ im Ortsteil Lohrbach gelangt man zu dem idyllischen Wasserschloss, erbaut um 765.
Die ehemalige freie Reichsstadt mit ihrer über 1.200jähriger Geschichte ist heute wirtschaftliches und kulturelles Mittelzentrum des Neckar-Odenwald-Kreises. Die alte Stadt ist um die Stadtteile Neckarelz, Diedesheim, Reichenbuch, Lohrbach, und Sattelbach auf ca. 24.000 Einwohner angewachsen und ideal mit dem öffentlichen Nah- und Schienenverkehr sowie auf zahlreichen Radwanderwegen zu erreichen.