Die Geschichte Rethymnos ist eng mit den aufeinanderfolgenden Befestigungsanlagen verbunden, die die Stadt schützten – vom byzantinischen Castell Vecchio und den venezianischen Stadtmauern bis zur mächtigen Fortezza. Das Gebiet des heutigen Rethymno war bereits in der spätminoischen Zeit besiedelt. Später entwickelte sich hier die antike Stadt Rhithymna. Während der byzantinischen Epoche verkleinerte sich die Siedlung und wurde rund um den Paleokastro-Hügel befestigt. Diese frühe Verteidigungsanlage war den Venezianern später als Castell Vecchio, das Alte Kastell, bekannt. Nach der Errichtung der venezianischen Herrschaft gewann Rethymno aufgrund seiner Lage zwischen Chania und Heraklion erheblich an Bedeutung. Die Venezianer bauten die kleine Bucht von Mandraki östlich des heutigen Fortezza-Hügels zu einem Hafen für Handelsschiffe und Galeeren aus, die entlang der Nordküste Kretas verkehrten. Rund um diesen Hafen entwickelte sich allmählich die neue Stadt. Rethymno wurde zum Verwaltungszentrum der umliegenden Region und zum Sitz des venezianischen Rektors. Gleichzeitig entstand eine lebendige griechische Stadtgesellschaft, zu der auch Familien der alten byzantinischen Aristokratie gehörten, die als Archontoromaioi bezeichnet wurden. Nach der Volkszählung von 1583 war die griechische Bevölkerung deutlich größer als die venezianische Gemeinschaft. Die älteren mittelalterlichen Befestigungen, die bereits zu Beginn des 14. Jahrhunderts erwähnt werden, waren durch Erdbeben beschädigt worden und konnten die wachsende Stadt nicht mehr ausreichend schützen. Der Angriff des Korsaren Hayreddin Barbarossa im Jahr 1538 machte die Notwendigkeit eines neuen Verteidigungsrings noch deutlicher. Im Jahr 1540 beschlossen die venezianischen Behörden, die Stadt mit neuen Mauern an der Landseite zu umgeben. Ihre Gestaltung folgte den Prinzipien der Renaissancefestungsarchitektur, die mit dem Werk des bedeutenden Veroneser Militärarchitekten Michele Sanmicheli verbunden waren. Die Bauarbeiten dauerten etwa drei Jahrzehnte und wurden um 1570 abgeschlossen. Die ungefähr zwölf venezianische Fuß starke Landmauer begann am östlichen Sandstrand bei der Sabionera- oder Santa-Barbara-Bastion und verlief nach Westen bis zum Fuß des Paleokastro-Hügels. Vor der Mauer erstreckte sich ein tiefer Verteidigungsgraben. Die zur See gerichtete Seite der Stadt blieb dagegen weitgehend unbefestigt. Der Mauerring besaß drei wichtige Zugänge. Der bedeutendste war das Guora-Tor, auch Großes Tor genannt, das am Anfang der heutigen Ethnikis-Antistaseos-Straße erhalten ist. Im Osten befand sich das Sandtor nahe der Santa-Barbara-Bastion, während das Porta dello Squero auf der westlichen Seite gegenüber dem heutigen Stadtpark lag. Mehrere Bastionen, darunter Agia Paraskevi und Kallergis, verstärkten die Mauer. In der Nähe der Kallergis-Bastion wurde später das Agios-Athanasios-Tor geöffnet. Die größte Schwäche der Befestigung war das Fehlen einer starken Mauer an der Meerseite. Im Jahr 1571 landete der osmanische Korsar Uluç Ali mit seinen Truppen, drang mit verhältnismäßig geringem Widerstand in die Stadt ein und ließ sie niederbrennen. Die Zerstörung zeigte, dass die erst kurz zuvor fertiggestellten Mauern die Einwohner nicht ausreichend vor einem organisierten Angriff schützen konnten. Nach dem Überfall beschlossen die Venezianer, auf dem Paleokastro-Hügel eine stärkere Festung zu errichten. Der Bau der Fortezza begann 1573, und die wichtigsten Arbeiten waren um 1590 abgeschlossen. Die Festung sollte den Einwohnern während eines Angriffs als sicherer Zufluchtsort dienen. Ihre Fläche war jedoch zu klein, um die gesamte Stadt dauerhaft aufzunehmen. In den folgenden Jahrhunderten wurden die meisten Teile der Stadtmauer abgetragen oder in die wachsende moderne Stadt integriert. Das Guora-Tor ist heute ihr bedeutendstes erhaltenes Bauwerk, während die Fortezza weiterhin weithin sichtbar über der Altstadt von Rethymno thront.

Die Altstadt von Rethymno bewahrt eine besonders reiche Vielfalt christlicher und muslimischer Denkmäler, die von ihrer byzantinischen, venezianischen und osmanischen Geschichte zeugen. Historische Quellen verzeichnen während der venezianischen Herrschaft zwischen 23 und 46 Kirchen und Klöster, die sowohl der orthodoxen als auch der römisch-katholischen Tradition angehörten. Nur wenige davon sind heute in ihrer ursprünglichen Form erhalten, da zahlreiche Gotteshäuser umgenutzt, zerstört oder in jüngere Gebäude integriert wurden. Nach der osmanischen Eroberung wurden einige christliche Kirchen in Moscheen umgewandelt, während zugleich neue Moscheen entstanden. Zu den ältesten erhaltenen Überresten gehört die Kirche Agia Paraskevi, die restauriert und in die Räumlichkeiten des Instituts für Mittelmeerstudien der Stiftung für Forschung und Technologie Hellas integriert wurde. Ein weiteres bedeutendes Denkmal ist die Agia Sophia, die während der osmanischen Zeit als Ahmed-Pascha-Moschee bekannt war und heute als Veranstaltungsort für kulturelle Aktivitäten genutzt wird.