Η ιστορία του Ρεθύμνου είναι άρρηκτα συνδεδεμένη με τις διαδοχικές οχυρώσεις που προστάτευσαν την πόλη, από το βυζαντινό Castell Vecchio και τα ενετικά τείχη έως το επιβλητικό φρούριο της Φορτέτζας. Η περιοχή του σημερινού Ρεθύμνου κατοικούνταν ήδη από την Υστερομινωική Περίοδο, ενώ κατά την αρχαιότητα εδώ αναπτύχθηκε η πόλη της Ρίθυμνας. Κατά τη Βυζαντινή Περίοδο ο οικισμός περιορίστηκε και οχυρώθηκε γύρω από τον λόφο του Παλαιοκάστρου. Η πρώτη αυτή οχύρωση έγινε αργότερα γνωστή στους Ενετούς ως Castell Vecchio, δηλαδή Παλαιό Κάστρο. Μετά την εγκαθίδρυση της ενετικής κυριαρχίας, το Ρέθυμνο απέκτησε ιδιαίτερη σημασία λόγω της θέσης του ανάμεσα στα Χανιά και στο Ηράκλειο. Οι Ενετοί διαμόρφωσαν τον μικρό όρμο Μανδράκι, ανατολικά του λόφου όπου βρίσκεται σήμερα η Φορτέτζα, δημιουργώντας ένα λιμάνι για τα εμπορικά και στρατιωτικά πλοία που κινούνταν κατά μήκος της βόρειας ακτής της Κρήτης. Γύρω από το λιμάνι αναπτύχθηκε σταδιακά η νέα πόλη. Το Ρέθυμνο έγινε διοικητικό κέντρο του ομώνυμου διαμερίσματος και έδρα του Ενετού ρέκτορα. Παράλληλα αναπτύχθηκε μια δραστήρια ελληνική αστική τάξη, στην οποία συμμετείχαν και οι λεγόμενοι Αρχοντορωμαίοι, οικογένειες της παλαιάς βυζαντινής αριστοκρατίας. Σύμφωνα με την απογραφή του 1583, ο ελληνικός πληθυσμός υπερτερούσε σημαντικά του βενετικού στοιχείου. Οι πρώτες μεσαιωνικές οχυρώσεις, που αναφέρονται ήδη από τις αρχές του 14ου αιώνα, είχαν υποστεί ζημιές από σεισμούς και δεν μπορούσαν να προστατεύσουν τη συνεχώς επεκτεινόμενη πόλη. Η επιδρομή του Χαϊρεντίν Μπαρμπαρόσα το 1538 κατέδειξε ακόμη περισσότερο την ανάγκη κατασκευής ενός νέου αμυντικού περιβόλου. Το 1540 οι ενετικές αρχές αποφάσισαν να περιβάλουν την πόλη με νέα χερσαία τείχη. Ο σχεδιασμός τους ακολούθησε τις αρχές της αναγεννησιακής οχυρωματικής, που συνδέονται με το έργο του σπουδαίου Βερονέζου στρατιωτικού αρχιτέκτονα Michele Sanmicheli. Τα έργα συνεχίστηκαν για περίπου τρεις δεκαετίες και ο νέος περίβολος ολοκληρώθηκε γύρω στο 1570. Το χερσαίο τείχος, πάχους περίπου δώδεκα ενετικών ποδιών, ξεκινούσε από την ανατολική αμμώδη παραλία, κοντά στον προμαχώνα Sabionera ή Αγίας Βαρβάρας, και κατευθυνόταν προς τα δυτικά έως τους πρόποδες του λόφου του Παλαιοκάστρου. Μπροστά του εκτεινόταν βαθιά αμυντική τάφρος, ενώ η πλευρά της πόλης προς τη θάλασσα παρέμενε ουσιαστικά ανοχύρωτη. Ο περίβολος διέθετε τρεις βασικές εισόδους. Η σημαντικότερη ήταν η Πύλη Guora ή Μεγάλη Πόρτα, η οποία σώζεται στην αρχή της σημερινής οδού Εθνικής Αντιστάσεως. Στα ανατολικά βρισκόταν η Πύλη της Άμμου, κοντά στον προμαχώνα της Αγίας Βαρβάρας, ενώ στα δυτικά υπήρχε η Porta dello Squero, απέναντι από τον σημερινό Δημοτικό Κήπο. Το τείχος ενισχυόταν επίσης από προμαχώνες, ανάμεσα στους οποίους εκείνοι της Αγίας Παρασκευής και του Καλλέργη. Κοντά στον τελευταίο ανοίχθηκε αργότερα η Πύλη του Αγίου Αθανασίου. Η μεγάλη αδυναμία της οχύρωσης ήταν η απουσία ισχυρού τείχους προς τη θάλασσα. Το 1571 ο Οθωμανός κουρσάρος Ουλούτζ Αλής αποβιβάστηκε με τις δυνάμεις του, εισέβαλε σχετικά εύκολα στην πόλη και την πυρπόλησε. Η καταστροφή απέδειξε ότι τα νέα τείχη δεν επαρκούσαν για την προστασία των κατοίκων από μια οργανωμένη επίθεση. Μετά την επιδρομή αποφασίστηκε η κατασκευή ενός ισχυρότερου φρουρίου στον λόφο του Παλαιοκάστρου. Η Φορτέτζα θεμελιώθηκε το 1573 και τα κύρια έργα ολοκληρώθηκαν έως το 1590. Αρχικός στόχος ήταν να αποτελέσει ασφαλές καταφύγιο για τον πληθυσμό σε περίπτωση νέας πολιορκίας, ωστόσο η περιορισμένη της έκταση δεν επέτρεπε τη μόνιμη εγκατάσταση ολόκληρης της πόλης. Με την πάροδο των αιώνων τα περισσότερα τμήματα του χερσαίου τείχους κατεδαφίστηκαν ή ενσωματώθηκαν στη νεότερη πόλη. Η Πύλη Guora αποτελεί σήμερα το σημαντικότερο σωζόμενο κατάλοιπό του, ενώ η Φορτέτζα εξακολουθεί να δεσπόζει πάνω από την Παλιά Πόλη του Ρεθύμνου.

Η Παλιά Πόλη του Ρεθύμνου διατηρεί ένα ιδιαίτερα πλούσιο σύνολο χριστιανικών και μουσουλμανικών μνημείων, τα οποία αποτυπώνουν τη βυζαντινή, την ενετική και την οθωμανική ιστορία της. Οι πηγές καταγράφουν κατά την Ενετοκρατία από 23 έως 46 εκκλησίες και μονές, ορθόδοξες και λατινικές. Ελάχιστες διατηρούνται σήμερα στην αρχική τους μορφή, καθώς αρκετές άλλαξαν χρήση, καταστράφηκαν ή ενσωματώθηκαν σε νεότερα κτίρια. Μετά την οθωμανική κατάκτηση, ορισμένοι χριστιανικοί ναοί μετατράπηκαν σε τεμένη, ενώ ιδρύθηκαν και νέα τζαμιά, διαμορφώνοντας το πολυπολιτισμικό θρησκευτικό τοπίο της πόλης. Ανάμεσα στα παλαιότερα σωζόμενα κατάλοιπα συγκαταλέγεται ο ναός της Αγίας Παρασκευής, ο οποίος έχει αποκατασταθεί και ενσωματωθεί στις εγκαταστάσεις του Ινστιτούτου Μεσογειακών Σπουδών του Ιδρύματος Τεχνολογίας και Έρευνας. Σημαντικό μνημείο είναι επίσης η Αγία Σοφία, γνωστή κατά την Οθωμανική Περίοδο ως Τζαμί Αχμέτ Πασά, η οποία χρησιμοποιείται ως χώρος πολιτιστικών εκδηλώσεων.