Δεν είναι βέβαιο ότι ο αρχαίος οικισμός της Σητείας βρισκόταν ακριβώς στη θέση της σημερινής πόλης. Στην περιοχή έχουν, ωστόσο, εντοπιστεί μεσομινωικοί και υστερομινωικοί τάφοι, ειδώλια και όστρακα των Γεωμετρικών και μεταγενέστερων χρόνων, ρωμαϊκά κτίρια και παλαιοχριστιανική βασιλική. Η ύπαρξη οικισμού στην Πρωτοβυζαντινή, την Αραβική, τη Β΄ Βυζαντινή και την Ενετική Περίοδο θεωρείται βέβαιη.

Ο βυζαντινός οικισμός περιβαλλόταν από τείχη και αποτελούσε ένα οργανωμένο κάστρο. Ενετικοί χάρτες αποτυπώνουν την οχύρωση, μικρά τμήματα της οποίας έχουν εντοπιστεί κατά καιρούς. Ο περίβολος είχε περίπου τριγωνικό σχήμα, με βάση προς τη θάλασσα. Ξεκινούσε από την περιοχή των ρωμαϊκών ιχθυοδεξαμενών, λίγο πέρα από το σημερινό τελωνείο, και ανέβαινε προς την Καζάρμα, όπου συναντιούνταν οι δύο πλευρές του.

Η Καζάρμα, ονομασία που προέρχεται από το ενετικό Casa di Arma, ήταν ο στρατώνας της φρουράς και το διοικητήριο της μεσαιωνικής πόλης. Δεν αποτελούσε ολόκληρο το κάστρο, αλλά ένα από τα σημαντικότερα κτίρια του οχυρωματικού συγκροτήματος. Στις αρχές του 13ου αιώνα ο Γενουάτης Ερρίκος Πεσκατόρε επισκεύασε ή ενίσχυσε τις οχυρώσεις, ενώ εκτεταμένες εργασίες πραγματοποιήθηκαν αργότερα και από τους Ενετούς.

Μετά τον καταστροφικό σεισμό του 1508 τα τείχη επισκευάστηκαν, αλλά υπέστησαν νέες σοβαρές ζημιές κατά την επιδρομή του Χαϊρεντίν Μπαρμπαρόσα το 1538. Οι Ενετοί αξιωματούχοι Παραβιτσίνι και Σαβοργάν πρότειναν την κατεδάφισή τους, αλλά οι κάτοικοι συγκέντρωσαν 1.500 δουκάτα για την επισκευή του οχυρωματικού συστήματος. Αργότερα προτάθηκε ξανά η κατεδάφιση των τειχών, η οποία αποτράπηκε ύστερα από την αντίδραση των Βάιλων της Σητείας, Μπέμπο και Γκόνγκαρα.

Το 1626 η Σητεία χαρακτηριζόταν ουσιαστικά ανοχύρωτη. Σε έκθεσή του το 1630, ο στρατιωτικός μηχανικός Francesco Basilicata επισήμανε ότι η θέση της πόλης ήταν δύσκολο να οχυρωθεί αποτελεσματικά. Παρ’ όλα αυτά, κρίθηκε αναγκαία η προστασία της, καθώς η μεταφορά ολόκληρου του οικισμού ήταν αδύνατη. Στάλθηκαν μηχανικοί και χρήματα και άρχισε η κατεδάφιση τμημάτων των παλιών τειχών, με σκοπό να αντικατασταθούν από ισχυρότερες οχυρώσεις.

Τα έργα δεν ολοκληρώθηκαν πριν από την οθωμανική προέλαση στην Κρήτη. Οι κάτοικοι απομακρύνθηκαν και πολλοί μεταφέρθηκαν στο Μεγάλο Κάστρο, το σημερινό Ηράκλειο. Μια μικρή φρουρά παρέμεινε στη Σητεία έως το 1651, οπότε οι Ενετοί εγκατέλειψαν οριστικά την πόλη και κατέστρεψαν μεγάλο μέρος των οχυρώσεων.

Τα τείχη δεν ξανακτίστηκαν και η Σητεία παρέμεινε ουσιαστικά εγκαταλειμμένη για περισσότερο από δύο αιώνες. Η νέα πόλη ιδρύθηκε το 1869, σύμφωνα με το πολεοδομικό σχέδιο του Αβνή Πασά, και ονομάστηκε επίσημα Αβνιέ, χωρίς όμως η ονομασία αυτή να επικρατήσει μεταξύ των Ελλήνων κατοίκων. Σήμερα τα τείχη δεν είναι ορατά και η Καζάρμα αποτελεί το σημαντικότερο σωζόμενο μνημείο της οχυρωμένης μεσαιωνικής Σητείας.