Η πόλη αποτελεί τον αρχαιότερο οικισμό της Χαλκιδικής. Ονομαζόταν Σερμύλια στην αρχαιότητα και κατά το Μεσαίωνα Ερμύλια. Η περιοχή κατοικήθηκε από τα προϊστορικά χρόνια. Η αρχαία Σερμύλη βρισκόταν στη θέση της περιοχής που λέγεται σήμερα Πλατιά Τούμπα. Επίσης, στην περιοχή βρισκόταν και η αρχαία Καλλίπολη (σήμερα αρχαιολογικός χώρος). Τα τελευταία χρόνια ανακαλύφθηκε στην περιοχή νόμισμα, το οποίο χρονολογείται από το 500 π.Χ. περίπου.Η περιοχή ήταν Μετόχι της Μονής Δοχειαρίου και από αυτήν την εποχή σώζεται ο ανεμόμυλος, που αποτελεί αξιοθέατο. Ο ναός του Αγίου Γεωργίου χρονολογείται από το 1818. Κατά την περίοδο της Τουρκοκρατίας, η Ορμύλια ήταν ο χώρος όπου αποβιβάστηκε ένοπλο σώμα απαρτιζόμενο από πρόσφυγες Μακεδόνες, το 1854, που είχε οριστεί από τον Όθωνα για να προκαλέσει γενικό ξεσηκωμό. Ωστόσο, η εξέγερση αυτή συντρίφθηκε από τους Τούρκους. Επίσης, στον ίδιο τόπο αποβιβάτηκαν οι επικεφαλής της κρητικής εξέγερσης (1866-1869), Λεωνίδας Βούλγαρης και Καπετάν Γεωργάκης ο Μαδεμοχωριανός, η οποία επίσης απέτυχε και κατεστάλη από τους Τούρκους πριν καλά καλά ξεκινήσει. [2]. Στο κτήριο του Δημαρχείου στεγαζόταν παλιά το Δημοτικό Σχολείο, που είχε οικοδομηθεί το 1909, με αυτοκρατορικό μονόγραμμα του Σουλτάνου Αμπντούλ Χαμίτ, με χρονολογία 1907.