Region Gandawy był zamieszkany od czasów Celtów. Nazwa miasta (flamandzkie Gent) pochodzi z celtyckiego słowa 'ganda' oznaczającego miejsce zbiegu, połączenia, np. dwóch rzek.
Między XII a XV wiekiem Gandawa była jednym z największych miast poza granicami Włoch, ustępując jedynie Paryżowi.
W 1180 roku hrabia Filip van de Elzas wybudował twierdzę Gravensteen – siedzibę hrabiów Flandrii.
Gandawa w na początku XVI wieku była miastem kultury – to tu bracia van Eyck stworzyli w 1432 roku Ołtarz Baranka Mistycznego.
W XVI wieku miały w Gandawie także miejsce przemiany religijne, pod wpływem reformacji, a przede wszystkim kalwinizmu, co przyniosło reakcje w postaci inkwizycji.
Reakcją na okrucieństwa inkwizycji była w Niderlandach tzw. rewolta ikonoklastów w 1566 roku, w czasie której szczególnie ucierpiała Gandawa, prawie w każdym kościele i klasztorze doszło do zniszczeń. Na początku XVII wieku rozpoczęto odbudowę zniszczonych kościołów, klasztorów i kaplic, powstawały też nowe.Miastu przybyło około 20 nowych zakonów, m.in. Jezuitów.
W połowie XVIII wieku, pod rządami cesarzowej Marii Teresy, Gandawa zaczęła podnosić się z upadku i powracać do świetności – osiągnęła status największego miasta w Belgii.