Tarihte Cisthna, Taliani ve Kydonia olarak adlandırılmış çok eski bir yerleşim merkezi olan Ayvalık’a ilk yerleşenler, Misyalılar’ dır. Yunan adalarından göçen milletler, Edremit Körfezi’ndeki adalarda koloniler kurmuşlardır. Ayvalık ve çevresi İ.Ö. 330-30 yılları arasında Makedonyalıların, M.Ö. 30 - M.S. 395 arası Romalıların, M.S. 395 – 1453 arasında Bizanslıların hâkimiyetinde kalmış. Ayvalık’ın bilinen tarihi 1623 yılına kadar uzanır.

Korsanların sürekli saldırısı karşısında civardaki adalarda yaşayanlar önce Kabakum’ a, sonra Eğribucak’ a yerleşmişler ve korsan saldırıları devam edince bu kez Küçükköy’ e, oradan da bir göl görünümündeki Ayvalık’ a geçmişler. Fatih Sultan Mehmet’in Midilli’yi almasıyla bölgede korsanlık sona ermiş, deniz güvenliği sağlanmış ve civar adalarda yaşayan halk, Ayvalık ve Cunda adasına yerleşmiş. Daha önceleri balıkçılıkla geçinen halk, sanayi ve deniz ticaretini geliştirerek Ayvalık’ ı bir kent haline getirmiştir.  Rumlar ve Türkler uzun zaman iç içe yaşamışlardır.

Şu an toprak üzerinde herhangi bir kalıntıya rastlamamamıza rağmen, yüzeyde yer yer Helenistik ve Roma devrine ait çanak ve çömlek parçacıkları görülmektedir.  Kentte yaşayan Rum ahalinin 1821 yılında Yunan ayaklanmasına katılması sonucu ilçenin büyük bir kısmı boşaltılmış, daha sonra dönmelerine izin verilmekle beraber kent eski canlılığına kavuşamamış. 29 Mayıs 1919 Yunan kuvvetleri tarafından İngilizlerin desteği ile işgal edilmiştir. Ulusal Kurtuluş savaşımızın Ayvalık Cephesini kuran 172. Alay Komutanı Yarbay Ali Bey tarafından işgalci güçlere ilk kurşun sıkılmıştır. Kurtuluş Savaşı’nın en büyük zaferlerinden biri olan Büyük Taarruz’un ardından, 15 Eylül 1922’de askeri birlikler Ayvalık’a girmiş ve Yunan işgali son bulmuştur.

İlçemiz, 19 ve 20 yüzyılın başlarında en parlak dönemini yaşamış. O günlerden zamanımıza neo-klasik mimarinin ender örneklerinden kentsel bir doku oluşmuştur. Bu doku içinde yükselen kiliseler ise göze çarpmakta. Kentin yerleşim düzeni amfi tiyatro şeklinde olup dar cadde ve sokaklar ve birbirine bitişik evler görülmeye değer.