اسکندر مقدونی در سال۳۳۲ قبل از میلاد شهر را محاصره و تصرف کرد. اکثر ساکنان شهر در جریان این حمله کشته شدند. این منطقه طی دو سده بین دو پادشاهی جانشین یونانی، سلوکیان سوریه و بطلمیوس مصر، دست به دست می‌شد تا اینکه در سال۹۶ قبل از میلاد توسط هاسمونیان محاصره و تصرف شد.
غزه توسط ژنرال رومی، پومپی مگنوس، بازسازی و ۳۰سال بعد به هرود کبیر اعطا شد. در طول دوره روم، غزه رونق خود را حفظ کرد و چندین امپراتور به آن کمک مالی می‌کردند. طی قرون اولیه میلادی این شهر دارای جمعیت متنوعی از یونانی‌ها، رومی‌ها، یهودیان، مصری‌ها، ایرانی‌ها و نبطی‌ها بود تا اینکه در سال۶۳۷ پس از میلاد توسط لشکری به فرماندهی عمرو بن العاص فتح شد و اکثر مردم غزه در دوران حکومت اولیه مسلمانان، اسلام را پذیرفتند. پس از آن، این شهر دوره‌های رونق و افول را پشت سر گذاشت.
صلیبیان در سال۱۱۰۰ کنترل غزه را از دست فاطمیان خارج کردند؛ اما صلاح‌الدین ایوبی آنها را بیرون راند. غزه در اواخر قرن سیزدهم به مرکز استانی تبدیل شد که از شبه جزیره سینا تا قیصریه امتداد داشت.
در سال‌های ۱۹۰۳ و ۱۹۱۴ زلزله‌های مهیب و ویرانگری در غزه رخ داد. در سال۱۹۱۷، در طول جنگ جهانی اول، نیروهای بریتانیایی شهر را تصرف کردند. جمعیت غزه در نتیجه مهاجرت فلسطینیان در طول جنگ اعراب و اسرائیل در سال۱۹۴۸ افزایش یافت.
غزه تا زمانی که در جنگ شش‌روزه ۱۹۶۷ توسط اسرائیل اشغال شد، تحت حاکمیت مصر بود. این شهر در جریان انتفاضه اول به مرکز فعالیت‌های سیاسی تبدیل شد و بر اساس پیمان اسلو در سال۱۹۹۳، تحت کنترل مستقیم تشکیلات خودگردان تازه تاسیس فلسطین قرار گرفت. اسرائیل در سال۲۰۰۵ به‌طور یک‌جانبه از غزه خارج شد. تا سال۲۰۰۷، حماس هم به‌عنوان پیروز در انتخابات فلسطین و هم در نبردهای جناحی با رقیب فتح در این شهر و در پهنه نوار غزه ظاهر شد و از آن زمان تنها مرجع حکومتی بوده است.
