Когда началась Великая Отечественная война, мариупольцы вместе со всем народом встали на защиту Родины. Тысячи жителей города ушли на фронт. Предприятия перестроили производство для нужд фронта. Ильичевские металлурги выпускали броневую сталь для танков Т-34, торпедных катеров и самолетов — штурмовиков ИЛ-2. Понтонные мосты, бронеколпаки для пулеметных гнезд, бронеплощадки для дотов, противотанковые ежи изготавливали на заводе металлоконструкций. На заводе «Азовсталь» производили корпуса для авиабомб и стволы батальонных минометов. Когда линия фронта приблизилась к городу, была организована эвакуация промышленных предприятий и людей на Урал и в Сибирь. На базе эвакуированный трубных цехов завода имени Ильича, к примеру, в Челябинске в последствие создан Челябинский трубопрокатный завод — один из крупнейших в СССР.
20 июля 1941 года постановлением Государственного комитета обороны № 216/сс создана Азовская Военно-морская Флотилия.
8 октября 1941 года Мариуполь был захвачен частями 3-го танкового корпуса 1-й танковой группы вермахта (группа армий «Юг»), в результате чего началась 23-месячная оккупация города. 16 месяцев Мариуполь находился в прифронтовой зоне. Его было включено в зону управления военного командования. Оккупация города длилась почти 2 года (с 8 октября 1941 года по 10 сентября 1943 года). За это время гитлеровцы расстреляли в городе около 10 тысяч мирного населения. Угнано в Германию около 50 тысяч молодых мариупольцев. в концлагерях от голода и болезней погибло около 36 тысяч советских военнопленных. 20-21 октября 1941 года состоялся массовый расстрел оккупантами еврейского населения Мариуполя у противотанкового рва близ Агробазы. В конце 1942 года в дни траура, объявленного Гитлером по уничтоженной под Сталинградом 6-й армии, в Мариуполе фашисты наполнили 18 железнодорожных вагонов ранеными и больными красноармейцами, наглухо заколотили двери, загнали вагоны в тупик и держали их там до тех пор, пока все пленные не погибли.
В конце 1941 года гитлеровцами создано горно-металлургическое общество «Восток», которое должно было эксплуатировать производственные мощности Донецкого угольного бассейна, но, несмотря на жестокие репрессии, главный производитель оружия Германии фирма «Крупп» так и не смогла пустить агрегаты на Мариупольском заводе имени Ильича. В январе 1942 года фашистами за отказ в сотрудничестве был убит знаменитый сталевар завода имени Ильича Макар Мазай.
Несмотря на массовые расстрелы, на жестокий оккупационный режим, в городе действовали подпольно-патриотические группы, которыми руководили Е. М. Штанько, Д. Н. Ломизов, А. Кравченко и другие. Многие подпольщики погибли от рук оккупантов. Во время оккупации в городе был формально возрожден орган местного самоуправления — городскую управу во главе с бургомистром Комровским, которая фактической власти не имела, но должна была поддерживать порядок в городе и обеспечивать сбор налогов от местных жителей. В Мариуполе выпускалась «Мариюпильска газета», редактором которой был прежний генеральный секретарь продовольствия Центрального Совета Г. Стасюк. Попытками украинцев были возрождены ячейки «Просветительства», открыт украинский театр. Работало 42 школы, преподавание в которых осуществлялось украинским языком. Некоторые учебники для школ написали местные учителя.
В декабре 1941 года в Мариуполе находились первые лица Третьего рейха, Италии и Румынии. Учитывая недовольство некоторых среди местного населения советской властью, до сентября 1942 году 150 тыс. жителей Мариуполя и Приазовья, согласно разведывательным данным НКВС СССР, выразили желание служить во вспомогательных частях «хиви» в составе вермахта. В то же время в городе, на предприятиях и рабочих поселках действовали подпольные группы ОУН и советские подпольщики. В начале 1943 года в городе осуществлялась запись в Украинское Освободительное войско (в составе вермахта).
6 сентября 1943 года при отступлении оккупанты уничтожили все промышленное оборудование, сожгли дома и села. В ночь с 9 на 10 сентября 1943 года в порту высадились 1-й и 2-й отряды 384-го ОБМП Азовской Военной Флотилии Черноморского Флота. 10 сентября войска 130-й Таганрога и 221-й дивизий 44-й армии Южного фронта (с 20 октября 1943 года — «4-й Украинский фронт») при поддержке из воздуха частей 4-й воздушной армии и подразделов Азовской Военной Флотилии выбили немцев из города.
