На западе и северо-западе территория округа по акватории Чёрного и Азовского морей, а также по суше, в том числе, де-факто, на Перекопском перешейке и части Арабатской стрелки, граничит с Украиной, на востоке — с Казахстаном. На юге граничит с Абхазией и Северо-Кавказским федеральным округом, на севере — с Центральным и Приволжским федеральными округами.
На востоке федеральный округ ограничен Каспийским морем, на западе — Чёрным морем.
Федеральный округ был образован указом президента России В. В. Путина от 13 мая 2000 года № 849 в составе 13 субъектов РФ — Адыгеи, Дагестана, Ингушетии, Кабардино-Балкарии, Калмыкии, Карачаево-Черкесии, Северной Осетии, Чечни, Краснодарского и Ставропольского краёв, Астраханской, Волгоградской и Ростовскойобластей.
Первоначально округ назывался Северо-Кавказским федеральным округом, но уже 21 июня 2000 года, указом № 1149, был переименован в Южный федеральный округ. Мотивами переименования послужили географические (Республика Калмыкия, Волгоградская и Астраханская области к Северному Кавказу не причисляются, Ростовская область причисляется условно) и имиджевые причины.
Указом президента России Д. А. Медведева от 19 января 2010 года из состава Южного федерального округа был выделен Северо-Кавказский федеральный округ с центром в городе Пятигорске.
Указом президента России В. В. Путина от 28 июля 2016 года № 375 в состав Южного федерального округа был включён упразднённый тем же указом Крымский федеральный округ.