Образован 17 мая 1935 года на базе Кавказской Краснознамённой армии. Изначально включал в себя территорию ЗСФСР, а после её упразднения в 1936 году — территории Грузинской, Армянской и Азербайджанской ССР. Штаб округа находился в городе Тифлисе (позднее переименован в Тбилиси). В 1939—1940 годах часть соединений округа передавалась в состав Ленинградского ВО и принимала участие в Советско-финской Зимней войне 1939—1940 годов.
С началом Великой Отечественной войны войска округа выполняли задачу по противодесантной обороне Черноморского побережья и прикрытию государственной границы СССР от Чёрного до Каспийского морей. Для выполнения этих задач в составе округа были сформированы и развёрнуты четыре общевойсковые армии: 45-я и 46-я на границе с Турцией, 44-я и 47-я на границе с Ираном.
23 августа 1941 года округ был преобразован в Закавказский фронт, а управление округа переименовано в полевое управление Закавказского фронта. В этот же день было образовано новое управление ЗакВО по сокращённому штату с подчинением Военному Совету Закавказского фронта. Задачей вновь созданного округа было обеспечение формирования и укомплектования войск фронта. Директивой Ставки ВГК от 14 сентября 1941 года управление ЗакВО было упразднено.