玉门关始置于汉武帝开通西域道路、设置河西四郡之时。元鼎或元封中修筑酒泉至玉门间的长城，玉门关当随之设立。据《汉书·地理志》，玉门关与另一重要关隘阳关，均位于敦煌郡龙勒县境，皆为都尉治所，为重要的屯兵之地。当时中原与西域交通莫不取道两关。