葬者万余人”(《晋书》),蒙逊于是与堂兄沮渠男成起兵反叛后凉,并拥立建康太守段业为凉州牧(不久改称凉王),是为北凉。但段业只是傀儡,大权由沮渠蒙逊掌控。4年后蒙逊杀段业自立,随后打败南凉攻灭西凉,统一了凉州全境,成为当时西部最为强大的割据政权。公元433年,沮渠蒙逊病死,因其子尚幼,侄子沮渠牧犍即位。
北魏灭北凉,北方疆土尽属拓跋氏,标志着五胡十六国的彻底终结。北凉,在五胡十六国中,只是偏安西陲的小国,并不起眼,然而由于它特殊的地理位置,向来为兵家必争之地。凉州的范围大致是今天的甘肃省,还包括内蒙和青海一部分,也就是《史记》上常说的“河西陇右”之地,是中原与西域诸国的交通要冲,“河西走廊”的必经之地。为了防御匈奴,汉武帝开辟武威、酒泉、张掖、敦煌四郡,后设凉州刺史,凉州因“地处西方,常寒凉也”而得名。五胡乱华时,这里先后建立了前凉、后凉、南凉、西凉、北凉五个割据政权,占到了16国的三分之一。
沮渠牧犍死时,已是北凉被北魏灭国的38年后,之所以当时没有被杀,皆因他与北魏当时的太武帝拓跋焘互为妹夫:沮渠牧犍的妹妹兴平公主嫁