古为羌地。魏晋南北朝时属苏毗王国，隋称“女国”，唐称“东女国”
元属吐蕃等路宣慰司，唐、宋时为吐蕃地，明属朵甘思宣慰司，明末清初受囊谦王族统辖，隶和硕特蒙古政权，后隶“钦差总理青海蒙古番子事务大臣衙门”，通称“玉树25族”，民国初，隶青海办事长官，旋政隶蒙番宣尉使和甘边宁海镇守使。民国六年（1917年）设玉树理事，民国十八年（1929年）改为玉树县，辖今自治州全境。
玉树古为西羌牦牛种地隋朝前后为苏毗和多弥二国辖区，唐时为吐番的孙波如，宋时为黎州属下的囊谦小邦之地，元朝归吐蕃等路宣慰司管辖，明朝囊谦五室的贵族僧侣屡被赐号为功德自在宣抚国师明末清初玉树各部头人为青海蒙古和硕特部赠爵为诸台吉清朝受青海办事大臣直接管辖，为囊谦千户领地，下有百户独立长等部落，民国时期设置玉树、囊谦、称多3县，统由玉树行政督督察专员公署管辖，县之下千百户制度因袭如故。
1949年10月，青海省人民解放军军政委员会驻玉树特派员办公处成立。1949年设玉树专区，专署驻玉树县。辖玉树（驻结古）、称多（驻周均）、囊谦（驻香达）3县。1951年12月25日玉树专区改为玉树藏族自治区，辖称多、囊谦2县撤销玉树县建制。1952年恢复玉树县建制，由玉树藏族自治区领导。玉树藏族自治区辖3县。1953年由玉树、囊谦2县西部地区合并设置扎朵县辖4县。1954年原扎朵县改为杂多县（驻于玉日本）由玉树县部分地区设治多县（驻加吉博洛格）原由省直辖的曲麻莱区改设曲麻莱县，划入玉树藏族自治区辖6县。
1955年玉树藏族自治区改设玉树藏族自治州，自治州人民委员会驻玉树县辖玉树、囊谦、称多、杂多、曲麻莱、治多等6县。1959年以玉树、囊谦、杂多、治多4县部分地区设置江南县（在长江南岸，驻甘宁生多）以称多、治多2县部分地区设置天河县（在长江北岸，驻卡隆云）辖8县。1960年江南县驻地由江南甘宁生多迁驻节综地区。1962年，撤销江南县，并入玉树县
撤销天河县，并入称多、曲麻莱2县玉树藏族自治州辖玉树（驻结古）、称多（驻周均）、囊谦（驻香达）、杂多（驻于玉日本）、治多（驻加吉博洛格）、曲麻莱（驻色吾沟）等6县。1977年曲麻莱县由色吾沟迁驻野仓滩玉树藏族自治州辖玉树（驻结古）、称多（驻周均）、囊谦（驻香达）、杂多（驻于玉日本）、治多（驻加吉博洛格）、曲麻莱（驻野仓滩）等6县。
2000年，据第五次全国人口普查数据：玉树州总人口262661人。其中：玉树县 77854人、杂多县 38654人、称多县 40391人、治多县 24194人、囊谦县 57387人、 24181人。
