阿克苏系维吾尔语，意为“清澈的水”。1913年置阿克苏县，1983年设市。

汉代，这里为姑墨国地。隋唐时期，为跋禄迦，亦称亟墨，唐高宗显庆三年（658年）置姑墨州，隶属安西都护府。宋时为西辽所辖。元明为蒙古宗王察合台封地，称为阿速。清乾隆二十二年（1757年）清政府派军平定准噶尔叛乱，将地名定为阿克苏。乾隆二十三年（1758年）在此设阿克苏办事大臣。光绪三年（1877年）在阿克苏设善后总局。光绪八年以东四城（焉耆、库车、阿克苏、乌什）置阿克苏分巡兵备道，以阿克苏置温宿直隶州。光绪九年（1883年）完成建州工作并修建阿克苏新城，亦称汉称，新城为阿克苏道和温宿直隶州治所。光绪二十八年（1902年）升温宿直隶州为府，市境为温宿府直辖。本府即今阿克苏市和阿瓦提县的范围。