水磨溝區域歷史久遠。秦代至西漢初期，今水磨溝區區境為車師游牧之地。西漢宣帝神爵二年（公元前60年），漢朝統一西域，在烏壘設西域都護府，統領西域各國，今水磨溝區域歸西域都護府管轄，正式納入西漢版圖。唐代，水磨溝區屬輪臺縣管轄，歸安西都護府節制。宋元時期，區境屬別失八里行書省。明代，今區境先后屬蒙古厄魯特的和碩特部和準噶爾部。清代，區境先后隸屬于迪化直隸州、迪化府、迪化縣，并在現六道灣、七道灣建立惠來堡、屢豐堡，實行屯田。新中國成立后，隸屬于烏魯木齊市（1954年前為迪化市）。1956年5月，從烏魯木齊市五區和烏魯木齊縣一區各劃出一部分成立水磨溝工礦區。1969年又將八道灣鎮劃歸水磨溝工礦區，1969年更名為水磨溝區。