白玉山街境域原是武昌县第九的余家土库乡。

1975年初，武钢开始在此筹建第二职工生活。

1981年7月，成立白玉山街办事处，设4个居民委员会。

1984年7月，为便于管理，对户数较多的居委会进行重新调整，增设3个居委会，街辖居委会总数增至7个。

1987年，武钢在街境内新建2个街坊和武钢第二职工医院，街辖居委会总数增至12个。

1990年，增设1个居委会。

1991年-1992年，武钢第二生活部分住宅竣工，先后有1100户,6317名职工家属迁入白玉山街。

街道根据人口增加情况，增设4个居委会，居委会总数达到17个。

1994年，增设2个居委会，街辖居委会总数达到19个。

2000年7月，城市基层管理体制改革，原辖的19个居委会调整为10个居委会。

2009年，武汉市江南三插花地调整，居委会增至12个，同时接收由洪山建设乡划归的8个行政村。