广州区域的发展史可以追溯到两千多年前的秦朝。
公元前214年，秦平岭南，在岭南建南海、桂林、象三郡。任命任嚣为南海尉，任嚣在靠近越秀山的地方筑城，作为南海郡治所在，城的面积并不大，史称番禺城，俗称任嚣城。这就是广州建城之始。
在秦朝南征平定百越后，置南海郡，治所番禺县。南海郡和番禺县便是如今广州市和广州市区行政建制的起源，并且基本一直延续，未曾中断。两汉到西晋时期，南海郡一带的行政区划变化很少。隋朝统一后，东部已经有了义安郡和龙川郡，南海郡辖区大为缩减，大概辖有今天的广州、清远、韶关、东莞、佛山、深圳、江门等地。唐朝时南海郡已改名为广州，为岭南道治所。
在宋朝，广州的行政区划有些特别，像一个X形。元朝时，广州改名为广州路，属江西省管辖，治所在南海和番禺二县（都在今广州城区），其辖境相当今广东东至新丰、龙门、增城、东莞、深圳、宝安，北至佛冈、清远，西至三水、佛山、江门、台山，南至海。
明朝时，广州路改为广州府。清朝的广州府的辖区比明朝少了如今的连山、连州、连南、阳山一带。到了民国初，这一带为粤海道，治所就在今广州城区。
在1988年，广州市的行政区划作出较大调整，广州市辖东山、越秀、荔湾、海珠、天河、黄埔、芳村、白云等8个区和花县、从化、增城、番禺等4个县。到了1992年，广州市属的番禺县、花县、增城县、从化县先后撤县设市（县级），改称番禺市（1992年5月）、花都市（1993年6月）、增城市（1993年12月）、从化市（1994年3月）。然后在2000年，番禺、花都撤市设区，至此，广州市辖东山、海珠、荔湾、越秀、黄埔、天河、芳村、白云、番禺、花都等10个区和从化、增城等2个县级市。