鲁国 山东的名称，最早出现在战国时期，当时，关中的秦人，称崤山或华山以东的地区为山东，有时也泛指秦以外的六国领土。

这时，山东是一个地域性的泛称，还不是一个准确的地理概念。至唐代和北宋时代，太行山以东的黄河流域广大地区被称作山东，到了唐代末年，有人用山东专指齐鲁之地。到了金代，设置了山东东、西二路，山东才真正成为政区名称。明代初期设置山东行省，后改称山东承宣布政司。清朝初年，设置山东省，“山东”正式成为本省的专名。古人以左为东，故又称山东为“山左”。

唐朝时山东大部分属于当时的河南道，也有一小部分属于河北道。

唐朝时具体行政区划分如下：

贞观元年(627年),太宗分天下为10道：关内道、河南道、河东道、河北道、山南道、陇右道、淮南道、江南道、剑南道和岭南道。 贞观十四年（640年）全国共设360州（府），下辖1557县。

开元二十一年（733年），又分天下为15道，即将山南道、江南道各分为东、西道，又增设了京畿道、都畿道和黔中道。