函谷关最早在春秋战国时代由秦国所建。

「因在谷中，深险如函而得名。东自崤山，西至潼津，通名函谷，号称天险。」关隘地处深险谷地，地势险要，窄处只能容一辆马车通行，所谓「车不方轨，马不并辔」。而且由於这段黄河流域丘峦起伏，有中条山、崤山等阻断，函关谷底成为附近地区唯一东西向平坦的通道，自然成为军事要冲。