豆氏的来源主要有两个方面：源于姬姓，出自西周初期周穆王的御马师造父之师傅泰豆氏，属于以先祖名字为氏。

造父是伯益第九世孙，著名的西周王廷善御者，赵氏鼻祖。其“善御”之技是跟泰豆氏学来的。源于芈姓，楚公子食采于南阳豊亭，后人以豊为氏。传至汉朝时，大臣豊如意子孙遂以其名字为氏，称豊氏。战国末期，楚国“豊”即“豆”，后简为豆氏，但读音作。