刘繇是刘岱的亲弟弟。

年轻时刘繇被举为孝廉，拜郎中，迁任下邑县长，因为拒绝权贵的请托而弃职逃离。又被州里征辟，巡行至济南国，济南国相是中常侍之子，刘繇发现他贪赃枉法，于是立即将其奏免。从刘繇在下邑和济南的表现来看，他是一个品行端正、不畏权宦的人，这点和曹操颇为相似。