他们可能有两个来源：泸水县（原碧江县）一带怒族自称“怒苏”，与今日大小凉山的彝族自称“诺苏”音义均相同，元代文献把他们和今西昌、昭通一带的彝族就统称为“庐鹿蛮”，而福贡、贡山县的怒族则可能来自怒江北部贡山一带自称为“阿龙”或“龙”的古老居民。

这部分怒族和独龙族在古代有着密切的亲属关系，至今贡山怒语和独龙语还可以对话。由于长期交往，这两部分人在怒江区域逐渐接近，相互影响和相互融合，逐渐发展和形成今日的“怒族”，但他们各自还保留着自己的某些特点。