最初，岳飞只是张俊麾下一个将领，后来逐渐成为独当一面的大将。

绍兴二年（1132），岳飞手下有兵马12000余人，第二年即增加到了24000余。绍兴五年（1135）六月，岳飞平定杨幺后，岳家军军容强盛，已非从前可比。到绍兴和议、岳飞被冤杀时，岳家军究竟有多少人？没有确切的数字。正史野史的记载相去甚远，计有３０万、１０万、６万等三种截然不同的说法。

岳飞兵力最多的时候，5万人左右。在当时南宋总兵力不过于30余万。而与他齐名的其他三大将领兵马不过于3~4万之间。再加上其他将领手中的军队，其实5万人已经很多了。

鼎盛时期，岳飞实际控制10多万兵力。岳飞在绍兴元年到3年先后平定了贼寇李成、张用和曹成的叛乱，宋高宗赵构赐御书精忠岳飞的锦旗给岳飞，还把牛皋等人的部下拨给岳家军，岳家军兵力很快到了几万人。

岳飞平定杨幺之后，杨幺原来是占据在洞庭湖的大贼寇，手里有10多万兵马，岳飞平定杨幺后把杨幺手下的精英部队编入岳家军。

岳飞手头只有背嵬军和一部分游奕军。根据史书记载，背嵬军的兵力最多不超过8000人，加上其他部队，岳家军此战的总兵力可能超过一万人，但不会比当面的15000金军骑兵更多。