刘邦为什么要退居灞上？

刘邦入咸阳后有十万大军，再加上秦国归降的，有十万之上大军。
而项羽坑杀二十万归降的秦军，那就只剩下他自己的兵力。本来他与叔父的兵力总共十万，定陶一役死者三万八千，破斧沉舟一役项羽率3万子弟兵杀死秦军十万人，那么项家军死者至少也有一万，再加上项家军在东征途中死伤，到达咸阳最多5万人。
而刘邦在西征过程中不死一兵一卒，沿途归降者数万。解说音明确说刘邦入咸阳时有十万大军，再加上子婴为首的秦军归降者三万以上，刘邦大军过十万。
为什么刘邦会那么怕项家军？恨不得马上逃跑。就算项家军全是精锐，那也是不足五万对刘邦十万之上，刘邦一行人绝对不应该如此害怕。
历史记载当时应该是项羽40万大军对刘邦10万大军，那样刘邦退居灞上是完全合理的。
但此电视剧中演的是项羽不足5万大军VS刘邦十万以上大军，刘邦为什么还要退居灞上？这不就自相矛盾了？