铁道游击队最多时候的人数没有明确的统计数据。但根据历史资料，铁道游击队在抗日战争时期逐渐发展壮大，队伍规模不断扩大。在抗日战争胜利前夕，铁道游击队已经发展成为一支具有较强战斗力的游击队伍。据记载，铁道游击队在抗日战争期间最多时可能有数千人。然而，具体人数仍需进一步查阅资料来确定。