汉之前，最高军事武官称为[[上将军]]，如[[秦国|秦]]之[[白起]]、[[秦朝|秦]]末之[[宋义]]和[[项羽]]，为指挥重大战役的临时统帅。[[陈胜]]、[[吴广]]起义时，赵王武臣任命[[陈余]]为大将军。[[刘邦]]赴[[巴蜀]][[之国]]为[[汉王]]，则封[[韩信]]为大将军。

[[西汉]]，直到[[汉武帝]]时才因[[卫青]]而复置大将军，作为将军的最高称谓，位在[[三公]]上。又设[[大司马]]，作为将军的加官，如卫青为大司马大将军，早期丞相的权力过大，皇帝不能亲自裁决政务。自汉武帝以后，章奏的拆读与审议，转归以'''大将军'''为首的尚书。大臣有罪，由尚书劾奏；选任御史大夫，由尚书品定高下；官吏有功迁升，上报尚书；州郡官吏入朝奏事，则面见尚书。丞相若有过失，反由尚书问状劾奏。由此，丞相的权力被一步一步的剥夺，只是在礼仪上还是百僚之长。（《汉书·卷十九上·百官公卿表第七上》）汉武帝死时，遗命[[霍光]]以大司马大将军辅政。西汉末年，取消作为加官的大司马，设立单独的大司马职位。