在古代，宰相的地位仅次于君主，一些良相则是君主的左膀右臂，能够帮助君主办理各种政事。
卫绾，代郡大陵人，他的年龄、籍贯史书上没有记载，应该是家庭比较贫寒，在汉文帝时期被选拔为皇帝的“专职司机”当上了郎官，在汉朝，郎官并不是多高的职位，但胜在可以经常接触到皇帝，算是离权力的中心非常近的一批人。之后累积功劳逐渐升为中郎将。
在刘启还是太子的时候，有一次宴请了父亲身边的一些近臣到自己的府中做客，卫绾也在名单之中，他深知刘启这么做的目的是为了拉拢各位大臣来保全自己的太子之位，卫绾性情敦厚谨慎为了不使汉文帝疑心，以称病推脱了。汉文在临终前还嘱咐刘启说卫绾是个可用之人，应该好好重用他。刘启继位之后还是故意冷落了卫绾一年之久。虽然被冷落，卫绾还是兢兢业业做事，把自己的本职工作做的滴水不漏。
有一次汉景帝前往上林苑游玩时，命中郎将卫绾作为护卫共乘一车。在车上汉景帝问他知不知道自己为何能与自己乘坐一辆车，卫绾回答自己并不知道，汉景帝问他自己之前邀请他的宴会为什么不来，卫绾依然坚守原则说自己当时是身体不适。汉景帝听完便赐他剑，卫绾以汉文帝赐给他六把剑为由拒绝了，汉景帝有所怀疑，于是卫绾拿出六把剑，汉景帝这才相信了卫绾。在那之后卫绾担任了河间王太傅，在七国之乱时，他被任命为将领河间兵力讨伐叛军，立下功劳，升任中尉，三年后，因军功封为建陵侯。在太子刘荣被废后，他在汉景帝的允许下赐给告假还乡。
前元七年，汉景帝立时年七岁的刘彻为皇太子，卫绾回到朝廷并担任太子太傅，升任御史大夫，位列三公，最后替代桃侯刘舍做了丞相。在担任丞相期间，卫绾始终无所建树也无有过失，汉景帝对他很尊敬信任，还赏赐了很多财物给他。汉武帝登基之后，卫绾被免去了相职。
