建安二十一年时,刘备与马超的联军在关中作战不利,逐次退兵。而魏王举大众乘胜追击,以相当的兵力收服槐里、武功、郿县、陈仓等城池。时任平狄将军的张郃因为射杀庞统有功,得以带兵重任方面,负责猛扑雍县、汧县一线,意图直入陇右,包抄马超所部的后路。
张郃擅料战势地形,用兵巧变,遂攻入兴国以南,大掠羌氐各部的牛马物资。此时留守陇上的庞德率轻骑数千赶到,张郃与之大战数场以后,迁徙百姓一千余户而安然而返。
此后数年,张郃又征讨关中、并州各处的叛军,所向皆克,遂积功升至右将军、都乡侯。在魏王曹操重整邺城中军以后,他与中坚将军曹真、中领军曹休、后将军朱灵皆为中军主将。
这四人中,曹真、曹休并为肺腑,更是曹氏年轻一代中的杰出人物;而朱灵与张郃,都是一度被魏王弃置又重新启用的宿将。如此安排,魏王深意可知。