当时凉州地区有许多叛乱的少数民族，正赶上地方征兵，马腾就应召入伍。进入军队之后，马腾做事非常的勤奋，领带十分欣赏他，认为他是带兵打仗的人才，于是就慢慢提拔马腾，最后让马腾在战场上奋勇杀敌。

恰逢董卓祸乱朝廷，马腾于是就响应了袁绍的号召，也成为了讨伐董卓的人员。在董卓被吕布杀掉之后，他的部下李傕和郭汜就掌握了朝堂。马腾此人心系朝廷，曾经打算和一位官员马宇，合作制服李傕和郭汜，但是由于事情失败，导致马腾又退回到西凉。

在曹操掌握朝堂之后，马腾联合刘备等人准备举兵讨伐曹操，但是再一次失败了。从这以后，马腾就退回到西凉老家一直历练兵马，等待合适的时间报效朝廷。

当时马腾和韩遂算是在汉中地区，实力比较强大的军阀势力之一，他们两人一开始也是结拜兄弟。但是他们俩人的手下经常的产生摩擦，导致后来双方互相追打，当时韩遂战败，马腾的妻子又被杀，所以他们两人眼中都容不下对方的存在。

曹操于是就利用马腾忠于朝廷这一个特点，在和袁绍交战时，利用汉帝的名义派遣马腾来帮助他攻打袁绍， 并且给马腾封侯，还授予了前将军的职务。在袁绍病逝之后，他的儿子袁尚想要拉拢马腾和韩遂，开始马腾假装答应了，暗中却派遣自己的孩子马超，带着军队趁机攻击袁尚的手下，继而帮助曹操解决了袁绍的残余势力。

后来，曹操想要牵制住马腾，于是就宣马腾进宫加官进爵，马腾这时也知道自己这一去可能凶多吉少。但是曹操有着汉帝的诏书，自己不能不去，就在走之前把自己的兵马大权，交给了自己的孩子马超。

马腾进京后被曹操软禁，马超为解救父亲和韩遂伐曹，不过由于曹操对他们的离间，导致了马超的大败，结果曹操以马超造反的缘由，杀害马腾并且还诛三族， 可怜他一生尽忠职守却落得这个下场。