马腾,相传是汉伏波大将马援的子孙后代。他的老爸曾任天水市兰干尉,后失官留居陇西,娶羌女为妻,生下马腾。马腾年轻时候贫困,无行业,常常从彰山采伐原木,背到城内去卖,来养好自个。马腾长八尺余,身子洪大,面鼻雄异,而性情贤厚,大家都很钦佩他。
中平4年4月,那时候凉州太守耿鄙任信奸吏,造成汉阳人王国及其氐、羌等少数民族揭竿起义。州郡征选战士,欲征讨叛变。马腾应征入伍,被州郡高官看中,任职为军从业,头领军队,后争霸有功,上升为军司马,迁偏将军。没多久,耿鄙被属下李相如杀掉,马腾则协同韩遂等,与汉阳人王国合兵,自号合众大将,一同举荐王国为主将,带领其部众,寇掠三辅。汉王朝称其为三辅造反。