出身贵族
杨素为弘农杨氏之后，先祖世代为官。其祖父杨暄，官至北魏辅国将军、谏议大夫;父亲杨敷，为北周汾州刺史。杨素小时候穷困失意，不拘小节，有远大的志向。时人都不理解他，只有他的堂叔祖、魏朝的尚书仆色杨宽认为他很不一般，常对子孙说:"处道(杨素字)不是一般的人，他日一定出类拔萃，无与轮比，不是你们赶得上的。"
杨素后来和安定人牛弘(后任隋朝礼部、吏部尚书)志同道合，他们勤奋好学，研究探讨经心专诚，从不感到疲倦，因而在文学、书法上均有造诣，史书称其"研经不倦，多所通涉。善属文，工草隶，颇留意于风角。美须髯，有英杰之表"。
当时北周大冢宰宇文护把持朝政，引其为中外记室，后转礼曹，加大都督。天和七年(572年)三月，北周武帝宇文邕诛杀权臣宇文护后，亲掌朝政，杨素因曾受到宇文护的重用，所以遭到株连。此时，杨素以其父杨敷死于北齐，但未受朝廷追封，便上表申诉。北周武帝不理。杨素再三上表，武帝大怒，下令杀杨素。
杨素高声地说:"我给无道的天子做事，死是应该的。"武帝闻后，对杨素刮目相看，赦其无罪，并追赠其父为大将军，谥号忠壮。拜杨素为车骑大将军、仪同三司，并逐渐对其有了好感。武帝又令杨素起草诏书，他下笔成章，文词华丽。武帝予以称赞，对他说:"好好努力，不愁日后没有荣华富贵。"而杨素却回答说:"臣只怕富贵来B臣，臣却无心谋取富贵。"
破齐立功
建德四年(575年)七月，武帝率军攻北齐，杨素请求率其父旧部为先锋，武帝应允，并赐他一条竹鞭，说:"我正要驱使天下，所以把这件东西赐给你。"杨素跟随齐王宇文宪在河音和齐军交战，因战功被封为清河县子，食邑五百户。同年授司城大夫。建德五年(576年)十月，杨素再次随宇文宪攻北齐，克晋州(治白马城今山西临汾境)。
宇文宪屯兵栖原，北齐后主高纬率诸军自晋阳(今山西太原)向晋州进发。宇文宪闻北齐军主力至，大惧，乘夜而逃，结果为北齐军追上，北周军多被击溃。杨素与骁将十余人尽力苦战，宇文宪方得以解围。此后，杨素更是屡立战功。
北齐灭亡后，杨素加上开府，改封成安县公，邑千五百户，赐以粟帛、奴婢、杂畜。建德六年(577年)十月，陈宣帝陈顼闻北周灭北齐，即乘机争夺淮北地区，遂派名将吴明彻率军北伐。吴明彻军至北周吕梁(今江苏徐州东南)，击败徐州总管梁士彦，进围彭城(今江苏徐州)。 次年二月，杨素随上大将军王轨前去救援，最终大破陈军，俘主将吴明彻。
杨素遂治东楚州事。其弟杨慎被封为义安侯。陈将樊毅筑城于泗口，杨素将其击走之，并将所筑之城全部毁坏。六月，武帝去世，周宣帝继位。宣帝即位后，杨素袭父爵临贞县公，并以其弟杨约为安成公。大象元年(579年)，杨素随上柱国韦孝宽攻陈淮南(泛指今淮河以南地区)。其中，杨素独自率军攻克盱眙(今江苏盱眙东北)、钟离(今安徽凤阳东北)。
投靠杨坚
大象二年(580年)五月十一日，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。杨素知杨坚甚得众心，且有称帝之意，遂主动投到杨坚门下，与其深自结纳。杨坚也知杨素之才，对其也非常器重，不久便以杨素为汴州刺史。杨素在上任途中行至洛阳时，方知相州(治邺城)总管尉迟迥等举兵反杨坚。
尉迟迥原为北周文帝宇文泰的外甥，位望素重，杨坚恐其有异图，遂以会葬宣帝为名，诏使其子尉迟敦召尉迟迥入朝;并以韦孝宽为相州总管赴邺城(今河北临漳西南)取代尉迟迥。
六月，尉迟迥恐杨坚专权对北周不利，公开起兵反对杨坚。荥州刺史宇文胄据武牢以应尉迟迥，使杨素无法前行。七月十日，杨坚调发关中兵，令韦孝宽为行军元帅，杨素与郕公梁士彦、乐安公元谐、化政公宇文忻、濮阳公宇文述、武乡公崔弘度、陇西公李询等皆为行军总管，率军讨伐尉迟迥。杨素旋即被拜为大将军，领河内兵攻打宇文胄，将其斩杀。改任徐州总管，进位柱国，封清河郡公，邑二千户。其弟杨岳也被封为临贞公。
大定元年(581年)二月，杨坚受禅登基，改元开皇，是为隋文帝，建立隋朝。杨坚称帝后，加杨素上柱国，让他参与了隋朝法律的修定。开皇四年(584年)，拜御史大夫。
由于其妻郑氏是个悍妇，杨素一次与其吵架说了一句:"我如果当了天子，你一定不能作皇后。"结果被其妻告发，杨素因此获罪，并被免官。此次经历，险些毁了杨素的前途。好在文帝一直准备灭亡陈朝，统一中国，杨素曾数次献伐陈之策，此次被免官后，杨素并没有闲着，再次献伐陈之策。
大破突厥
自开皇初年起，隋采纳长孙晟之谋，一直对突厥施用离间计，使其内部长期混战不休。开皇十七年(597年)，隋文帝允许都兰可汗之弟突利可汗娶隋安义公主为妻，并故意予以优厚礼遇，借以离间都兰可汗。都兰可汗果被机怒，乃断绝朝贡，多次烧扰隋边。开皇十九年(599年，《隋书·杨素列传》误记为十八年)二月，突利可汗奏报都兰可汗制造攻城器械，准备攻击大同城(在今内蒙乌拉特前旗东北)。隋文帝命汉王杨谅为元帅(实际未亲临前线)，以杨素出灵州(治回乐，今宁夏灵武西南)，尚书左仆色高颎出朔州(治善阳，今山西朔县)，上柱国燕荣出幽州(治蓟县，今北京城西南)，三路进击突厥。
都兰可汗得知隋军来攻，与达头可汗结盟，合兵掩击突利可汗。四月，杨素军在灵州以北地区与达头可汗部遭遇。在此之前，隋将在与突厥交战时，因担心突厥彪悍的骑兵来往冲杀，都采用战车、骑兵和步兵相互交叉配合的阵法，阵外四周遍设鹿角、蒺藜等物，骑兵留在最里面。杨素认为:"这只是巩固防御的途径，而不是夺取胜利的方法。"于是抛弃这种自我保守的落后阵法，改变战术，下令各军摆开骑兵阵势。达头可汗闻之大喜道:"这是天助我!"并下马仰天而拜，即率十余万经骑直扑隋军。
上仪同三司周罗睺看到突厥求胜心切，阵形不整，乃请令率经骑迎击，杨素指挥大军随后继进，大败突厥，达头可汗带著重伤逃跑，其众死伤不可胜数，号哭而去。另一路隋军在高颎的率领下，也大破突厥，都兰可汗败逃，后被其部下所杀。隋军追过白道(内蒙呼和浩特西北)，越过秦山(今内蒙大青山)七百余里，然后还师。
十月，隋册封突利可汗为启民可汗，并令长孙晟率五万人在朔州西北筑大利城(今内蒙古和林格尔西北土城子)给启民可汗驻守，令其招抚突厥其它部落，为分化瓦解突厥，促进民族融合起了重要作用。杨素在此战中，敢于弃陈旧落后的车、骑、步互相卫护的保守阵法，大胆使用骑兵突击，取得大胜，再一次显了其杰出的军事才能。
战后，隋文帝下诏褒奖，赐杨素缣二万匹，及万钉宝带。加其子杨玄感位大将军，杨玄奖、杨玄纵、杨积善皆为上仪同。杨素很有随机应变的谋略，总是把握好时机去同敌人作战，他应对请况的变化并不拘泥于一定的方法，而控制军队严厉有序，如果有谁违犯了军令，他就立即斩首，没有宽容的。同时治军严整，其部如有违犯军令者，立斩不赦，而绝不宽容。每次作战前都寻找士兵的过失，然后杀之。每次多者百余人，少也不下十几人。
由于杀人过多，以至"流血盈前"，而杨素却言笑自若。两军对阵时，杨素先令一二百人前去迎敌，若取胜也就罢了，如不胜而败逃者，无论多少，全部斩首。然后再令二三百人迎敌，不胜则照杀不误。所以杨素的部下对他极其敬畏，作战时皆抱必死之心，所以战无不胜，称为名将。杨素当时正受宠幸，隋文帝对他言听计从，所以杨素征战的将士，都微功必录。
而其他的将领虽有大功，但都被文官谴却。所以杨素虽严厉凶狠，但由于他能够恩威并施，所以将士皆愿随其征战。开皇二十年(600年)四月，步迦可汗率兵进犯隋边。隋文帝命杨素隋晋王杨广出灵州(治回乐，今宁夏灵武西南)，同时又令汉王杨谅、柱国史万岁出朔州(治善阳，今山西朔县)，合击步迦可汗。杨广为培植自己的势力，亲自与杨素结交，杨素也知杨广有夺位之心，遂投其门下。仁寿初年(601年)，杨素接替高颎任尚书左仆色。隋文帝赏赐给他好马一百匹、母马两百匹、奴婢一百口。这一年，高祖又拜杨素为行军元帅，前往云州攻打突厥，连连破敌。
突厥逃跑，杨素率领骑兵紧追不舍，到夜里终于赶上。杨素想再次进攻，又怕敌人分散逃跑，就命令骑兵稍稍跟在后边。他于是亲自带领两名骑兵和两个投降的突厥人潜入敌阵，同敌人一起前行，敌人没有发觉。等到敌人停下来，止宿屯驻的地方还没安排好，杨素命令后边的骑兵突然袭击，大败他们。
从此，突厥人逃得远远的，碛南再没有他们的踪迹了。因为这次的战功，隋文帝让杨素的儿子杨玄感进位柱国，玄纵为淮南郡公，并赏赐给他织物两万段。
;历史成就
杨素出身北朝士族，建德四年和五年，两次参与北周伐北齐之役。 建德六年，杨素随王轨在淮北大破入侵的陈军，俘陈将吴明彻，于泗口击退陈将樊毅。 大象元年(579年)，随韦孝宽攻陈淮南，杨素独自率军攻克盱眙、钟离。 大象二年(580年)，随行军元帅韦孝宽平定相州总管尉迟迥叛乱。
旋拜大将军，领河内兵进攻响应尉迟迥的荥州刺史宇文胄。开皇七年(587年)，杨素与贺若弼等多次献上灭陈之策，并于永安(今四川奉节东)造大舰，作灭陈准备。 开皇八年(588年)，杨素为行军元帅，领水军自永安沿长江东下，大举进攻陈朝。十二月，大败陈将戚欣于狼尾滩(今湖北宜昌县西北)。
次年(开皇九年，589年)顺江而下，击败南陈荆州刺史陈慧纪和南康内史吕忠肃， 与秦王杨俊会兵于汉口(今属湖北)。 开皇十年(590年)十一月，江南各地士族豪强聚众反隋，攻占州县。杨素任行军总管，率兵分路进击，先后击破数支反隋武装，平定江南。 开皇十九年(599年)，杨素在灵州以北大败突厥达头可汗。 仁寿四年(604年)，汉王杨谅起兵反叛，杨素领兵数万击擒杨谅，平其众。
