少年时当过和尚，因行为无赖，所至不容，曾乞食于河南滑州酸枣县，自早至晚，没人给他东西，李罕之发怒，掷钵于地，撕毁僧衣，投奔河阳节度使诸葛爽，入伍当了士兵。罕之，是他出家时的僧号，从此便以此为名。李罕之有勇力，与人相殴，致死方休，诸葛爽因此让他当了小校，后李罕之投奔了黄巢起义军。
879年，淮南节度使高骈派大将张璘南下，击败黄巢，李罕之与毕师铎等将领投降高骈，被任命为光州刺史。一年多后，光州受到蔡州节度使秦宗权的攻击，李罕之不得不再次依附河阳节度使诸葛爽，改任怀州刺史。诸葛爽当时奉诏攻击秦宗权，便上表任命李罕之为副招讨，但不能取胜。中和四年(884)，诸葛爽命李罕之为河南尹和东都留守。此时，河东节度使李克用正与宣武节度使朱全忠翻脸，于是与李罕之相结。885年，秦宗权部将孙儒攻击洛阳，李罕之迎战，对垒数月，力不能敌，退保渑池，孙去后，李罕之复回洛阳。
886年冬，诸葛爽病死，子诸葛仲方年幼，大将刘经掌权，镇守洛阳，李罕之与大将张全义奉诸葛仲方攻击刘经，不胜，退保怀州，秦宗权的大将孙儒趁机又攻陷了河阳。李罕之向盟友李克用求助，得到沙陀军帮助后收复河阳，李克用任命李罕之为河阳节度使，同平章事，张全义为河南尹，东都留守。李罕之既得河阳，不可一世，经常向据守洛阳的张全义勒索。
888年春天，张全义出动洛阳全部民军突袭河阳，将毫无防备的李罕之打得大败而逃，李罕之只身奔太原，被李克用任命为泽州刺史，仍遥领河阳节度使，并派大将李存孝助其一臂之力，张全义敌不过李克用的沙陀兵，求助于朱全忠，李存孝惧而退还，李罕之走保泽州。
由于天下大乱，粮草不足，生新残暴的李罕之纵兵为祸，以活人为食，每天派兵抄怀孟、晋、绛诸州，杀人无数，数百里内郡无长吏，里无居民。河内百姓，纷纷相结屯寨，反抗暴政，但都被李罕之派兵消灭。蒲、绛二州之间有座摩云山，有数万百姓立栅于上以避乱兵烧扰，远近流寇皆不能犯，却被李罕之以经兵百人攻克，时人称李罕之为“李摩云”。
894年，李克用动员全部兵力讨伐凤翔节度使李茂贞和河中节度使王行瑜，李罕之时任邠州行营副都统，率军随李存孝一起征战，屡获胜利，等到王行瑜被杀后，李罕之被任命为检校太尉，他想代替王行瑜镇守河中，但李克用不同意，李罕之非常不满。898年12月，李克用属下的昭义节度使薛志勤去世，城内无主，李罕之从泽州率兵突入潞州，自称留后。李克用大怒，遣大将李嗣昭讨之，双方彻底翻脸，李罕之求救于朱全忠，朱全忠派大将丁会来救。
不过，潞州最终还是被李嗣昭攻陷，899年，朱全忠命李罕之移镇河阳，李罕之于道中病卒，时年58岁。
