平清盛が後白河法皇を幽閉し、平氏の専制政治が続くと思われましたが、その繁栄は長くは続きませんでした。

1180年（治承4年）、平清盛が孫の安徳天皇を即位させると、後白河法皇の第二皇子以仁王（1151～80）と源頼政（1105～80）は園城寺や興福寺の僧兵を味方につけ、平氏打倒を目指して挙兵しました。これを察知した平清盛は、軍を派遣し攻撃を加え、源頼政は宇治で戦死し、以仁王も奈良に向かう途中で討ち取られました。

しかし、以仁王の令旨は諸国に伝えられ、さまざまな在来領主（武士）が呼応し、所領の支配権拡大を目指し、平氏打倒のために立ち上がりました。この内乱は治承・寿永の乱といい、五年間にわたって続きました。

この反平氏勢力の最も強力ものが源頼朝（1147～99）の勢力でした。平治の乱で処刑された源義朝の子である源頼朝は、伊豆に流されていましたが、叔父の源行家から以仁王の令旨を伝えられた源頼朝は、1180年（治承4年）8月に妻北条政子（1138～1225）の父北条時政（1138～1215）らと挙兵しました。

石橋山の戦いでは、平氏方の大庭景親に敗れ海路で安房国に逃れていたものの、代々源氏に仕えていた東国の武士たちが次々に馳せ参じ、10月には源氏の本拠地である鎌倉に入りました。

平清盛は、孫の平維盛を大将に任命し頼朝追討の大軍を関東に派遣しましたが、平家軍は駿河国の富士川で源氏軍に大敗して京都に引き上げました。源頼朝はこれを追討せずに鎌倉に戻り、関東の経営に専念しました。東国の源氏に大敗した平氏は、建設中の摂津の福原京を放棄して平安京に戻り、以仁王に加担した大寺社を焼き討ちし、近江・河内の源氏一族を討伐して、畿内の支配を固めました。しかし、1181年（養和元年）に平清盛が死去すると、養和の大飢饉がおこり、平氏の経済基盤に深刻な影響を与えました。

源頼朝の従兄弟の源義仲は、一ヶ月ほど遅れて信濃国で挙兵しました。1181年6月、平氏の命を受けた越後の城氏の攻撃を撃退し、さらに1183年（寿永2年）に平維盛を大将とする平氏軍を倶利伽羅峠で撃破しました。この戦いで源氏軍は牛の角に松明をつけ夜襲したと言われています。

源義仲は敗走する平氏軍を追い、加賀国でも勝利し、そのまま京都に攻め入りました。畿内の反平氏勢力も一斉に反旗を翻し、同年7月に平氏一門は京都から追い落とされました。

京都で源義仲は政治的配慮を欠いたため後白河法皇の反感を買い、反平氏勢力の掌握に失敗してしまいます。その後源義仲は平氏を討つために中国地方に出征しますが、その間に後白河法皇は源頼朝の上京を促しました。源頼朝は、弟の源範頼と源義経を大将として東国の源氏軍を派遣しました。源義仲はこれを迎え撃とうとしますが、味方となる武士はほとんどおらず、1184年（寿永3年，元暦元年）1月に近江国粟津で戦死しました。

このように源氏同士で戦いが起こる中、平氏は福原に戻り、京に上る機会を伺っていました。後白河法皇は平氏追討の院宣を源頼朝に与え、源氏軍は平氏の拠点の一の谷を攻撃し、源義経の活躍により源氏が勝利しました。平氏の基盤だった九州や四国の武士も源頼朝に服従するようになり、1185年（文治元年）2月、源義経は讃岐国屋島の平氏を攻撃し、さらに長門国壇ノ浦に追い詰めました。源義経との海戦に敗れた平氏一門は、同年3月、安徳天皇とともに海中に没しました。

平氏滅亡後、源頼朝の勢力拡大を恐れた後白河法皇は、軍事的才能のあった源義経を重用し、源頼朝の対抗者にしようとしました。後白河法皇のこうした動きを察知した源頼朝は、鎌倉に凱旋した源義経を京都に追い返しました。これに対し後白河法皇は源義経とその叔父源行家に九州・四国の武士の指揮権を与え、源頼朝追討の命令を下しました。しかし、多くの武士たちは源頼朝への忠義から後白河法皇の命令を聞かず、源義経は孤立し、奥州平泉の藤原秀衡のもとに落ち延びました。藤原秀衡の死後、子の藤原泰衡は源義経を殺害し源頼朝への協調を図りますが、源頼朝は自ら大軍を率いて奥州に進軍し、1189年（文治元年）奥州藤原氏一族を滅ぼしました。こうして、源頼朝の武士の棟梁としての地位は揺るぎないものとなりました。