摂津源氏の源仲政の子で先祖は酒呑童子討伐や土蜘蛛退治で有名な源頼光につながる。
鳥羽法皇の寵愛を受けた美福門院に近侍し、保元の乱では美福門院の支持する後白河天皇方に属し勝利した。しかしこの乱で崇徳側についた一族を失うなど受けた打撃も大きかった。河内源氏の頼朝の父義朝も父為義や弟達を失っている。
保元の乱の三年後に起きた平治の乱では、はじめは信頼方に属した。しかし二条天皇が内裏から脱出して清盛の邸宅に行幸すると、二条天皇を擁する清盛方につき、信頼方の中心的武士であった河内源氏の義朝らに勝利した。こうして没落した河内源氏を尻目に、頼政の摂津源氏は中央政界で勢力をのばした。
平氏政権下で内裏の警護や延暦寺の強訴に対処するなど活躍した頼政は、治承二年に当時源氏としては最高位の従三位に昇進し公卿の仲間入りを果たした。また歌人としても優れた才能を発揮した。勅撰和歌集に数多く入首し家集「源三位頼政集」を残した。悲願の公卿入りを果たした翌年の75歳で出家した頼政は家督を嫡子仲綱に譲った。このように平氏政権下で栄華を極めた頼政だったが、以仁王の項で記したように、反平氏として立ち上がり子息等と共に平等院で命を落とした。頼政の一門は絶えたかに思われたが、頼政の末子広綱や仲綱の子有綱等は知行国の伊豆にいたため難を逃れ、頼朝の挙兵に与して平氏追討の戦いに参加した。そして五年後に壇ノ浦で平氏を滅亡に追い詰め、頼政の無念を晴らした。