頼朝の対平氏戦略をもって甲斐国へ向かった土屋宗遠は、桓武平氏の中村宗平の三男として大治三年(一一二八)年に生まれたとされます。土肥實平は兄にあたります。
宗遠には、はじめ子がなかったので、佐奈田与一義忠の弟義清を養子としました。治承四年(一一八〇)の頼朝挙兵に参加し、富士川の戦い・一の谷の戦い・屋島の戦いなど数多の合戦で活躍します。建保元年(一二一三)の和田の乱で土屋一族は和田義盛方に与し、義清は討死するなど大打撃を被ります。老年の宗遠は出家します(法名、空阿)。
出家した宗遠は相模国の土屋郷に土屋山阿弥陀寺を建立しました。そして建保六年(一二一八)に九〇歳で亡くなったといわれています。
神奈川県平塚市土屋には、土屋宗遠ゆかりの館跡や墓所、大乗院などが残っています。