頼朝の対平氏戦略をもって甲斐国へ向かった土屋宗遠は、桓武平氏の中村宗平の三男として大治三年（一一二八）年に生まれたとされます。土肥實平は兄にあたります。
宗遠には、はじめ子がなかったので、佐奈田与一義忠の弟義清を養子としました。治承四年（一一八〇）の頼朝挙兵に参加し、富士川の戦い・一の谷の戦い・屋島の戦いなど数多の合戦で活躍します。建保元年（一二一三）の和田の乱で土屋一族は和田義盛方に与し、義清は討死するなど大打撃を被ります。老年の宗遠は出家します（法名、空阿）。
出家した宗遠は相模国の土屋郷に土屋山阿弥陀寺を建立しました。そして建保六年（一二一八）に九〇歳で亡くなったといわれています。
神奈川県平塚市土屋には、土屋宗遠ゆかりの館跡や墓所、大乗院などが残っています。