大祥寺城は豊田氏の一族である原外記(藤原清知)が栗崎城、大坪館とともに築いた城です。城跡がある大祥寺の石碑によると「永正元年、豊田氏の臣、藤原清知（原外記）がこの地に来て城を築いて居城とした。天文2年（1533年）に大祥寺が現在の地に移ってきた」とあり、城主原外記が祥庵寺を大祥寺城の地に移して名を大祥寺と改め、その開基となったことがわかります。
原氏はこの大祥寺の地に住んでおり、開基を期に居を移したと考えられます。一説によると移動先が笠根城だったとする説もあります。遺構としては本堂の北側裏手に深さ1m程の堀が残っています。
また天正十八年（1590年）には、多賀谷重経が原外記節の供養のため、観世音免・薬師免が寄進したとされている。現在の大祥寺は明治14年(1882)に堂宇が焼失しましたが、明治27年(1893年)に再建されたものです。
境内にある「親子地蔵尊」の由来縁起によれば 栗崎城主藤原清知（原外記）は戦国乱世の常として隣国より攻撃を受け落城し、当寺に逃れ、その子と共に生害したと記載しています。江戸時代になると村人達は原外記父子の生害を哀れみ、父子地蔵の石像一基を建立して供養したと伝えられています。 その後この石像が盗み去られ行方不明になっていましたが、昭和52年(1977年)に親子地蔵大菩薩として再現したものが現在の親子地蔵です。
