上ノ室城は小田氏の配下である吉原氏の居城です。小田末期の城主は吉原土佐守、越前守、備前守の名前がわかっています。城主の吉原氏は元は阿見の地から移住し、小田氏の旗下に入ったと考えられます。当時の築城者について詳細はわかっていませんが、土佐山という地名があることから吉原土佐守の築城と考えられています。近隣に花室城があることから何らかの関係があることがわかります。特に吉原越前守は元亀元年(1570年)の結城氏の侵攻があった際に、花室城の城主である大津長門之助貞兼とともに大将に選ばれていることからかなりの戦巧者であったことが想像されます。
上ノ 室城の城跡と伝わる西光寺一乗院周辺には土塁などの遺構を確認することができます。また西光寺一乗院内には吉原氏の家臣団末裔が建立した供養塔が建てられており、現在でも家臣団に慕われていることが窺えます。