北には服部川と柘植川、南には久米川、西側には木津川の本流が流れ、城と城下町を取 り巻く要害の地にある。
藤堂高虎が大規模に改修した時は、大阪城の備えとして西側の防備を固めた。