Im 13. Jahrhundert errichtete man in Heldsdorf eine frühgotische Kirche und weihte sie dem Hl. Andreas. Davon ist bis heute ein spätromanisches Westportal erhalten. Im 15. Jahrhundert baute man ihrer statt eine gotische Hallenkirche. Nach einem Erdbeben im Jahr 1802 wurde sie durch eine größere Hallenkirche ersetzt, wobei man stellenweise die alten Grundmauern wiederverwendete. 1894/95 trug man die Wehranlage ab.