L'église romane paraît remonter au XIIe siècle, à l'époque de transition du roman au style gothique. Elle fut construite par les bénédictins de Cluny. Sur la partie Sud, un soubassement en "arêtes de poisson" serait plus ancien. Des tombes mérovingiennes trouvées à proximité laissent supposer que l'église a été construite sur les ruines d'un batiment plus ancien (temple ?).
En 1438, des Routiers, soldats mercenaires desoeuvrés par la fin de la guerre de cent ans, vinrent piller et bruler la région: Mont Saint Vincent, Joncy, Genouilly, Germagny, Maiseray, Saint Martin du Tartre furent dévastés. les habitants de Germagny se réfugièrent dans leur église qui fut brûlée et en partie démolie. Le clocher fut abbatu.
L'église fut remise en état par les habitants avec les restes de pierres calcinées. Elle doit son aspect trapu à cette époque, avec un clocher court qui contraste avec les murs de soutènement qui devaient à l'origine supporter un clocher plus haut et plus effilé.