Villemoutiers signifiait "le domaine du monastère" en vieux français (du latin, Villa monasterii), un monastère qui dépendait des bénédictins de Sainte-Madeleine de Vézelay (Yonne) et qui abrita les moines de Ferrières-en-Gâtinais lors de l'invasion des Normands. Détruit pendant les Guerres de religion (1568) par les armées protestantes de l'amiral Gaspard II de Coligny, il fut remplacé par un prieuré, la maison du prieur, le seigneur de la paroisse.

Devenu un bien national à la Révolution, il fut vendu au père adoptif du peintre Anne Louis Girodet-Trioson et racheté ensuite (1802) par Jean-Baptiste Patrauld, un ancien moine minime franc-comtois, qui avait été le professeur de mathématiques du jeune Napoléon Bonaparte (1779-1784), mais aussi des généraux Jean-Charles Pichegru et Charles Étienne Gudin de la Sablonnière, natif de Montargis, à l'école royale-militaire de Brienne-le-Château, dans l'Aube. En 1796, son ancien élève, devenu général en chef de l'armée d'Italie, l'employa comme secrétaire à Milan, où il fit fortune. Troisième maire de la commune (1808-1815), il y mourut en 1817 et fut inhumé dans le cimetière communal que domine toujours la haute croix de sa tombe qui porte, comme épitaphe, "une larme au père des pauvres". En 1794, il s'était marié avec l'institutrice des petites nièces des deux frères Loménie de Brienne (l'un cardinal-archevêque de Sens et ancien ministre des finances de Louis XVI et l'autre ancien ministre de la Guerre du même Louis XVI) dont il était devenu l'homme d'affaire. Son fils Jean-Baptiste-Augustin Patrauld, né à Milan, fut élu, vers 1840, maire de Mignerette (Loiret) puis conseiller général du canton de Ferrières-en-Gâtinais.

Au milieu du XIX^e siècle, le peintre Gustave Mailand transforma la vieille demeure des prieurs en un château de style post-gothique et y amena, de Paris, une tourelle de l'ancien oratoire de la Reine-Blanche, lors de l'ouverture de la rue de Rivoli par le Préfet Georges Eugène Haussmann. A la suite du mariage de sa fille Emilia, avec Valentin Chodron de Courcel, le château devint la propriété de leur fils unique, Henri Chodron de Courcel qui, au début du XX^e siècle, fut opposé à la loi de séparation des églises et de l'État, lors de nombreuses élections, dont la députation, mais il ne fut que conseiller municipal de la commune, en 1907, et mourut en 1909.

L' église Saint-Nicolas, avec son maître-autel en bois du XVII^e siècle et l'ancien baptistère des moines chassés en 1568, reconstruite en 1880, et le clocher du XVI^e siècle, qui fut une tour défensive, inscrit à l'inventaire des monuments historiques et qui fut incendié par la foudre en 1945, constituaient l'ancienne église conventuelle, avec la chapelle du XII^e siècle, devenue une grange du château ayant perdu son toit en 1995.