吴氏过这种的教育生活——田园的教育生活，将近五十年。在他六十八岁时，年纪老了，朝中有一班当道交相推荐，皇帝也想请他辅教太子，他以时机不宜，入京不久，仍然款段回乡，从事于旧日生活。不过从前很贫，长年典借度日，自此稍受国家的廪禄，较以前稍稍宽裕一点。到宪宗成化五年，以寿终，一共活了七十九岁。
二 修为论
吴氏是张横渠、李延平一流的人，少时性情刚忿，气象豪迈，到中年以后则恍然一团和气，如光风云月了。他的性格所以有这样剧变的原因，全靠他自己修为的工夫。他一生在修为方面用过很大的苦功，差不多一生就在修为方面苦做工夫。黄宗羲说：“先生之学，刻苦奋励，多从五更枕上汗流泪下得来。及夫得之而有以自乐，则又不知足之蹈之、手之舞之。盖七十年如一日，愤乐相生，可谓独得圣贤之心精者。”（《明儒学案·师说》）我们再看他所作的日记，真可以想见他的修为工夫之苦了。他的修为工夫，即颜渊的克己复礼工夫。他说：“圣贤所言，无非存天理，去人欲。圣贤所行亦然。学圣贤者，舍是何以哉？”则知他的克己复礼工夫，即以“存天理，去人欲”为目的。要达到这个目的，非刻苦奋励不能有成；非一心于道，勿动于外物，随时随地痛下工夫，不许有毫厘间断，不能有成；非经过几次困难，受过几次挫折，使志气益加磨炼，不能有成。所以他的修为工夫，要专一，要诚笃，要安贫吃苦，要心平气和，且要不使有毫厘的间断，且要从困苦忧患中益发养成。这简直带了一种苦行味。“一事少含容，盖一事差，则当痛加克己复礼之功，务使此心湛然虚明，则应事可以无失，静时存养，动时省察，不可须臾忽也。苟本心为事物所挠，无澄清之功，则心愈乱，气愈浊，梏之反复，失愈远矣。”他一段日记，已把他自己的修为工夫，完全写出。简单些说，即是静时存养，动时省察，不可须臾忽的工夫。吴氏思想一禀宋人成说，绝无新的表现，厌恶笺注浩繁，有害无益，所以不轻于著述，即著述也不过敷衍陈说而已。所以他是一个实行的教育家，更可以说是一个苦行的教育家。想到哪里即做到哪里，做到哪里即教到哪里，他平日所做的即其所教的。作为圣贤即教以圣贤，这个圣贤是从身体力验、刻苦奋励得来，不是凭口说凭书本得来。这个圣贤是要做一辈子，毫无间断地得来，不是一曝十寒或始勤终怠得来。所谓“敬义夹持，明诚两进，而后为学问之全功”，则又是朱子的下学工夫。