而在顾横心里，则想到了另一个时空里，吕留良原本更加悲惨的命运。

顺治八年冬，其兄吕愿良在贫病饥寒中死去。

由于儿子吕宣忠已死，吕留良为其操办后事。

顺治十一年，陆文霦约请吕留良一起评选八股文时，吕留良欣然应允。

于是，他们两人在吴门集市租了一间房子，从事评点工作。

因为他们评选的是从清朝入主中原后顺治三年开始八股取士到顺治十一年共五科的文章，故名《五科程墨》。

吕留良借评选时文以宣扬“华夷之分大于君臣之伦”，其民族气节对士人学子影响极大。

顺治十六年以后，吕留良结识浙东余姚著名学者黄宗羲、黄宗炎兄弟和宁波隐士高斗魁。

吕留良嗜砚成癖，曾自言：“予幼嗜砚石，所蓄不下二三十枚。”吕留良的长子葆中称父亲吕留良“摹印斫砚，技艺之事皆精绝”。

黄宗羲从其所好，赠予吕留良一方八角砚。

吕葆中即于此时从黄宗羲问学。

两年后，二兄吕茂良以吕留良外务过多，荒废学业，强留于崇德西门内祖居友芳园之梅花阁，教子侄辈读书。

康熙二年，黄宗羲应聘至梅花阁执教。

吕留良与宗羲、宗炎、吴之振、吴自牧、高旦中等，相聚于园内水生草堂，诗文唱和。

又与之振、自牧共选编《宋诗钞》九十四卷。留良为所选八十余位宋代诗人撰写小传。

康熙五年，浙江学使至嘉兴考核生员，吕留良拒不应试，被革除诸生。

此举震惊社会，而吕留良怡然自得。从此归隐崇德城郊南阳村东庄，自开天盖楼刻局，继续选刻时文出售，并提囊行医，以自隐晦。

这个时候他的诗朋文友大半散去，独与张履祥、何商隐、张佩葱，专攻程朱理学，创立南阳讲学堂，设馆授徒。

然而，他的身益隐而名益高。康熙八年迎理学大儒张履祥至东庄讲学，“共力发明洛闽之学”。

另一方面吕留良又编辑刻印程朱遗书，“以嘉惠学者”。

此时他继续从事时文评选工作。他开“天盖楼”刻局，自选自刻，自己经营发行，一时之间“天盖楼”选本风行全国。

吕留良通过评选八股文，宣传他严“夷夏之防”和恢复“井田”、“封建”制的政治主张。

这也就是《行略》中所说的“其议论无所发泄，一寄之于时文评语，大声疾呼，不顾世所讳忌。”

此时吕留良曾频频出游，写了相当数量的记游诗。

他约友人同游南北湖，即景赋诗，许多诗篇都富有强烈的反清意识。

这三十多首纪游诗，成集时题为《真腊凝寒集》。

另外吕留良还结交了黄虞稷、周在浚等一批新友，写了许多唱和诗，全都收在《零星稿》中。

吕留良与黄宗羲最后由于立身旨趣的歧异，终致绝交。

而吕留良晚年，正值清政府对文人进行软硬并施、加强专制统治的时期。

康熙十七年，清廷开博学鸿词科，企图笼络当时的一批名士。

浙江当事首荐吕留良，吕留良固辞乃始得免，而与他同时代的汤斌则欣然应试，由于缺乏竞争，后得中高官。

康熙十九年，清廷为了进一步拉拢和软化明遗民，征聘天下山林隐逸，嘉兴郡守复荐吕留良。

吕留良在被逼无奈之下，只好削发为僧，取法名耐可，字不昧，号何求老人，去吴兴埭溪之妙山，筑风雨庵，隐居讲学，门人弟子亦甚众。

康熙二十一年秋，吕留良与门人子侄三游南北湖，按出游日程写了一组纪游诗，编成诗集名为《东将诗》。

这时大清江山日益稳固，吕留良时刻惦记的抗清复明基本上已成泡影，这愈发增加了他的愤世嫉俗之感。

吕留良早衰，年四十余须发灰白齿落过半，且幼有咯血疾，遇有怫郁即发。

康熙二十二年，吕留良重游杭州，所写诗篇收入《欬气集》中。

这年八月，吕留良因病与世长辞，终年五十五岁。

临终前数日，吕留良仍勉力补辑《朱子近思录》及《知言集》，作《祈死诗》六篇，子侄弟子劝其休息，答道：“一息尚存，不敢不勉。”

吕留良临终时勉励门人“细心努力为学”，告诫后人一定要恪守“孝友大义”。

忽然吕留良又说：“我此时鼻息间气，有出无入矣。”

门人呼“先生”，留良答曰：“人皆如此！”声音半涩而字义楚楚。

随后吕留良令众人退出，作揖“拱别者三四”。于是从容正容，展伸其足，叉手安寝而逝。.而在顾横心里，则想到了另一个时空里，吕留良原本更加悲惨的命运。