卷一《閨房記樂》描述了作者與妻陳芸閑居滄浪亭畔時,每當花開月上,夫妻對酌吟詩,怡然自得的生活,表達了作者對亡妻的深深懷念。卷二《閑情記趣》敘述了作者在生活窮困中,曲盡文酒流連之樂,賞玩花卉蟲魚,布置各種賞心悅性之具,憑著愛美的心性,領略無處不在的一種真趣,闡發了作者不同凡俗的美學觀。卷三《坎坷記愁》記述了作者伉儷天性浪漫,不容於封建大家庭,兩次遭逐,飄泊無依,窮困潦倒。顛沛流離中愛妻陳芸病死他鄉,不幸其父也相繼離開人世。作者奔喪歸來,兄弟失和,慘遭家庭巨變。人生坎坷,備嘗艱辛。卷四《浪遊記快》 敘作者遊幕作賈,遍曆風景名勝,記下了各地的美麗風光。書中反映了當時的世態人情,如封建禮教對婦女的迫害以及知識分子的淒涼遭遇,後兩記已佚。