引退後の拙堂が余生を過ごしたのが、津城下の北で安濃川左岸の茶臼山に営まれた茶磨山荘です。広さが5反9畝18歩（約5,870㎡）あったとされ、山荘図を見ると、城下から十瀬川（安濃川）を渡って桜並木を通り、山荘の門に至る様子が良くわかります。山荘背後の丘陵には園路が設けられ、「櫻花搗」や「秋錦坡」などの四季折々の景色が目に浮かぶような名前が記され、「観海亭」や「茶磨亭」からは、伊勢湾から遠く木曽の山並みまで眺望できる格好の展望台であったことが窺えます。
　この山荘には、拙堂の意見を求めて幕末の志士や学者も訪れており、長州の吉田松陰や土佐の吉田東洋、肥後の横井小楠などはその代表的な人物です。
　現在、山荘のあった場所は当時とは大きく景観が異なっていますが、その一角に説明版が設置されています。また、かつて鉄道線路の西側にあった齋藤拙堂山荘跡の石碑は、平成27年3月に三重大学構内に移設されました。