杭城上城區(qū)馬坡巷16號最初是清朝桐鄉(xiāng)貢生汪淮所購的中式宅院，園內原有水池、三曲橋、假山等。因傳聞北宋大書法家米芾之子在此留有遺址，便以“小米”二字定名，稱“小米山房”(俗稱小米園)。

清乾隆五十三年(1788)軍機處行走龔禔身辭去朝官，回家鄉(xiāng)杭城后，正值汪家敗落，趁機買下小米山房為終老之所，孫子龔自珍就在小米園出生并求學。龔自珍的父親龔麗正，精于史學，著有《國語韋昭注疏》等；其母親也是通書達理的大家閨秀；外祖父段玉裁更是精通文字學，重要著作有《說文解字注》、《毛詩詁訓傳》、《古文尚書撰異》、《六書音均表》、《周禮漢讀考》、《儀禮漢讀考》、《經韻樓集》等，學問精深淵博。當龔麗正于嘉慶年間考取進士不過幾年，敬身、自珍及藻身這三個兒子相繼中舉，并在道光年間也先后考中進士，三兄弟并稱為杭州“東城三龔”。

龔自珍不僅出生在杭城，而且晚年有段時間回歸故里，主持過杭州紫陽書院。小米園歷經數百年后衰敗，僅存殘園和一廳。1988年進行修復，將該園辟為“龔自珍紀念館”對外開放。占地六百多平方米，兩層樓房，上下五開間，兼有耳房，雕梁畫棟，古樸典雅。館內正廳安放龔自珍半身古銅色塑像，四周懸掛沙孟海、趙樸初等名家提寫的匾額、楹聯。四個展室，陳列了龔自珍生平圖文簡介、大事年表、史料、龔氏年譜、詩選和后人研究文集等。庭院內小橋流水、假山亭榭，在花木襯托下，富有江南園林的特色。紀念館大門朝東，石庫門上方鑲著一塊石匾，刻著“龔自珍紀念館”六個字，由趙樸初先生題寫。門外立有一塊石碑，上刻“杭州市市級文物保護單位：小米園”，進馬坡巷一百多米就能見之