康熙四十八年状元赵熊诏（１６６３—１７２１）府第原有房屋２８进，占了半条县学街。这座宅第是赵熊诏父亲、户部尚书赵申乔（１６４４—１７２０）所建。建造这座宅第时，把白云湾沿岸的杨柳树都砍掉了，洪亮吉对此似乎有点意见，故有“月光夜照官河口，赵家不种春杨柳”的诗句。在赵家花园靠白云湾处，有一方形阁楼，是赵熊诏的读书处，这是常州人人皆知的魁星阁。它是当年端午观龙舟竞渡的好地方。洪亮吉在《外家纪闻》里有描写：“每端午日前后，灯船歌舫齐泊湾中，箫鼓之声自昏达旦，而赵家三层阁上亦结采悬灯以应之。”
        乾嘉年间，赵熊诏的后人，毗陵七子之一赵怀玉曾大规模整修这座宅第，新建了方玉堂、云窝、水阁、亭榭等景。１８６０年太平军占领常州，设为圣库，英王陈玉成还曾驻节于此。１８６４年李鸿章攻陷常州，大肆劫掠圣库，为了毁灭罪证，一把火赵家房屋大部被烧，只大门、延桂山房和魁星阁得以幸存。光绪十二年（１８８６），做了十任知县的史干甫买下了这座院落，重建房屋，整修花园。“方玉堂”改建为“望月水榭”。
        龙形花墙把园一分为二，称内园和外园。外园有“凸”字形朝南五间经堂。东面一间与船厅相邻，壁上嵌经文石刻八块。中间凸出的三间为男经堂，左右两间为女经堂。堂前黄石假山奇峰峻岭，丘壑跌宕，山径回转。这座假山占了大半个园子，主峰与屋檐相齐。山上有老桂、黄杨，每到中秋，桂花飘香，溢出园外。
        内园有延桂山房，明月廊，鱼池，亭榭。魁星阁挺立北墙下，墙外便是白云溪。延桂山房后廊壁间，嵌有米芾、蔡襄等名家书法石刻十余方。园名便是集蔡襄书“以意为之”匾额而得“意园”。整个园林，清雅幽邃，别具一格。内园小巧玲珑，外园峻雄秀美。中间龙形花墙，墙上有精美双层花窗，为江南园林所罕见。