五桂楼有五马山墙以防风火，前后有四米高的围墙，围墙东西两侧有大门，西侧为正门。进门便是卵石砌成的庭院，石刻木雕，花草竹木使庭院绿荫婆娑，花香袭人，灰尘不蒙，市声不喧，显得幽静，古朴、清雅。楼下为三楹统间前后分隔，前厅为讲学会文之所，后厅是楼梯，楼上有书橱二十四架，藏有5万多卷古书善本，名画碑贴和手抄本，有木雕板近百块，屋顶呈“众”字形，有暗阁，明看二层，实为三层。据传，凡遇战乱，善本多藏千顶上暗阁，暗阁中至今仍保留有“柱百竿”一根，长9.8米，竹竿上记着当时建楼的各种尺寸数据和梁架构件的符号，似现代的建筑图纸。登五桂楼眺望，可一览四明七十二峰，故五桂楼又名七十二峰草堂。现悬挂的“五桂楼”匾额为清代书法家胡芹所书，“七十二峰草堂”为清代书法家吕屐山所题。五桂楼有一套比较严格而独特的藏书保管制度，所以，它藏书之丰，在浙东仅次于宁波天一阁，有“浙东第二藏书楼”之称。现为省重点文保单位。五桂楼西侧原有书房两间，名曰“爱吾庐”，后扩建为五间，雕栋画梁，卷蓬饰顶，建造讲究，名称“梦花书屋”，与五桂楼相互辉映，为黄澄量居室和会友、写书之所。东侧有平房五六间，为当时工匠雕板印书所用。另建有厨房和家人居室，周围圈以围墙，庭院有卵石砌面，形成一古朴优雅的建筑群落，典型的江南书香门第。

五桂楼为三间二层的五马髟木结构楼房，座南朝北。楼房通面阔10.3米，通进深10.38米，明间面阔4.3米，次间面阔3米，通高9.96米。穿斗和抬梁相结合的梁架结构，屋顶成“众”字形，利用中间暗阁来隔热防漏，有利于书籍的保管。阁楼暗间中至尽保存有“柱百竿”一根，在长9.8米的竹竿上记注着当时建筑此楼的各种尺寸数据及梁架构件的符号，起到现在建筑图纸的作用。楼下为客厅，楼下收藏书籍，排列二十余口大书橱，分藏所有古籍秘册。为了防火，在楼东西高筑风火高墙，更在书楼的四周筑有三米多高的围墙。大门开在围墙的东西两边，墙内楼前有半亩庭园，以鹅卵石铺地，庭内栽有桂树与柿树，近南墙垒石成桌以置盆景，朴质幽雅。由于五桂楼的“藏书之富甲越中”，闻名于东南，故有“浙东第二藏书楼”之称。