灵芝社区位于县城北面，南面以灵芝路为界，东至递铺港，西北至古鄣路，区域面积约1.3平方公里，辖有宁馨花园、汇丰北苑、新嘉园、嘉和苑、翰林阁等小区，以及油化厂宿舍、杨家花厅及应家谭等散居户。社区现有户籍户数1786户，人口4128余人，实际居住4241户，人口12723人。社区党组织建制为党支部，社区专职工作者7人，其中党员6人，女性4人，平均年龄38.5岁，文化程度大专以上6人、高中1人，现有在册党员77人，在职党员475人。其中：60周岁以上老人307人，70周岁以上老人82人，80周岁以上老人25人，低保户2户，已经办理二代残疾证的25人。近年来，社区先后获得了市级法治小区、市级民主法治社区、市级绿色社区、省级体育俱乐部、湖州市文明社区等荣誉称号。
　　灵芝社区附近有独松关和古驿道、大小岭古道、半岭古道、安吉朱氏宗祠、江南天池（天荒坪电站）天荒坪抽水蓄能电站等旅游景点，有安吉白茶、安吉冬笋、安吉竹盆景、安吉冬笋、百笋宴等特产。