1926年，林去病、叶子午受中共温州独立支部指派回家乡瑞安发展党组织。他们到瑞安后，先后吸收进步知识青年戴义、徐泽民、郭演九、陈明达4人入党，并于同年11月在瑞安城区小东门外两面河东北侧的话桑楼成立了中共瑞安小组，这是瑞安地区最早建立的中共党组织，归中共温州独立支部领导。此后，林去病等人进一步在城区和农村发展党员，先后建立城区、莘塍、肇平垟和仙降党支部。1927年2月，瑞安党组织扩大后，中共瑞安小组改建为中共瑞安特别支部，其办公地点仍设在话桑楼。话桑楼成为瑞安党组织的重要活动场所。
中共瑞安小组成立遗址话桑楼，又名飞云阁,位于瑞安市玉海街道小东门街，建于清光绪二十四年（1898年），由居官退闲的黄体芳等人兴建。此阁面阔五间（14.7米），进深七架（11.5米），共两层，占地面积约200平方米，建筑面积约300平方米，建筑显示晚清时期的特色。解放后，话桑楼被原瑞安县人民政府列为第一批文物保护单位，后曾被瑞安制药厂占用，损坏程度严重， 2001年因建南门变电所需要，话桑楼被拆除。
