吴聘和周莹结婚三年后，吴聘才去世。吴聘和周莹曾有过个女儿，不到一岁就夭折了。吴聘死后，周莹便过继了中院两岁的侄儿吴玉成做儿子，改名叫吴怀先。
周莹在42岁就病逝了，家产由吴怀先继承，吴怀先继承吴家基业后一生经商，但是没想到吴家在他手上衰败了。当然这也跟时代背景有密切关系，但是正值国破家亡之际，吴怀先也努力想保住家产，但是抵不过历史的洪流，慢慢的周莹一首创建的商业帝国就走向了衰落。吴氏庄园也在历史的长河中剩下了中间的一院，其他的都分给了其他人。
1936年：吴怀先将全部家产捐给国民政府，以做抗日之用
1937年：吴怀先借出安吴堡吴家大院（现安吴青训班旧址）给国家青年部，办起青年干部学校
1951年：吴家遣散最后一个管家
1966年：吴家被抄家，吴少怀及妻子、小女儿被送回安吴堡
1972年：吴少怀由于心脏病突发，没有被及时救治，不幸逝世。
