学校出来后，文绣再次失业。以前的家也不能住了，搬到刘海胡同的四合院隐居起来。虽是隐居，也不得安宁，来求婚的、骚扰的很多，文绣那年才24岁，却遵守离婚时永不再嫁的约定，把所有人都回了。
这样的日子又捱了四年，带在身边的珠宝首饰也卖得差不多，文绣辞退佣人，卖了房产，仅留一间住着。经济上已现危机，她只好重操挑花旧业。这还是她在年少，帮母亲养家时所学的手艺。没想到时光流过，她皇妃也做了，还会重操这项手艺。挑花赚不了多少钱，文绣只得投靠娘家的表哥。
在亲戚家，文绣糊过纸盒，还去做过挑灰递砖泥瓦工的粗活，甚至被迫去街上叫卖香烟。在街上叫卖香烟时，又受到记者围堵，她惊慌地逃回家里。好在经人介绍，文绣很快找到一校对的工作，她的第二段婚姻，也是由此开始。
抗战己胜利，文绣不再履行不再嫁的约定，她要为自己余日着想。国军军官刘振东这时闯入她的生活。刘振东四十多岁，还没结婚，与文绣开始相处时，文绣是有犹豫的。毕竟溥仪给她心灵上留有阴影，她不能确定再婚是否明智。相处了5个月，她被刘振东的细心体贴以及感情上的专一打动，两个人在北平结婚。
婚礼在当时有名的“东