第五次罢官对萧硔乃至萧家的打击是很大的。因为这次罢官不仅罢了萧硔的相位，而且罢了他所有的爵位，“一抹到底”，还要逐出京城。
        萧家最经受不起这次打击的是萧皇后。她已经在中国历史上著名的“贞观之治”的大环境中安享晚年１８年，此时８２岁高龄，已是风烛残年。如果没有这种打击，安安稳稳，也许还可以活几年。对于这种打击，她经受不起了，死了。萧皇后的死，对于萧硔则又是一个沉重的打击。因为在同辈亲属中，只有他们相依为命几十年的姐弟两人了。从此就只有小辈亲属了。姐弟之间，可以无话不谈。在小辈亲属面前，有些心里话，“悄悄话”则不是都可以说的。所以萧硔感到了极度的孤独和寂寞，精神十分消沉，这恰恰又是老年人大忌的一种心态。在这种孤独与忧郁之中，年已７４年高龄的萧硔也经受不住了，他病倒了。
        这时候，唐太宗住在玉华宫。这是李世民为自己养老而在原仁智宫的基础上扩建的行宫。扩建后改名玉华宫。唐太宗于贞观二十二年四月在此书《玉华宫铭》，六月在此召见高僧三藏法师玄奘。八月在玉华宫玉华殿命上官仪宣读《大唐三藏圣教序》。后“宫”改为“寺”，名玉华寺，玄奖曾于此翻译佛经。玉华宫范围很广，占了几个山头、山谷。有五座高大宫门，九座殿堂。屋宇连片，画梁雕栋，十分气派；林木葱郁，鸟语花香，环境优美。时隔千年，现在还存有飞雨、水廉、北泉三遗址。这里在长安东南２００里处的秦岭山区。那时的长安，不像现时的西安气候干燥，冬天寒冷，夏天酷热，而是气候温和湿润，很适宜于植物的生长，动物的繁衍，人类的生存。
        唐太宗平静下来以后，很快就意识到自己对萧硔的处分太重了。他下诏书恢复了萧硔宋国公的爵位，还加授金紫光禄大夫，为正三品。又加“特进”两字，这是授予公侯中有特殊地位者的，已相当于正二品。唐太宗派人护送萧硔来玉华宫，准备让萧硔等一些心腹大臣与自己一起安享晚年。这样处理，这次变故乃至萧硔整个一生，也算以喜剧告终了。
谁知萧硔被送到玉华宫，病情突然加重。不几天便去世了，这是贞观二十年六月二十日，终年７４岁。时离萧皇后姐姐去世仅三个月。
        萧硔的死讯传来，李世民正在用膳，他立即放下筷子，遣使祭吊，并让太子李治为之举哀。太常寺议定加谥号“德”。太宗说：“谥号，是表明一个人行迹的，应该符合实际。萧硔行为端直近‘贞’，性情多猜近‘褊’，宜谥为‘贞褊公’”。于是定谥号为“贞褊公”。又诏赐司空，陪葬昭陵。昭陵是唐太宗为自己选择并建造的陵园。长孙皇后已先葬在那里。萧硔临终遗书说简办丧事，诸子遵其遗志，从俭迅速办了丧事。
        萧硔病逝一个月后，房玄龄也病逝于玉华宫。不到一年，唐太宗李世民驾崩。历史学家称颂的“贞观之治”到此结束，降下帷幕。
        萧硔作为一个亡国皇家的后裔，他在唐朝的政治生涯，与唐高祖李渊的武德朝、唐太宗李世民的贞观朝相始终。始终在朝廷的权力中心。他的主要作用和功绩是在武德朝。入贞观朝后，五遭罢相，大起大落，都是以忠诚亮直，不徇私情，不越法度而屡罢屡起。最后，虽然从安享晚年的角度看，还死得早了一点，但也是得以善终了。以后，他的孙子、曾孙、玄孙辈以及从子（侄子）一支有８人为相，与唐朝相始终可谓兴旺发达，这在历史上是少见的。