自出仕以来，杨集处处与世家门阀为敌、处处在掘世家门阀的根基，仿佛一天不与世家门阀斗一斗，就活不下去似的，于是又让他有了「灭‘世，神刃」、「灭‘世，毒匕」等绰号，以五姓七宗为首的山东士族对于杨集的戒备、敌意显而易见。但是由于杨集的没有什么可以攻讦的黑料，而且他那个又硬又稳的后台、没有底限的支持和信任杨集，这便使他们不仅对付不了杨集，反而在一次次斗争中，折了许多许多已然出仕的子弟。
其中最惨的，无疑便是二崔了，代表山东士族的崔仲方当初发起了**令，希望杨坚将泛滥的纸书禁止掉，然而在朝堂他们斗不过杨集之后，还被张瑾坏了大事，导致所有要求**的官员都被罢免为民了。事后，杨集把崔氏的犯官名单公诸于众，其中一些人是犯了事以后，被崔氏带回去清理门户了的，然而不久，他们又换个名字出仕。
当杨集把这些一一罗列出来，世代簪缨的崔氏名声大跌，从高高的云端被打落尘埃；此之以后，但凡某个世家把犯事子弟清理门户、革除族籍，人们便以崔氏为例，然后对那个世家的做法嗤之以鼻。而崔氏的「公关危机」非但解决不了问题，反而因为一次次成为反面教材，使他们曾经的做法让更多人知道、让更多人谩骂。
后来，崔仲方虽然又复出了，可是不久，又被杨集拿下了，并被皇帝打发到博陵养老去了，看这样子，这辈子是再也没有复出的机会了，毕竟年纪摆在那儿。
杨集的作为令山东士族损失惨重，不过山东士族虽然对外是一个整体，而且他们之间彼此联姻，于较量竞争之余，也有相互照拂的义务和情谊，但是杨集几次针对二崔的事实，又有谁会解读为这是对整个山东士族的威胁和挑战呢？
没有，一个都没有。
恰恰相反的是，当二崔的名声被杨集弄臭之后，卢氏一跃成为四大高门之首，人才辈出的陇西李氏则是首次进入四大高门；而崔仲方第二次失势之时，李子权接了崔仲方空出来的代表山东士族的相位，使赵郡李氏意外的成了大赢家。他们或许不会因此感激杨集，但受益的世家门阀至少不会对他心生敌意；而卢氏便是如此。
唯一让卢氏顾虑的，便是杨集这个「灭世毒匕」的灭世观念，然而一经接触，卢赤松和卢长谐却发现杨集非常好说话、非常好接触，根本就不像传说那么霸道。甚至还真知灼见的说世家门阀「野火烧不尽，春风吹又生」；与此同时，他还说世家新不如故。
这下子，卢氏放心了。
当
…。。