。没多久，南京御史柳佐、给事中章守诚又上言；而吏部更是过分，在侍郎顾宪成的带领之下“空司”而逐志皋，意在激怒万历。后又有给事中张涛、杨洵，御史冀体、况上进，南京评事龙起雷相继诋毁赵志皋，而巡按御史吴崇礼又弹劾赵志皋的儿子两淮运副赵凤威，结果赵凤威被停俸。不久，工部郎中岳元声极言赵志皋应回家养老，给事中刘道亨更是不遗余力地攻击。

当时赵志皋气得说：“同一阁臣也，往日势重而权有所归，则相率附之以谋进；今日势轻而权有所分，则相率击之以博名”。遂一心求退，但万历不肯，只是一直“慰谕之”。

可见这人的脾气，看来是真的好。