话说这权万纪也是个“人物”，因为敢于直言，所以从潮州刺史提拔为正四品下的朝廷京官。而身为持书侍御史，权万纪理当好好珍惜这得之不易的向上升迁的机会，继续发挥自己直言善谏的一面，结果却不然。根据《旧唐书》《贞观政要》等史书的记载，权万纪升职后，开始利用职务之便“告讦谮毁”——揭发别人的隐私、诬陷诽谤，甚至肆意弹劾别的大臣，惹得朝臣惶惶不安。
最后魏征实在是看不下去了，忍无可忍之下非常严肃地向唐太宗上奏说：“权万纪、李仁发并是小人，不识大体，以谮毁为是，告讦为直，凡所弹射，皆非有罪……附下罔上，多行无礼，以取强直之名。”一针见血地指出权万纪不过是个意图骗取直言敢谏之名的小人，认为唐太宗若是出于招揽敢于进言之人的目的，也大可不必将权万纪这样的人留在朝中，因为这样做只会有损自己的名声。唐太宗听了之后，欣然采纳了魏征的建议。权万纪后来“奸状渐露”，被贬为连州司马，史书上记载此消息一出，朝廷其他官员的反应是“咸相庆贺焉”，可见权万纪平日里的行径是有多么的卑劣与不得人心了。
这里可以顺带一提司马一职，这个职位在唐朝便是贬官的象征。唐朝在每个州都设置了司马一职，名义上为州郡佐官，实际上就是用来安排京城中那些被贬谪或是闲散的官员。事实上，权万纪不仅喜欢通过揭发别人隐私来搏取名声这一点为人所厌恶，他唯利是图，只重眼前利益的行为也招来了唐太宗的憎恶。权万纪曾提议可以通过大量开采宣饶二州的银矿以获取巨额利润，唐太宗听了后十分生气地说道：“朕贵为天子，所缺的不是钱财，而是没有利于百姓的好建议!与其多得到数百万贯钱，不如得到一名贤才!你不曾推荐过一名贤才，就一心专言税银之利。你这是想让我做汉桓帝、汉灵帝吗?”于是当天就罢免了权万纪的官职，让他回家了。
也正因为此，后世之人在点评权万纪时评价都很低，认为提出多开采银矿而获暴利的权万纪是“败仁义者”，是“不惟竭忠宣畅本朝而远献大珠以求幸媚”的小人行径，也是“横敛诸民”这种应摒弃的行为。权万纪被贬黜后又过了很久，才被唐太宗任命为吴王李恪的长史。结果就在权万纪担任长史之后没多久，李恪就因为打猎时踩坏了百姓的庄稼而被柳范弹劾，唐太宗知道后勃然大怒，认为权万纪没能尽到自己的职责罪该当死。柳范劝道：“房玄龄尚且都不能阻止陛下打猎，何况权万纪呢?”唐太宗这才罢休，不过李恪本人继和乳母的儿子赌博之后，再次被唐太宗削去了安州都督一职，实封再次被削去了300户。
而权万纪经历了这样一场惊魂后，对李恪进行了严厉的管教，之后的李恪虽然对大唐无甚功劳，却也没再犯过什么过错而再被唐太宗斥责——对比齐王李祐与蜀王李愔这种屡教不改的，已经是莫大的进步了。由于权万纪终于表现出了“有正直节”的样子，唐太宗也十分惊讶地发现，权万纪竟然能管住一直不能安分守己不断犯错的李恪，于是将他指派给了另一个喜欢屡屡犯事的皇子齐王李祐，意图匡正李佑。然而事实证明，唐太宗终究还是高估了权万纪。因为做了齐王长史后，权万纪外强中干的“纸老虎”本性再度暴露无遗。
根据《旧唐书》的记载，李祐在自己的封地“溺情群小，尤好弋猎”，又在其舅阴弘智——一个正七品下的尚乘直长的挑唆下，萌生了谋逆之心。而权万纪接任了李祐长史一职后，自然是兢兢业业，看到李祐胡来就犯言直谏，“骤谏不纳”后便把李祐平日里喜欢接触的那几个小人统统打发掉，结果李祐又将他们偷偷地找回来，还“狎暱逾甚”变本加厉。
而唐太宗见李祐不能悔过，几次写信严厉地责备他。权万纪见状，唯恐自己会像上次李恪打猎踩坏庄稼那样受到牵连，于是主动上京向唐太宗信誓旦旦地保证李祐一定会改过。结果李祐认为只有自己被斥责了，对权万纪极为不满。而权万纪生性由褊隘，只知道一味地严防死守，不准李祐这个不准李祐那个，惹得李祐大怒甚至想杀了他。不过权万纪事先得了风声，将意图谋杀自己的几个人全部关进牢里，并将此事上报给了朝廷，最后唐太宗令人将李祐与权万纪带回京城，权万纪奉诏先行，却被李祐在半路中射死。
总的说来，权万纪表面上看起来为人挺正直的，然而正如魏征所一针见血指出的那样，实质上不过是个沽名钓誉之辈。
说他是小人也许还不够恰当，但半生庸碌、外强中干、唯利是图的确是权万纪的真实写照。因为能够直言进谏所以被诏进朝廷当官，结果又不能真正有贡献于朝廷，反而成天只知道诬陷诽谤别的大臣，就连房玄龄、张亮这样的肱骨之臣都被谗毁过。权万纪的所作所为绝非一位正直的人会有的。而被外放做官后，权万纪又不能妥善地处理好与李祐的关系，反而变相地让其恶行变本加厉。可见权万纪所谓的“有正直节”不过是表面功夫，“以取强直之名”方是其本质。
