同平章事吉頊，與二張同居奉宸府，頊與武懿宗不睦，恐武氏立，失官致禍，遂說昌宗曰：“公兄弟貴寵，天下側目，不有大功於朝，天皇千秋高，一旦山陵崩，二公將何以自全？”昌宗聞言，大恐，亟問曰：“君言誠然，敢問自全之計。”頊曰：“天未厭宋，立武則速亂，廬陵王有賢聲，公何不勸上儲位，以慰天下之望？非但免禍，且可以長保富貴也。”昌宗曰：“所言固當，但易之已在天皇前力保承嗣為太子，我亦許為之進言，今若忽保廬陵王，自相矛盾，可乎？”頊微笑曰：“公何迂哉，成大事者，寧持小節，況立承嗣，不過群小之偏見，何若立廬陵王，而使天下歸心之為得也。”昌宗大悟，於是承間屢請以廬陵王復儲，後意乃決，蓋廬陵王之復儲，初非狄仁傑一人力也。
南海進集翠裘，用孔雀毛及蠶絲成其表，而以白狐皮托其里，華麗絕倫，昌宗侍側，見裘把玩，不忍釋手，武後賜之，命披裘相對斗雙陸，適仁傑入宮奏事，後賜之坐，命與昌宗博雙陸，仁傑亦不拒，後笑詢以何物為注彩，仁傑指昌宗所衣裘曰：“即賭此。”後曰：“然，則卿以何物為注？”仁傑指所衣紫絁袍曰：“臣以此袍。”後笑曰：“昌宗之裘系珍品，價逾千金，卿系尋常朝服，非其敵也。”仁傑曰：“臣此袍乃朝見奏對之衣，昌宗之裘，乃嬖幸寵遇之服，其間貴賤，自有不同。”遂相博，後以昌宗為雙陸能手，勝券可操也，詎知昌宗為仁傑正氣所懾，心赧神沮，連戰皆北，然不願去裘，允作價償銀。仁傑怒曰：“天子無戲言，臣奉旨博雙陸，以裘為彩，勝則得裘，今欲反悔，天威何在？”言既，競執昌宗而褫其裘，向後謝恩而去，至光范門，以裘衣家人，命控馬過市以辱昌宗，非但昌宗末如之何，即武後亦不能屈也。
易之有家奴裴吉者，年輕貌美，其母阿臧甚嬖之。阿臧因恐易之得幸武氏，斲喪太過，遂命易之以裴吉入奉宸府，並囑昌宗薦引。昌宗雖承恩寵，陰嫌其老，所以依偎承命者，為保全富貴計耳。蓋武後春秋已高，床第間又專以采補為事，口噙指撥，昌宗已覺難堪，兼之後性甚妒，常令昌宗侍左右，出宮則命二內侍隨行監察之，由是遂不能與婦女相接。蓋後有潔癖，恐與他人媾而汙其陰，轉輾汙口舌也。二張久不得御少女，心有不甘，此二張所以廣覓偉男，薦之於上，蓋欲使庖代有人，而及早脫身去也。顧歷薦若干人，卒鮮當上意，以面自之俊好，陽道之偉岸，媚術之優異，實無人能望易之、昌宗項背也。
昌宗既知裴吉非常人，而足當其任也，遂聞其名於上，而力繩其美，後即令裴吉潔身進御，易之即沐浴傅粉，盛飾裴吉以進，並語之曰：“此去一幸而得當上意，富貴惟所欲，若不合上意，亦不失供奉秩，此去當好為之。入宮時，有宮女導汝入側室，其最美之一人，名上官婉兒，必褫汝衣而檢視之，汝宜持之莊重，檢視畢，入宮承幸，一切進退疾徐，悉惟上命，不可恣意妄行，倘觸後怒者，且無幸，慎毋多言，天皇若有問，答語須簡略，不可瑣屑。言止於此，爾其慎之。”裴吉唯唯而行，入宮見後，跪拜稱萬歲，上官婉兒詢明姓名年歲籍貫，錄入承幸冊，由宮娥引吉入側室，褫衣檢視身體。吉本是急色兒，佳麗當前，欲心頓熾，及上官婉兒至前，褫衣檢視時，其勢已不覺驟躍而起，龐然如怒蛙之向人矣。
上官婉兒驚其偉岸，亦不覺心動，粉額類飛紅，竟如天半忽現朱霞也。細視其身，瑩潔無瑕，堪與張氏兄弟相匹，逆知上之必相寵也，即命之衣而入於寢宮。時已斗轉參橫，夜將午矣，武後登御榻，召吉入幸，詎吉以家奴而承幸於天皇，中心惶恐，不知所措，心驚氣餒，不克自振，向之蛙怒向人者，已奄然萎頓如臥蠶矣。及相接，而羶腥之氣遍床第，中人欲嘔，葢裴吉固有狐臊疾者，武後怒斥之曰：“速去，速去。”裴吉至此，魂離其體，匍匐披衣，踉蹌而遁。武後以易之兄弟既進此傖夫也，疑為侮己，立召易之、昌宗兄弟，嚴行數責，幸太平公主、上官婉兒，為之緩類，始釋後疑，仍命侍左右。
易之銜裴吉刺骨，逐出奉宸府，時人畏易之勢，無敢留之，裴吉遂與無賴為伍，流而為盜，白晝劫市肆，為洛州常史魏元忠所捕，訊之為易之家奴，草疏入奏，嚴劾易之。疏為上官婉兒所見，告易之，易之極道謝意，並懇杖斃批復結案，由是二張與元忠，遂不相容。旋元忠入相，武後欲以易之弟昌期為雍州長史，問元忠曰：“誰堪為雍州長史者？”元忠以薛季昶對，武後曰：“張昌期亦能勝任乎？”元忠曰：“昌期年少，不閒吏事，曩在岐州，戶口逃亡且盡，不如季昶，能為地方造福也。任官惟賢，豈可徇私以遺民害，願陛下察之。”武後默然而止。元忠又嘗面奏武後曰：“臣居相位，不能盡忠死節，使小人盤踞君側，臣之罪也。”武後不悅，二張怨之，昌宗乃譖元忠於後曰：“元忠嘗言，太後老矣，不若挾太子為長久。”武後最惡人言其老，聞昌宗言，勃然大怒，下元忠於獄，擬向輔臣詢元忠罪惡。
昌宗密引鳳閣舍人張說為己助，許以厚祿，使證元忠罪，張說從之。昌宗復言於後曰：“欲證元忠事者，垂問張說可也。”後即傳旨召說入對，鳳閣舍人宋璟，知元忠為二張所構陷，及見說奉召入對，意必為元忠事，遂牽說袖曰：“名義至重，鬼神難欺，不可黨邪陷正，若事有不測，璟不佞，願與子同死，努力為之，流芳遺臭，在此舉也。”左史劉知幾亦謂說曰：“無汗青史，為子孫累。”張說對曰：“我寧不知此，君等焉用過慮為？”言畢入對，武後問以魏元忠有無言欲扶太子事詢，說見二張侍側，未遽對，昌宗促迫曰：“速以直對，何用躊躇。”語說武後曰：“陛下視之，在陛下前猶逼臣如是，況在外乎？臣實不聞元忠有是言也。”
易之、昌宗遽呼曰：“張說與元忠同黨謀反。”武後曰：“有何反狀？”易之對曰：“說嘗稱元忠為伊周，伊尹放太甲，周公攝王位，非欲反而何？”說斥之曰：“易之小人，徒聞伊周之語，安知伊周之道？伊尹、周公，為臣至忠，青史流芳，古今瞻仰，陛下用宰相，不使學伊周，當使學誰耶？”後以說言挺撞，遂下之獄，他日復召問，昌宗使人語之曰：“一言之間，安危立判，公其三思之，縱不為自身計，寧不為子孫稍留余地乎？”說默然不語，及入對，仍執前言，武後怒，流張說於嶺南，貶元忠為高要尉，群臣交章奏保，蘇安恒上疏曰：“元忠下獄，里巷洶洶，皆以為陛下委信奸宄，斥逐賢良，忠臣烈士，皆拊髀於私室，方今賦役煩重，百姓凋弊，重以讒匿專恣，刑賞失中，嬖臣作惡而不治，賢臣直諫而獲罪，竊恐人心不安，別生他變雲雲。”疏入不報，元忠被貶出都，入朝陛辭曰：“臣老向嶺南十死一生，但至他日，陛下當知臣言之不謬。”
又指昌宗、易之曰：“此二小人，終為亂階。”言既拜辭出。侍卿史王晙面奏武後，力言元忠被陷，後不理，拂袖入宮。宋璟謂晙曰：“魏公幸得保全生命，今子復冒犯天顏，為之申理，得無多事乎？”晙對曰：“魏公以忠公獲罪，晙為義所激，縱殺身無所恨也。”二張既陷元忠，聲勢益灼手，時狄仁傑已死，朝政悉由二張把持，凡供奉宸府者，皆賂以金帛，出任要津。武後嘗賜宴群臣，二張首座，位居宋璟之上，易之憚璟忠直，虛位揖之曰：“公乃方今第一人，何得居末座？”璟曰：“愚自知才劣位卑，張卿以為第一，何耶？”天宮侍郎鄭呆，笑語璟曰：“中丞何故卿稱五郎？”璟曰：“以官言之，正當為卿，足下非張卿家奴，何郎之有？”二人調侃，舉座懷惕。當時自武三思以下，皆謹事二張，惟璟獨不為禮，二張銜之，屢欲中傷之，而璟先向武後乞休致矣，武後見璟乞休，訝然曰：“朕方倚卿為股耾，何遽舍朕而去？”璟曰：“臣居於位，既不能為國除奸，又不見好於陛下宰臣，一旦如魏元忠之受其誣陷，流徙萬里之外，何若急流勇退，以避讒匿耶。”後溫語慰留，故二張雖屢言璟短，欲中傷之，後皆笑置不理。