曹操上表漢獻帝，稱張遼、于禁、樂進說：“武力強大，計謀周全，品性忠正，操守高潔，每次征戰，身先士卒，勇猛頑強，無堅不摧；親自擂動戰鼓，忘了疲倦。他們單獨領兵征討，統率全軍，撫慰將士，紀律嚴明，秋毫無犯；臨敵決策，沒有失誤。論功記職，應該給予顯要榮寵。”
收復東萊諸縣後的張遼引軍還鄴（yè）城，曹操親自出城迎接，邀請他同乘一輛車，任命他爲蕩寇將軍。
建安十一年（206年），張遼率軍攻打荊州，平定江夏諸縣，在臨穎屯兵，受封爲都亭侯。
曹操要征討在柳城的袁尚，張遼進諫：“許都，是天子所在的地方。現今天子就在許都，曹公北征甚遠，若劉表派遣劉備攻擊許都，佔據它，號令四方，您的形勢將會大去。”
曹操判定劉表必不能任用劉備，於是，繼續出征。
行軍中途與敵軍相遇。
張遼壯氣奮發，力勸曹操接戰，曹操十分欣賞張遼的鬥心，又看見烏桓的軍隊尚未排成陣形，於是將自己的麾旗授予張遼暫用，任命張遼爲前鋒出戰，於是張遼引軍突擊，大破烏桓，斬單于蹋頓於陣前。
那時候荊州尚未安定，曹操命張遼屯軍於長社。
軍隊臨出發之際，軍中忽有謀反者起事騷動，半夜驚亂起火，全軍盡受其擾。
此時張遼對左右說：“不可亂動。這一定不會是全營盡反，必然是引起叛變之人，想藉此惑亂他人而已。”
於是，傳令軍中，只要不是反亂者安坐勿動。而張遼則帶領親兵數十人，守立於陣中。不久情況穩定下來，軍中隨即擒獲首謀者，並將其殺除，動亂亦告平定。這次平亂，事關重大，要不是張遼沉着冷靜，處變不驚，險些鬧出動亂。
…… ……
赤壁之戰時。曹操徙趙儼爲都督護軍，護于禁、張遼、張郃、朱靈、李典、路招、馮楷七軍。
廬江人陳蘭、梅成佔據氐等六縣作叛，曹操於是遣于禁、臧霸等討伐梅成，又命張遼督領張郃、牛蓋等討伐陳蘭。
當時梅成詐降於禁，于禁引軍便還。
不料梅成趁機會帶其軍衆往投陳蘭，二人轉入潛山自守。
潛山（今爲安徽省潛山縣）中有天柱山，高峻約有二十餘裡，道路險狹，陳蘭等衆避於其上，山下進軍難通。
張遼意欲登山進兵，他的手下將領都說：“此山道路險惡，我軍兵少，很難可以深入用兵。”
張遼卻說：“這正是所謂‘一與一，勇者得前耳’（只有勇者可以前進）。”
於是進至山下安營，起兵上山攻擊，終於斬下陳蘭、梅成首級，盡虜其衆。
曹操論諸將功勞，說：“登上天山，踏過險峻，成功討取陳蘭、梅成，都是蕩寇將軍（張遼）的功勞。”
於是增張遼的食邑，假節（古代使臣出行，持節爲符信，故稱。漢末時，掌地方軍政的官往往加使持節、持節或假節的稱號。使持節得誅殺中級以下官吏；持節得殺無官職的人；假節得殺犯軍令者，也就是說，持假節者，有生殺大權）。
…… ……
當曹操徵孫權無功而還時，任命張遼與樂進、李典等部領七千餘人馬屯守於合肥。
這個時候，張遼沒有隨軍女人，他就暫時徵用了合肥城裡的昌倡館（漢代相當於現在的妓院）的一個姑娘，陪着自己，這個姑娘後來懷孕，生了一個女孩兒，張遼徵得姑娘的同意，把她們母子一同送回了洛陽自己家中，歷史上沒有留下這個女孩兒名字。
…… ……
建安十八年（213年），與臧霸同爲徵濡須口的前鋒，攻破孫權江西營，擒獲孫權都督公孫陽。
孫權大將呂蒙奇襲攻下廬江的皖城，張遼在增援途中得知皖城失守，無奈被迫退軍。
曹操往徵張魯，先教護軍薛悌，付其一書署名急函往合肥予張遼，上有字樣雲“賊至乃發”（賊軍來到便拆信閱之）。
不久東吳孫權率領十萬大軍進圍合肥，合肥諸守將乃共同拆信視曹操所教，信中言道：“若孫權軍來到，張、李將軍出戰；樂將軍守護軍，不得與戰。”
諸將皆爲此感到疑惑。
此時張遼便說：“曹公遠征在外，待其救兵來時，敵軍必定已攻破我們了。所以曹公教我等衆將，待敵軍未合便逆（迎）而擊之，摧折敵軍鋒銳，以安衆人之心，然後方可堅守。成敗之機，在此一戰，諸君何須疑惑？”
而李典亦與張遼持相同意見。
於是，張遼在夜間募集敢於逆擊敵銳之士，共得八百人，於是開剝牛支讓將士飽食，準備明日大戰。
天尚未亮，張遼被甲持戟，獨自先登，直陷敵陣，親手斬殺了孫權軍隊的數十人和兩名將領，並於陣中大呼自己的名字，然後突擊衝入重壘，直至孫權麾旗之下。
孫權見狀大驚，其衆手足無措，不知所爲，只得逃到高丘之上，僅以長戟自守而已。
張遼見敵軍退避，便叱喝孫權，挑釁他下來對戰，孫權懼而不敢動；及至望見張遼所領之兵原來甚少，於是忽聚衆軍數重圍困張遼。
張遼於吳陣左右突圍，直前急擊，其圍不禁衝撞而開，張遼將領麾下數十人得以脫出。但陣中尚有餘衆未出，皆號呼張遼道：“將軍捨棄我們了嗎！”
張遼復又還入重圍，救出被困餘衆。孫權人馬皆望風披靡，無人敢抵擋張遼。
早晨戰至日中，吳軍銳氣爲張遼所奪，曹軍此時還城修業進行守備，衆心方纔安定下來，諸將對張遼所爲均表示歎服。
孫權攻打合肥十餘日，始終攻不下來，於是還軍退師，張遼率諸軍乘勢追擊，幾乎捉住孫權，江東名將陳武亦在此戰中被擊殺。
…… ……
曹操聞此，對張遼的表現大加讚許，並拜張遼爲徵東將軍。
張遼大敗孫權一事震驚孫吳，計《三國志•吳書》連裴注中，述及此事的列傳有七篇。據《魏略》記載，此役之後，江東小兒啼哭不肯止者，其父母只要嚇唬說：“張遼來了，張遼來了！”孩童就沒有敢哭泣的了。這就是“張遼止啼”的由來。