张辽早期为丁原的手下，丁原死后，跟随吕布投降了董卓，董卓死后跟随吕布，吕布死后跟随曹操。

张辽，本是吕布的八健将之一，下邳之战后，归顺曹操。此后随曹操征讨，战功累累。与关羽同解白马围，降昌豨于东海，攻袁尚于邺城，率先锋在白狼山斩杀乌桓单于蹋顿，又讨平辽东柳毅、淮南梅成、陈兰等。后世将其与乐进、于禁、张颌、徐晃并称为曹魏“五子良将”。