廉颇愤怒之下，竟攻打了乐乘。乐乘抵挡不住，一走了之。廉颇也不好意思再留在军中了，只得奔往魏国避难。魏国人虽然对廉颇以礼接待，但也并不重用。后来赵国的赵悼襄王顶不住秦军的攻势，有意重新任用廉颇，遂派使者前去探看。
廉颇这时候已经老了。满头白发来偏早，到手黄金去已多。但他还想报效祖国，于是对着赵国使者狼吞虎咽，一顿吃了一斗米，十斤肉（相当于林黛玉一个月的伙食），然后披甲上马，以示英勇不减当年。使者回去以后，被一个叫郭开的坏小子用黄金堵住了嘴，竟汇报说：“大王，廉颇老将军还是很能吃的，但是吃得多，拉得也快，一会儿上了三次厕所。”
赵悼襄王觉得廉颇老矣，遂叹了口气，不复招用。
廉颇在魏国等得花儿都谢了，饭儿都凉了，也不见招用。这时候，楚人闻其大名，偷着把他挖走。廉颇到了楚国，工作开展不利，史书说他“无功”。可能是对外折腾了几次，但没有战功。廉颇常常以为楚卒赶不上赵卒之强，发出“我思用赵人”的感叹，最后终老于楚国，安葬于当时楚国的都城寿春郊外，至今有墓。在廉颇的遗梦中，一定常有邯郸的月色，清辉一片，大如白马。