以国名为姓，出于姬姓。毕公高的小儿子季孙封邑在潘。春秋后国灭，其子孙不以姬为姓而以国名为胜，奉季孙为潘姓始祖。又，番，邾国也。夫差取番者，番首姿，又音蒲。还音烦，音盘者即潘氏。

春秋战国时，潘姓主要在今湖北省境内发展，此后，有向山东、湖南迁徙的少数潘姓人。汉时，有潘姓北迁至荥阳中牟，三国时发展兴旺而为荥阳郡一大望族，以东汉献帝时尚书左丞潘勖为始祖。