1、出于姬姓：西周初年，周文王姬昌的排名较好五个儿子毕公高被封在毕（今陕西省咸阳北），建立毕国。毕公高又让自己的儿子季孙采食于潘，因氏焉。
2、鲜卑改姓：北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘。清康熙末年，台湾岸里大社（今台湾省台中市神岗）酋长阿穆归顺清廷，被赐姓为潘；光绪时，台湾高山族相率归化清廷，也被赐姓潘（这也就是台湾高山族人大多姓潘的重要原因）。
3、汉化改姓：源于其他少数民族，属于汉化改姓为氏。在今水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。
4、唐末避乱，潘承佑的先辈由荥阳中牟迁于闽粤，遂为著姓。五代初，幽州人祖贵，为刘守光杀之。潘佑之父潘处常脱身南奔到了南唐。
5、宋代时期，潘美一家由大名迁至开封，接着又分迁移山西、江苏、浙江、山东等地。山东一支不久转湖南。潘节后人迁广东、云南。有族谱记载，福建莆田有一支迁到了韩国，南唐端明殿学士潘佑的后裔有一支迁到了高丽巨济，成为为韩国和朝鲜的潘姓开祖。
关于潘姓的祖籍，《姓纂》上记载：“周文王后毕公之子季孙，食采于潘，因氏焉。有广宗，河南两望。”
这一支潘氏，很显然是颛顼帝高阳氏的后代，他们的发源地，大致是在今安徽、江苏和浙江一带。