1、出于姬姓。西周初年，周文王姬昌的第十五个儿子毕公高被封在毕（今陕西省咸阳北），建立毕国。毕公高又让自己的儿子季孙采食于潘，因氏焉。

2、鲜卑改姓。北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘。清康熙末年，台湾岸里大社（今台湾省台中市神岗）酋长阿穆归顺清廷，被赐姓为潘；光绪时，台湾高山族相率归化清廷，也被赐姓潘（这也就是台湾高山族人大多姓潘的重要原因）。

3、汉化改姓。源于其他少数民族，属于汉化改姓为氏。在今水族、京族、土家族、彝族、瑶族、仫佬族、回族、壮族、布依族等少数民族中，均有潘氏族人分布。