潘这个姓有什么传说或来历吗?为什么这个姓的人这么少

从前有个人叫：潘安

潘
一、寻根溯祖
1、出自姬姓，是黄帝的后代。周文王姬昌第十五子毕公高在西周初年被封在毕，建立毕国。毕公高封其子季孙于潘，附庸于毕国。其地在今陕西省北部，子孙以封邑命氏。或言潘国被楚国所灭，亡国后的潘国人就有用国名作为姓氏的，从此改姓潘。
2、出自芈[mǐ]姓，是春秋时楚国公族的后代。见于家传者始祖为潘崇。潘崇官拜楚穆王太师。《通志?氏族略三》
：“潘氏，芈姓，楚之公族，以字为氏。潘崇之先，未详其始，或言毕公高之子季孙食采于潘，谬矣。潘岳家风诗自可见。晋亦有潘父，恐自楚往也。汉有潘瑾，后汉有潘勉。”
3、出自北方鲜卑族。据《魏书．官氏志》所载，南北朝时，北魏有代北复姓「拔略罗氏」随魏孝文帝南迁洛阳后，定居中原，代为汉姓「潘」氏。
4、清康熙年间，台湾高山族相继归顺，被赐姓潘。分别发源于南方和北方的两支潘氏，姓源虽然看起来有所不同，但认真推溯起来，根本都是黄帝轩辕氏的后代。因为，周文王固然是黄帝的姬姓嫡裔，而楚国所出的芈姓则是传自黄帝之孙颛顼。在血统方面实际上同出一源，没有太大的分别。　
二、迁徙分布　
潘姓早期在河南发展，唐代扩展到河北、陕西等地。第一次进入广东是在西晋年间，后又发展到湖北、江苏、浙江。第一次进入福建是在唐代（现福建省惠安县螺阳镇盘龙村涂楼自然村,全村共有100余口人,均为姓潘），后又迁居广东、云南.四川也有一支，清康熙年间，潘姓第一次移居台湾。由于《史记》载有潘崇的事迹,故潘氏大多以潘崇为始祖。潘崇之子潘尪[wāng]为楚大夫；孙子潘党，继为大夫。　
三、郡望、堂号
1、堂号：黄门堂：西晋潘岳曾任河阳令、著作郎、给事黄门侍郎等职，故以其黄门侍郎之职称为堂号，又因其为荥阳中牟（今属河南）人，也称为荥阳堂。
2、郡望：
广宗郡：东汉永元五年（93年）置县，治所在今河北威县东。隋仁寿元年（601年）避太子广讳，改名宗城。十六国后赵为建兴郡治；北魏为广宗郡治。此支潘氏，出自潘勖之后，其开基始祖为晋代广宗太守潘才。
河南郡：汉高帝二年(205年)改秦三川郡治。此支潘氏，多出自鲜卑破多罗氏之后，其开基始祖为潘威。
荥阳郡：三国魏正始三年（242年）始置郡。此支潘氏为汉献帝时尚书左丞潘勖之族所在。 豫章郡：楚汉之际始置郡。此支潘氏为潘崇之后。　

潘（Pān）姓源出有四：
　　1、出自芈姓，[mǐ
]为春秋时楚国公族潘崇之后，以祖名为氏。据《通志·氏族略》所载，颛顼后裔陆终生有六子，第六子名季连，赐姓芈。周成王时，封其后裔熊绎在荆山建立荆国，公元前740年，荆君熊通自封为武王，他的儿子于公元前689年改国号为楚，称楚文王。据《姓氏寻源》和《潘氏家谱》及《史记·楚世家》所载，公族子弟潘崇助楚穆王继位有功，受封为太师，其后代子孙以祖名为姓，称为潘氏。从此，潘姓在楚国成为有势力的家族，潘姓因此而来。
　　2、出自姬姓，为周代周文王裔孙伯季之后，以邑名为氏。据《元和姓纂》所载，周文王第十五子毕公高让其子伯季食采于潘邑（今陕西省西安、咸阳一带），其子孙遂以邑名为姓，称为潘氏。
　　3、出自姚姓，为上古舜帝之后，以国名为氏。据《中国姓氏》载，舜帝生于姚墟称姓姚，建都潘（今北京市延庆县东北），后潘地移至今陕西省兴平北。商朝时，舜的后裔建潘子国，商末被周文王所灭，其子孙遂以国名为姓，称为潘氏。
　　 潘国静字齐佑4、出自他族改姓：
　　①
据《魏书·官氏志》所载，北魏孝文帝汉化改革时，改鲜卑破多罗氏为单姓潘。
　　②
清康熙末年，台湾岸里大社（今台湾省台中市神岗）酋长阿穆归顺清廷，被赐姓为潘；光绪时，台湾高山族相率归化清廷，也被赐姓潘（这也就是台湾高山族人大多姓潘的重要原因）。
　　③ 其他一些少数民族如满、水、京、蒙、土家、彝、瑶、仫佬、回、壮、布依均有潘姓。
　　潘崇。楚成王时，潘姓中有名为潘崇者曾为太子商臣之老师，在楚成王预谋另立太子时，潘崇极力支持太子商臣，并成功地使之继位为楚穆王。潘崇因助商臣继位有功，被封为太师，楚穆王并且还把自己任太子时的财产全部赐给他。从此潘姓在楚国成为有势力的家族。后人念潘崇兴潘姓有功，便尊他为潘姓的得姓始祖。这种观点，其正确性可能是相当高的，因为古籍中出现的春秋时代的潘姓人氏，几乎都是楚国的人物。