解放战争末期，国民党部队主力已经被解放军消灭，国民党高层为了继续顽抗，就把目光放到那些退伍的将领身上。虽然这些退伍将领没有了实权，但他们在家乡一带还是很有威望和人脉关系，于是国民党高层就给钱给军火，拉拢这些退伍将领，让他们在当地招募土匪和溃兵，企图在解放军后方搞破坏。

潘壮飞原本是湘军大佬唐生智手下团长，后来唐生智反蒋失败下野，潘壮飞也被免去职务，之后长期只能担任虚职，抗日战争爆发后，唐生智担任南京卫戍司令的时候，潘壮飞还在他身边当过高级参谋。解放战争时期，程潜担任湖南省政府主席，潘壮飞觉得自己之前帮程潜竞选出力过，所以就想要个一官半职，但被程潜给拒绝了，潘壮飞一气之下联合杨永清，在湘西一带拉拢了上万土匪武装，祸害了不少百姓。

随着解放军进军湘西，潘壮飞带着土匪企图顽抗，最终还是被打败被迫投降。

1898年，潘壮飞出生于湖南黔阳，祖父是杀猪宰牛的屠夫，靠着手艺积累下一些财富，等到他父亲的时候，潘家已经是当地的小地主，家里有十几亩地和二十亩的茶山。潘壮飞从小读书聪明，在老家读书私塾后，考入到芷江的中学。

1921年，潘家搬到常德居住，这时候潘壮飞已经中学毕业，他决定弃文从武，去报考贵州讲武堂。从贵州讲武堂毕业后，潘壮飞回到湖南，加入唐生智的湘军部队，在面试的时候唐生智觉得潘壮飞很机灵，所以就让手下军官好好培养他。

潘壮飞在唐生智的部队参加了多次战斗，等唐生智当上湘军第四师师长的时候，潘壮飞已经升为营长。

1927年2月，北伐战争时期，唐生智担任国民革命军第四集团军总司令，潘壮飞在第三十六军第七团当团长。4月，潘壮飞改任第五十三师第二团团长。12月，潘壮飞升为第五十三师第一五七旅旅长。

后来唐生智两次反蒋失败下野，何键控制了湖南军政大权，因此湘军重新整编，潘壮飞就失去了旅长职务，被派到南昌行营当少将训练委员。

1934年，潘壮飞担任贵州“剿匪”督察专员。

1935年，蒋介石为了把中央军势力扩张到四川，于是就让贺国光率领参谋团，以监督川军进攻红军为由进入四川，潘壮飞在参谋团当少将高参。

1936年，潘壮飞担任驻黔绥靖公署副官处长、湘鄂赣边区绥靖公署少将高参。

1937年8月，抗日战争全面爆发后，潘壮飞担任第三战区江防军少将高参，兼江浙抗日第二防线副司令。11月，唐生智担任南京卫戍司令，潘壮飞回到唐生智身边，担任少将高参，兼特种部队指挥官，参加了“南京保卫战”。

1938年，潘壮飞改任军事委员会点检委员会少将委员。

1939年，潘壮飞担任滇黔绥靖公署副官处长。

1946年，抗日战争胜利后，潘壮飞担任中央训练团第七军官总队第五大队长。国民政府在南京召开国民代表大会，当时程潜想竞选副总统，唐生智鼎力支持，于是就让潘壮飞回到黔阳竞选“国大代表”。

黔阳县有一个叫施昌壁的，之前是中统成员，施昌壁是潘壮飞竞选的最大对手，潘壮飞为了竞选成功，就纠集了几百人，把黔阳县政府包围，那些乡绅们被迫选潘壮飞为“国大代表”。

1948年，程潜竞选副总统失败后，返回湖南当湖南省政府主席，潘壮飞觉得自己帮程潜竞选过副总统，所以就希望程潜任命他为第十区行政督察专员，但程潜根本不理他。求职失败的潘壮飞很气愤，他返回黔阳老家，加入了大土匪杨永清成立的“复兴楚汉宫”，成为副双龙头。

1949年3月，湘西发生暴动，汪援华、曹振亚等带人抢劫了沅陵县的军火库，潘壮飞看到机会来了，于是想夺取黔阳的控制权，然后再攻打周围几个县。潘壮飞拉拢了彭仁基、曾庆元等匪首，组建了“湘西自卫救国军”，上万土匪开始攻打黔阳。

3月24日，潘壮飞带着土匪和县保安团进行战斗，双方打他两天两夜，黔阳县长贪生怕死，带着一个警察中队跑了，县城的保安团看到县长都跑了，于是都放下武器投降。潘壮飞进城后，就让土匪们到处抢劫残害百姓，黔阳县的商户基本都被抢劫了，不少百姓被杀。

3月27日，湘西绥靖公署主任刘嘉树收编潘壮飞的土匪武装，组建成湘西绥靖公署芷江直属第三纵队，任命杨永清为司令，潘壮飞为副司令。3月28日，潘壮飞任命心腹杨僧为黔阳县长，然后准备带土匪进攻洪江，洪江的乡绅们非常害怕，于是就花重金请国民党第六十二师前来剿匪。

4月13日，潘壮飞率领土匪进攻洪江，和第六十二师发生战斗，毕竟是乌合之众怎么可能是正规军对手，潘壮飞的土匪队伍很快被打败，第六十二师趁机收复黔阳，潘壮飞带着几十个人逃往芷江。9月，解放军在湘西剿匪，潘壮飞的队伍被打散，他带人躲到山中。

9月30日，潘壮飞在芷江又收拢了一些土匪，企图偷袭解放军，但被打得惨败，他熟悉地理环境，带着十几个土匪又跑了。11月8日，无路可逃的潘壮飞等十三个土匪，在新晃县向解放军投降，潘壮飞本人被送往沅陵接受改造。

1950年12月15日，潘壮飞被判处死刑。

1983年，潘壮飞平反，恢复他投诚人员身份。