潘德辉原本是军统出身，入缅作战时，他被派到孙立人身边，一开始是负责监视孙立人的一举一动，可是缅战打完，潘德辉却成了孙立人最忠实的追随者。
潘德辉刚到台湾地区，便被抓了起来，他在黑牢中度过五年后，为了给孙立人罗织罪名，在1955年端午节前夕，他突被提到台北南所，国防部高级法官毛惕园找潘德辉谈话，并让他出面指认孙立人搞兵变，想造反。
潘德辉在《半世追随一生被泽》中，记下了当时的经过：
毛人凤不愧是搞审问的老手，他手指壁上悬挂的肖像问我他是谁？我答：领袖。那里人？浙江，你是那里人？浙江。你是军校学生吗？是。孙立人是何处人？安徽。
毛惕园问：听说孙立人对你并不好且时常责骂你是吗？
潘德辉答：不错，这是因为我有时太随便而受责。、
毛惕园继续启发：你是浙江人，军校学生又是自己同志应该好好与我们合作，以快刀斩乱蔴之手段将此案作一结束，好向海外侨胞及友邦作一个交代才是呀。
潘德辉答：我很严正的说：我要做一个光明磊落的人，为国家民族牺牲性命在所不惜，但我决不会昧着良心说不实的话，并以开玩笑口吻反问他。听先生的口音好像是两湖人，而又姓毛，如今贵同乡同宗高居北京主席，为何不去追随，既是同乡又是同宗……。
可是潘德辉话尚未完即被毛惕园厉声打断了，谈话后他被送到如狗笼般的特制囚牢折腾了四个多月，才送回桃园看守所。一直到一九五八年秋才让我恢复自由……
孙立人将军获释后，潘德辉立即去看望。白发苍苍的孙立人望着老部下，说：“潘德辉，你怎么这样傻！”
潘德辉一阵爽朗的大笑，接着回答：“我就是这样傻！
