Năm 1954, xảy ra sự kiện "Cao Cương, Nhiêu Thấu Thạch". Khi thẩm vấn Nhiêu Thấu Thạch, phát hiện ra, trong thời kỳ ông đảm nhiệm Bí thư Cục Hoa Đông, từng phê chuẩn sử dụng một số kẻ phản bội, đặc vụ đầu hàng đã từng làm cho Công an thành phố Thượng Hải. Nhận ra vấn đề rất nghiêm trọng; và trong đó có một người do Dương Phàm, Cục trưởng công an thành phố Thượng Hải đưa lên. Từ đó, vận đen của Dương Phàm đã bắt đầu. "Lần dây hái quả", Phó thị trưởng Phan Hán Niên phụ trách công tác thanh lọc chính của Thượng Hải có liên quan.
Cục Công an Thượng Hải mấy lần mở Hội nghị, phê phán Dương Phàm có vấn đề "hữu khuynh", Dương Phàm đã thực sự cầu thị, thanh rninh cụ thể tình hình, cũng kiểm tra lại sai sót cá nhân. Đồng chí phụ trách chủ quản của Trung ương đã từng một lần nói với Hội nghị "Vấn đề Dương Phàm là vấn đề sai lầm công tác". Trần Nghị cho rằng, cái vấn đề này cần dựa vào đặc điểm trận tuyến bí mật mà phân tích, không thể giải quyết giản đơn.
Thế là, cuối năm ấy, Dương Phàm có điện thoại thông báo đến Cục Công an thành phố và lập tức bị bắt giữ bí mật. Ngày mồng 2 tết Nguyên đán, bị đưa lên Bắc Kinh để thẩm vấn. Lần đi này cách biệt gia đình 25 năm.
Ba tháng sau, Phan Hán Niên bị bắt, trải qua 8 năm thẩm vấn, đến năm 1963 bị kết tội "làm nội gián" chịu 15 năm tù, tước bỏ quyền lợi chính trị.
Dương Phàm trải qua mười năm thẩm vấn năm 1965 bị kết tội "Làm nội gián, phản cách mạng" bị 16 năm tù, tước bỏ hết quyền lợi chính.
Đây là vụ án "Tập đoàn phản cách mạng Phan - Dương" kéo theo cả một loạt người.
Dương Phàm và Phan Hán Niên biết nhau từ năm 1943, ở Bộ chỉ huy Tân Tứ Quân đóng ở Thán Nam. Lúc bấy giờ, Dương Phàm đang bị thẩm tra, nguyên do là, thời kỳ đầu của cuộc kháng chiến, ông ta tham gia hoạt động "Hội cứu quốc" công tác ở trường sân khấu kịch Nam Kinh và đã giới thiệu một đồng chí tham gia "Hội cứu quốc". Đây vốn là một tổ chức quần chúng chống Nhật do Đảng Cộng sản lãnh đạo, nhưng lại bị Khang Sinh cho là có quan hệ với CC của Quốc dân đảng. Khang Sinh từ Diên An điện ra lệnh cho Tần Trí Quân bắt Dương Phàm. Nhiêu Thấu Thạch đích thân tra hỏi: "Té ra ông là đặc vụ? Tôi hỏi ông: ông với Trần Nghị gần gũi đến vậy ông đã ly gián được những gì giữa tôi và quân đoàn trưởng? Nhanh hãy nói hết sự thật ra đi". Dương Phàm trả lời rằng: "Nếu ông cho tôi là cán bộ đảng viên thì, không nên nêu ra vấn đề như vậy. Còn nếu ông cho tôi là kẻ địch, tôi sẽ chẳng trả lời ông gì cả". Nhiêu Thấu Thạch hỏi được mấy câu bỏ đi. Phan Hán Niên cũng có mặt trong lúc xét hỏi Dương Phàm thấy ông bị còng tay, liền nói: "Đeo còng thì làm sao mà viết được".
Thế là còng tay được tháo ra. Phan Hán Niên hiểu tình hình "Hội cứu quốc" như rõ lòng bàn tay, nên vấn đề Dương Phàm hiểu càng đầy đủ.
Dương Phàm bị giam giữ 10 tháng, đến tháng 9 năm 1944, người quản giáo của bộ đội canh giữ nói với ông ta: "Án của anh đã lật ngược lại rồi".
Nhiêu Thấu Thạch lại nói với Dương Phàm: "Tôi chẳng còn có gì để mà nói rồi. Chỉ một câu là tổ chức trên sai rồi, anh không có sai lầm nào!".
Thời kỳ Thượng Hải mới được giải phóng, Phan Hán Niên, Dương Phàm phụ trách công tác bảo vệ an toàn của Thượng Hải. Lúc bấy giờ, tình hình trị an của Thượng Hải vô cùng căng thẳng, bọn tàn quân Quốc dân đảng hoạt động rất ráo riết. Thường vụ Đảng bộ Cục Hoa Đông, Thượng Hải, rất coi trọng công tác thanh lọc ở Thượng Hải, cần xây dựng lực lượng đủ mạnh để đánh địch, ổn định trật tự xã hội. Đêm trước 1-7-1949, Công an Thượng Hải đã tổ chức đợt bắt bớ có tính toàn thành phố. Ngày 27 tháng 4 năm 1951, tiến hành trấn áp phản động toàn thành phố.
Sau khi Thượng Hải được giải phóng, một loạt điện đài của đặc vụ nằm vùng thường xuyên liên lạc với cơ quan đặc vụ Đài Loan và Châu Sơn.
Đồng thời, phía Đài Loan cho rất nhiều toán biệt kích bí mật đến Thượng Hải, tiến hành hoạt động tình báo, ám sát và phá hoại, thông qua điện đàm cung cấp tình hình kinh tế, sản xuất công nghiệp và các mục tiêu nổ bom ở Thượng Hải.
Tháng 1 năm 1950, Cục trưởng bảo mật "Bộ Quốc phòng" Đài Loan là Mao Nhân Phong đích thân chỉ thị cho đài trưởng Đài Độc Lập ở Thượng Hải là La Bính Cán thu thập tên các nhà máy công nghiệp nặng, địa điểm, tình hình sản xuất ở khu Hoa Đông, và cung cấp mục tiêu nổ bom. La Bính Cán dùng điện đài phát đi tin tức tình báo về nhà máy điện Thượng Hải, Nhà máy đóng tàu Giang Nam v.v… và những nhà máy sản xuất quan trọng khác cho Đài Loan, để dẫn đến vụ nổ bom "6-2" làm cho nhân dân Thượng Hải gặp phải tổn thất to lớn về người và tài sản. Cục Công an Thượng Hải rất nhanh bắt được La Bính Cán. Sang ngày thứ hai thì La Bính Cán bị pháp luật nghiêm trị với mức án cao nhất. Nhân dân Thượng Hải hả dạ hả lòng.
Ai ngờ, những vấn đề này lại trở thành nguyên nhân cơ bản để định cho Phan Hán Niên, Dương Phàm là "Nội gián, phản cách mạng".
Lúc bấy giờ còn vận dụng cả sách lược đấu tranh "dùng đặc vụ chống lại đặc vụ", phân hoá ra một số phần tử trong dinh luỹ kẻ địch thành phía ta. Đêm trước giải phóng Thượng Hải, có một số người đề nghị được lập công chuộc tội, lúc bấy giờ người lãnh đạo Cục Hoa Đông là Nhiêu Thấu Thạch, đồng ý cho Dương Phàm dẫn La Bính Cán lên Thượng Hải tham gia công tác thanh lọc. Số người này đã cung cấp rất nhiều đầu mối để bắt bọn đặc vụ, có tác dụng lớn trong công tác thanh lọc và trấn áp.
Ngày 12 tháng 4 năm 1954, một vị Cục Trưởng tuyên bố rằng bắt giam thẩm vấn Dương Phàm vì ông bao che dung túng phản cách mạng đưa cả 85 tên đặc vụ vào làm công tác nội bộ. Thế là, Dương Phàm bị tống giam vào ngục. Năm 1965 bị đưa ra xét xử, phán xét với "tội trạng chủ yếu": Một là vấn đề lịch sử, khi ở Trường Nghệ thuật quốc lập đã bán rẻ học sinh, trà trộn nội gián trong nội bộ Đảng. Hai là, cung cấp tin tức tình báo cho Đài Loan, dẫn đến vụ nổ bom ở Thượng Hải "6-2", còn bao che hỗ trợ cho một loạt đặc vụ và phần tử phản cách mạng. Dương Phàm hét to trên công đường rằng: "Các tội trạng này đều là giả dối, là đi ngược lại chính sách của Đảng".
Dương Phàm dựa vào thực tế nhiều lần phản bác lại lời buộc tội. Cán bộ chủ quản kiên trì với cách lập luận chủ quan, cho rằng, Dương Phàm "bao che rất nhiều kẻ phản bội, đặc vụ, đưa bọn phản cách mạng vào làm cán bộ", đồng thời còn thông qua cái gọi là tài liệu, bằng chứng khách quan là một bức thư ép cung được làm căn cứ định : Tháng 6 năm 1967, Dương Phàm chịu thẩm tra, có người còn hùng hổ chất vấn thêm: "Có phải là hiểu rõ lịch sử Giang Thanh"?Dương Phàm trả lời: "Biết". Hỏi: "Ông đã kể với ai bao giờ chưa?".
Trả lời: "Lúc bấy giờ đang ở Tân Tứ Quân viết tài liệu gửi đến Diên An, nhưng chưa hề kể với ai bao giờ".
Thế là năm 1939, Dương Phàm vốn công tác ở văn hoá, tiếp là đoàn biểu diễn uý lạo các giới Thượng Hải, đến Hà Bắc, Hà Nam biểu diễn úy lạo Tân Tứ Quân và được giữ ở Bộ Tổng tham mưu.
Lúc bấy giờ, một tờ báo nhỏ do vùng chiến 3 Quốc đân đảng phát hành, đăng tin nói về Lam Bình (tức Giang Thanh) ở Diên An. Dương Phàm khi đó giữ chức thư ký Bộ Tổng tham mưu. Hạng Anh hỏi về Lam Bình, Dương Phàm nói: Khi còn ở Thượng Hải có biết bà ta. Ông còn kể tình hình tác phong sinh hoạt cá nhân và cách nhìn nhận của bà ta.
Hạng Anh yêu cầu Dương Phàm viết một tài liệu, đồng thời đánh đi một bức điện cho Khang Sinh, cuối cùng thêm một câu "Con người này không dễ kết hôn với Chủ tịch".
Năm 1953, Dương Phàm đi chữa bệnh ở Liên Xô và cùng với Thái Sướng đi thăm Giang Thanh lúc này đang an dưỡng ở Moskva. Giang Thanh giả vờ không quen biết, song lòng rất căm tức.
Điều này là nguồn cơn tai hoạ âm thầm mà về sau Dương Phàm gặp phải.
Dương Phàm bị kết án 16 năm tù, tức từ năm 1955 cho đến năm 1971 mới mãn hạn, vậy mà đến tháng 8 năm 1975 ngành chủ quản "duy trì nguyên án", đưa ông đi lao động cải tạo ở nông trường Sa Dương, Kinh Môn, Hồ Bác. Trong thời gian ở nông trường, Dương Phàm viết rất nhiều thư gửi Thủ tướng Chu Ân Lai, vậy mà không một bức thư nào tới được.
Phan Hán Niên, Dương Phàm bị bắt, hàng loạt người bị dính líu, rất nhiều người lập công trên trận tuyến chống đặc vụ, lần lượt bị vu là "đặc vụ" "phần tử phản cách mạng". Còn có người bịa ra là chuyện thần thoại Dương Phàm bao che "ba ngàn ba". Cao Kích Vân tiêu diệt thắng lợi bọn phỉ và đặc vụ Lưu Toàn Đức đã lập công, nhưng vì Dương Phàm bị bắt nên đã liên luỵ, bị giam cầm một năm, bắt đến nông trường lao động giáo dưỡng hơn 20 năm cho đến khi chết. Còn có rất nhiều người có quan hệ công tác với họ đã lâu dài bị ô nhục và bức hại.
Phan Hán Niên bị nặng nhất, ông bị kết án chung thân, khai trừ vĩnh viễn khỏi Đảng. Phan Hán Niên bị đưa đến một nông trường cải tạo tỉnh Hồ Nam, hai vợ chồng bị án oan chết nơi quê người. Sau khi chết, trên bia mộ của họ cũng không dám khắc tên thật.
Lịch sử cuối cùng cũng trở lại với sự thật của nó. Trong thời gian "Thập nhị đại" (đại hội 12) Ban Chấp hành Trung ương Đảng đã khôi phục làm sáng tỏ danh dự của Phan Hán Niên. Trong thông tri viết: Đồng chí Phan Hán Niên bị quy kết sai là "nội gián". Nguyên nhân chủ yếu nhất là trong bối cảnh lịch sử khi đó, đi ngược với nguyên tắc: mâu thuẫn không giống nhau chỉ có dùng phương pháp không giống nhau để giải quyết, nên đã hiểu sai nghiêm trọng tính đặc thù của cuộc đấu tranh với kẻ địch giấu mặt, làm lẫn lộn ranh giới của đúng sai, ranh giới địch ta, dẫn đến quyết định sai lầm.
Kết quả ấy, không chỉ khiến cho đồng chí Phan Hán Niên chịu án oan lâu dài, mà còn làm liên luỵ tới rất nhiều đồng chí có quan hệ công tác với đồng chí Phan trước kia, khiến họ cũng chịu án oan dai dẳng. Bài học lịch sử đau xót này, toàn Đảng mãi mãi sẽ cảnh giác.
Dương Phàm phải đợi thời gian dài mới được làm sáng tỏ, khôi phục danh dự chính trị, mới được đoàn tụ với người thân sau 25 năm và chịu quá nhiều đòn tra tấn, khiến đôi mắt bị mù. Ông viết rất nhiều hồi ký và bài hồi tưởng. Nhờ có người khác giúp đỡ, ông đã hoàn thành "Tự thuật Dương Phàm" và tập hợp một số bài văn trước kia làm thành một cuốn sách để xuất bản.