Khi Đông Kinh nghĩa thục bị đóng cửa, các yếu nhân bị bắt, dân chúng Bắc Hà lấy làm đau xót, có truyền tụng một bài ca kể lại những chuyện nghĩa thục đã thực hiện. Nay xin dẫn một đoạn do Huỳnh thúc Kháng nhớ được:
Cơn mưa gió trời Nam lảng bảng. Bước anh hùng nhiều chặng gian truân. Gẫm xem máy tạo xoay vần. Gây nên một cuộc cách tân cũng kỳ. Khắp thân sỹ lưỡng kỳ Nam Bắc. Bỗng giật mình chợt tỉnh cơn mê. Học, thương xoay đủ mọi nghề. Cái hồn ái quốc, gọi về cũng mau. Hồn đã tỉnh bảo nhau cùng dậy. Chưa học bò, vội chạy đua theo. Khi lên như gió thổi đều. Trong hò chống thuế, ngoài reo phá thành. Việc tự lập người mình còn dại. Sức cường quyền ép lại càng đau. Tội danh đổ đám nho lưu. Bắc kỳ thân sỹ, đứng đầu năm tên. Người tỉnh Bắc, Nguyễn Quyền là một…. Nguyễn Quyền người tỉnh Bắc Ninh, thi đỗ tú tài, được bổ làm huấn đạo, tỉnh Lạng Sơn nên được gọi là Huấn Quyền.
Sau từ quan, năm 1907 ông cùng các đồng chí sáng lập ra Đông Kinh nghĩa thục, ở Hà Nội, mục đích cổ súy phong trào cải cách duy tân. Để cung ứng cho nhu cầu của nghĩa thục, ông lập ra nhà buôn Hồng tân hưng ( lấy nghĩa Hồng Lạc mới dấy lên ) bán đồ công nghệ nội hoá.
Năm 1908 xảy ra việc Hà thành đầu độc, nhà cầm quyền đóng cửa nghĩa thục, ông bị bắt đày ra Côn đảo, cùng đồng chí Lê Đại án chung thân. Còn hai đồng chí nữa là Nguyễn sĩ Sác và Hoàng tăng Bí chỉ bị giam giữ ít lâu ở Hà Nội. Rồi Hoàng tăng Bí được nhạc gia Cao xuân Dục nhận lãnh, đưa về theo học tại Huế, thi đỗ phó bảng. Nguyễn sĩ Sác đỗ tiến sĩ.
Lê Đại được tin này giận lắm, làm đôi câu đối:
- Quách thây chúng nó, thi mà chi, đỗ nữa mà chi, nào những khi rượu đầy bàn, đờn đầy vách, sách đầy án, bạn đầy nhà, nghêu ngao trăng gió bốn mùa, chơi đã đủ mùi, thôi có lạ chi phường mặt trắng. - Còn có bọn ta tù chả sợ, đầy cũng chả sợ, cho đến lúc miệng như tép, mép như rồng, tiếng như cồng, mắt như chớp, xốc vác non sông một gánh, làm con nên việc, bấy giờ sẽ hỏi bạn non xanh. Nguyễn Quyền cũng có bài thơ có ý mỉa mai:
Cầu trời cầu biển quản gì công. Dệt gấm khi nào mượn má hồng. Đổi đập kình nghê muôn sóng lớp. Đứng trơ mưa gió một chùm thông. Hỏi han ả Lý vừng trăng bạc.
Chờ đợi nàng Tô chén rượu nồng. Đắp lạnh quạt nồng ai đó tá. Hiếu tình này vẫn hiếu tình chung.