Gia Long có hai bà phi được phong làm Hoàng Hậu là Thừa Thiên Cao Hoàng Hậu ( mẹ Hoàng tử Cảnh ) và Thuận Thiên Cao Hoàng Hậu ( Mẹ Minh Mạng ); nhà vua còn sách phong cho bà Lê thị Ngọc Bình ( con vua Lê Hiển Tông, em Ngọc Hân Công Chúa ) làm Đệ Tam Cung. Bà này sinh được hai Hoàng Tử là Quảng Oai Công và Thường Tín Quận Vương.
Bà Thừa Thiên Cao Hoàng Hậu họ Tống. Năm lên 18 tuổi, Nguyễn Ánh cưới bà đầy đủ nghi lễ truyền thống và tấn phong làm Nguyên Phi. Bởi tính tình cẩn trọng, cử chỉ đoan trang, nên bà được Nguyễn Ánh rất quý trọng.
Mùa thu năm Quý Mão ( 1873) Nguyễn Ánh bị quân Tây Sơn đánh, phải chạy ra đảo Phú Quốc, sau đó thấy tình hình nguy ngập, Nguyễn Ánh gửi Hoàng tử Cảnh cho Bá Đa Lộc ( Pigneau de Béhaine) qua Pháp xin cầu viện. Lúc ấy, Hoàng Tử Cảnh mới 4 tuổi. Bá Đa Lộc lạy xin thọ mạng. Nguyễn Ánh và bà Nguyên phi lau nước mắt đưa hoàng tử Cảnh sang Pháp. Sau khi Hoàng Tử Cảnh đi rồi, Nguyễn Ánh lấy một thoi vàng chặt đôi ( một thoi 20 lượng ) trao cho bà , một nữa và căn dặn :
- Con ta đi rồi, ta cũng sẽ đi sang Xiêm. Vậy Phi phải ở lại đây ( Phú Qiốc ) để cung phụng Quốc Mẫu ( tức bà Thiếu Khương , vợ của Nguyễn Phúc Luân ) chưa biết gặp nhau khi nào và ở chỗ nào, vậy lấy vàng này làm tin .
Trong những ngày Nguyễn Ánh bôn tẩu, khi ở Xiêm, lúc ở Việt, bà vẫn một mình hầu hạ mẹ chồng. Ngoài việc hầu hạ mẹ chồng, bà còn thân hành may dệt nhung phục cho quân lính. Một lần, quân Nguyễn giao chiến với quân Tây Sơn, đến hồi quyết liệt, quân Nguyễn núng thế, muốn rút lui, bà tự tay nổi trống thúc quân, quân Nguyễn Ánh hăng hái trỏ lại, xông lên và cuối cùng thắng lợi .
Sau ngày thu phục đất nước, Gia Long hỏi bà nửa thoi vàng năm xưa, bà đem vàng ra trình lên. Gia Long vô cùng cảm động, cầm lấy nửa thoi vàng và bảo rằng:
- Vàng này mà còn giữ được, đó thật là ân trời đã giúp cho trong lúc gian nan, chẳng nên quên lãng. Vậy phải để dành về sau cho con cháu biết.
Dứt lời, Gia Long lấy nửa thoi vàng của mình ráp với nửa thoi vàng của bà Nguyên Phi, rồi trao hết cho bà.
Cuộc tình duyên của bà Tam Cung Lê thị Ngọc Bình với Gia Long cũng khá lạ kỳ. Sau khi thắng trận trở lại Phú Xuân, Nguyễn Ánh gặp bà vợ trẻ của Quan Toản là công chúa Ngọc Bình đang còn ở lại trong cung, không kịp chạy theo vua Tây Sơn. Say mê trước sắc đẹp của bà, Nguyễn Ánh quyết định lấy bà, sau đó đã phong làm Đệ tam Cung .
Bà Ngọc Bình lấy hai đời chồng đều làm vua ( Cảnh Thịnh và Gia Long) nên trong dân gian có câu ca dao:
Số đâu có số lạ lùng!
Con vua mà lấy hai chồng làm vua.
Cũng là một sự trớ trêu! Nguyễn Huệ Quang Trung chồng bà Ngọc Hân công chúa; Nguyễn Ánh Gia Long chồng bà Ngọc Bình, em Ngọc hân; hai kẻ cừu địch không đội trời chung ấy lại trở thành anh em " cột chèo " !
Đó là những bà phi đặc biệt và nổi tiếng. Còn các bà phi khác trong Hoàng Cung, những gần một trăm bà, lại xảy ra bao chuyện rắc rối. Bài báo của Michel Đức Chaigneau đăng trong tờ " Le monniteur de la Flotte xuất bản năm 1858 tường thuãt như sau:
- " Khanh sẽ không ngờ rằng cái gì đợi Trẫm ở đây kia ( Ngài chỉ vào hậu cung của Ngài) khi Trẫm rời khỏi nơi đây, ở đây Trẫm được hài lòng vì Trẫm nói chuyện với những người xứng đáng, họ lắng nghe Trẫm, họ hiểu biết Trẫm, và khi cần họ vâng lệnh Trẫm răm rấp, còn ở
đằng kia Trẫm gặp phải một lũ quỉ xứ thật sự . Chúng cãi vả nhau, n gược đãi nhau, phỉ báng nhau và sau đó tất cả cũng chạy đến cầu xin Trẫm phân xử. Nếu làm đúng thì Trẫm sẽ luôn luôn cầu xin Trẫm phân xử. Nếu làm đúng thì Trẫm sẽ luôn luôn khiển trách tấc cả. Vì Trẫm không biết ai sẽ nhương nhịn ai trong cơn giận dử " .
Sau một lúc im lặng Ngài tiếp: " Chốc nữa trẫm sẽ ở giữa một đám yêu phụ làm Trẫm điếc tai, nhức óc " ( vừa giả giọng và điệu bộ của một người đàn bà trong cơn giận dữ; Ngài vừa thét):
- Muôn tâu Bệ Hạ, Hoàng Bệ Hạ phân xử, bà đã sỉ nhục thần thiếp, người ta ngược đãi thần thiếp, thần thiếp xin phân xử ".
Nhà vua phì cười, rồi nhìn vị đối thoại của Ngài như để gơi ý. Vị quan Pháp cũng cười ngất, nhất là bản kịch câm của nhà vua và những tiếng la hét của Ngài để bắt chước sự giận dữ của các cung phi. Ông tâu: " Việc đó rất dễ, Hoàng Thượng có thể giảm bớt mối sầu khổ của họ bằng cách hạn chế số Cung Phi " .
Nhà vua ngắt lời:
- Suỵt ! Hãy nói khẽ! Nói khẽ !
Ngài cho những lính vệ và những hộ vệ quân đã theo Ngài khắp nơi được phép lui ra và nói tiếp ; " Ồ ! Ông Chaingneau, nếu các quan đồng liêu của Khanh nghe được điều Khanh vừa mới nói ra đó, họ sẽ trẻ thành những kẻ thù vĩnh viễn của Khanh, Khanh không biết rằng các Cung Phi hầu hết đều là con gái của các quan ư ? Này, mặc dù số tuổi của Trẫm đã đáng kể, nhưng không bao lâu b nữa, một vị quan sẽ dâng hiến cho Trẫm con gái của ông ta. Trẫm không thể từ chối được, vì như thế, Trẫm sẽ chọc tức ông ta và cùng đau đớn. Ở đây chính là một vinh dự và một sự đắc ý đối với một ông quan có con gái được vào Hoàng Cung, và đối với Trẫm đó là một sự bảo đảm chắc chắn nhất về lòng trung thành của ông ta. Trẫm muốn sửa đổi lại cả thế giới, nha61t là đàn bà, vì họ đều đáng ghê sợ hơn đàn ông. Nếu Trẫm ghét bỏ mợt một trong các cung phi của Trẫm, thì nó sẽ than phiền với thân phụ nó ngay, và nếu không sỉ nhục to tiếng trước tuổi tác già nua của Trẫm, thì ông ta cũng khéo léo gieo rắc giữa các quan những sự đồn đại vụn vặt về Trẫm, sẽ làm cho Trẫm mang đầy sự lố bịch trước đôi mắt của thần dân".
Hẳn đó là lời bộc bạch chân tình của một ông vua trước một người nước ngoài. Câu đánh giá của Gia Long về phụ nữ ở thế kỷ XIX thật thú vị:
" Trẫm muốn sửa đổi lại cả thế giới, nhất là đàn bà, vì họ đều đáng ghê sợ hơn đàn ông". Đó là câu đánh giá của một ông vua thời phong kiến, theo chế độ đa thê. Còn bây giờ, ở những đất nước theo chế độ độc thê, không hiểu câu đó có còn đúng không?
( Theo Đại Nam chính biên liệt truyện và Le moniteur de la Flotte của Michel Đức Chaigneau