根据小说《大宅门》中的剧情，香菱是大宅院的丫鬟，她生了一个孩子，这个孩子的父亲是大宅院的少爷王熙凤。 王熙凤是大宅院的主家子弟，与香菱有一段婚外情。 然而，这段婚外情并没有被大宅院的其他人知晓，只有香菱和王熙凤之间的秘密。 所以，跟大宅院的女人香菱生的是王熙凤的孩子。