曹雪芹的祖上用盛极一时来形容一点不为过。曹家一门三代四人垄断了江宁织造的肥缺长达48年，康熙6次南巡，5次是曹家接待，有4次康熙是直接住在曹家的，可见康熙对曹家的恩宠。曹家的起步，还是源于曹雪芹的太爷曹玺他老婆很幸运当上了年幼的康熙的乳母，曹雪芹的祖父曹寅又成为了康熙的伴读和御前侍卫，这些都为曹家日后飞黄腾达打下了基础。

曹家原来是明朝的官员，在清朝攻打明朝时被多尔衮俘虏，成为了他所管辖的正白旗旗下的包衣奴才。后来在多尔衮死后，顺治就将正白旗收归自己所有，曹家也就成了皇室的奴才。清朝有这样一个习俗，那就是皇子不能长在母亲的身边，到一定年龄需要到阿哥所由保姆和奶娘进行照顾。而曹家曹玺的夫人孙氏就是照顾康熙的仆人之一。年少就离开母亲的康熙和乳母曹孙氏的关系特别好，虽然没有母子之实，但却有母子之情。

在康熙即位后，曹雪芹太爷曹玺被封为江宁织造(今南京，主要负责皇族的采买，职位不高但是油水十足的官位)。曹家一直在此位置上做了五十八年，凭借其特性成为了当地的一个庞大家族。康熙皇帝几次下江南都是住在了曹家。然而这样一个在康熙时期还是汪族的家庭却在雍正上台后起了翻天覆地的变化。雍正六年，曹雪芹家被抄家，这里的理由大概有三。

曹氏家族被雍正爷抄家肯定两个原因都有，因为经济原因，正好政治因素也存在，使雍正降罪与曹家，致使曹家被抄家，自此之后埋没了。