江宁织造署西花园说可追溯到与曹雪芹同时代的脂砚斋主人。《红楼梦》第二回写贾雨村对冷子兴讲到南京的荣、宁二府及其花园：“隔着围墙一望，里面厅殿楼阁，也还都峥嵘轩峻；就是后一带花园子里面树木山石，也还都有蓊蔚烟润之气。”脂砚斋在这一段上批道：“后字何不直用‘西’字。恐先生坠泪，故不取用‘西’ 字。”这段脂批，暗示大观园即是江宁织造署的西花园，曹家曾在此迎接康熙皇帝大驾的。
从上世纪60年代起，台湾学者赵冈对江宁织造署西花园说的考证，用力甚勤。他在《红楼梦考证拾遗》和《红楼梦新探》中都认为江宁织造署行宫西花园即是大观园。
1980年台北《联合报》发表赵冈的《再谈大观园》。他从《红楼梦》所描写的大观园建筑的逻辑进行推论，与南京行宫图相对照。最后提出：“这个荣府西花园，也就是南京行宫的西花园，现在已改为大行宫小学，西临碑亭巷，北临汉府街。据研究南京历史的专家告诉我，在修建大行宫小学时，在园之西北角上亭子中发现一块碑石，上面书‘红楼一角’，据说碑亭巷就是由此得名。”但余英时的《江宁织造曹家档案中的“西花园”考》根据档案，彻底否定了江宁织造署西花园说。
南京的吴新雷在1979年写了《南京曹家史迹考察记》，考出大行宫小学的操场一角即是当年西花园的西堂。他用《脂砚斋重评石头记》第二十八回的脂批，说明曹雪芹曾把西堂的曹家故事汲取为《红楼梦》的文学素材。冯其庸把它摄入了《曹雪芹家世、红楼梦文物图录》(1983年)。到1984年8月，就在这块地方发掘出了完整的假山石基和原来的水池。这就是记载上有名的西花园西池。这是近年红学文物研究的重大发现。西池的发现，揭示了淹没已近百年的西花园规模。这为主张大观园即是西花园的说法提供了实物依据。
早在上世纪50年代，部分红学家印证清人记载，主张北京后海恭王府即是大观园，这就是著名的恭王府说。这一说由周汝昌的《红楼梦新证》(1953年)首先提出。吴柳的《京华何处大观园》(1962年)对恭王府作了详细介绍，指出了恭王府和大观园之间的相似之处。文中引用古建筑学家单士元的话：认为恭王府是大观园遗址，完全有可能。陈从周在1978年发表《关于恭王府的通信》，从建筑的角度肯定了恭王府在清初已存在。信中写道：“正房为‘锡晋斋’，院宇宏大、廊庑周接，排场大，有格局，传为贾母所居也。……府后为花园，东有院，以短垣作围，翠竹丛生，而廊空室静，帘隐几净，多雅淡之趣。……此即所谓‘潇湘馆’。最后亘于北墙下，以山作屏者为‘福厅’，三间抱厦厅突出，自早至暮，皆有日照，北京惟此一例而已，传为‘怡红院’。”
周汝昌经过多年研究，写成《芳园筑向帝城西》，对恭王府作了详尽的考证。他从地理环境、景物遗存、建筑布局、府第沿革、文献印证等方面，结合《红楼梦》书中对大观园的描写加以考证。虽然无直接的证据，但恭王府与大观园有一种内在的联系则是清楚的。这篇文章在充实图片及文字资料后，在1980年12月以《恭王府考》为题出版，字数超过十一万，是近年来在大观园地点考证方面的较大收获。该书结尾部分特别指出：也许在将来整理清代内务府满文档时会得到恭王府是否原属于曹家的答案。当年，恭王府说曾得到周恩来总理的支持。周总理亲自参观了恭王府，并发表了意见：“不要轻率地肯定它就是《红楼梦》的大观园，但也不要轻率地否定它就不是。”
尽管如此，也有人不同意恭王府说。顾平旦在《从“大观”到“萃锦”》(1980年)一文中，认为恭王府的萃锦园规模和大部分建筑都是同治以后才有的。恭亲王奕圻，也许就是个《红楼梦》迷，把自己的府园仿照“大观园”建造。这个说法也就否定了恭王府说。
《红楼梦》中大观园的原型究竟在哪里，争论仍旧在继续。