Джон Пакер скончался в 1649 году. Многим из того, что мы видим сегодня в Грумбридже, мы обязаны его сыну Филипу. Филип Пакер был одаренным интеллектуалом, барристером в «Среднем темпле» и членом-учредителем Королевского научного общества.
После коронации Карла II в 1660 году, Филип Пакер разрушил старый замок, построил Грумбридж Плейс, а в 1674 году разбил новые сады. К тому времени как его внук, тоже Филип, унаследовал поместье в 1697 году, оно было обременено долгами. Несмотря на попытки разрешить свои финансовые затруднения женитьбой на состоятельной, но психически неуравновешенной богатой наследнице, которая к тому же была старше его на 21 год, Филип умер в 1709 году, владея состоянием, эквивалентным сегодняшнему одному миллиону фунтов. Поместье было передано под опеку суда лорда-канцлера, в ожидании покупателя с достаточным капиталом, чтобы заплатить долги и выкупить закладные. Но ведомство лорда-канцлера были постыдно коррумпировано, а ведение дел и процедуры были неэффективными. В результате этого поместье Грумбридж двадцать лет находилось в запустении.