Büyük Londra yangını
Kral II. Charles’ın 1660 yılında tahta geçişi Lilly için endişeli zamanların başlangıcı oldu. Haziran 1660 tarihinde I. Charles’ın idamını inceleyen bir komiteye hesap vermek üzere parlamentoya çağrıldı, ancak kanıtlarını sunduktan sonra serbest bırakıldı. Ocak 1661 yılında ‘birkaç fanatiğin’ bir araya gelişiyle tekrar tutuklandı, fakat Kral’a bağımlılığını bildirmesiyle affedildi. Lilly geçmişinde birçok düşman edinmişti, fakat yeni rejimle kurduğu uzlaşma, Saraylı Elias Ashmole gibi önemli isimlerin arkadaşlığını getirdi ona. Maji, simya ve astroloji gibi bilimlerle büyülenmiş olan Ashmole, siyasi görüşlerine bakmadan birçok astrologla arkadaşlık yapıyordu, Lilly sahne arkasından yardım etti. Lily ile ilk olarak 1646 yılında tanıştı ve 1650 yılında George Wharton’u savunduğu için onun arkadaşı oldu ve o tarihten beri sıkı arkadaşlıkları sürmüştü.
1660’lı yıllarda Lilly’nin astrolojik ünü düşüşe geçti. Yıllık almanaklarını yayınlamaya devam etti, fakat sansür yeniden güçlenmişti ve satışları düştü. 27 Haziran 1665 yılında büyük vebadan kaçmak için Londra’yı terk etti ve Walten-upon-Thames kilisesine müdür olarak atandığı Hersham’a yerleşti. 25 Ekim 1666 yılında Büyük Londra Yangını’nın nedenlerini soruşturan bir komitenin önüne çıkarıldı, bu yangını 1652 yılında şifreli bir çizimle öngörmüştü. Ashmole’un yardımları sayesinde komiteyi kehanetinin kesin olmadığı yangının sebebi hakkında hiçbir şey bilmediği konusunda ikna etti.
Lilly bundan sonra Ruth’la birlikte Hersham’da sessiz bir hayat sürdü. Vaktinin çoğunu tıbbi araştırmalara ayırdı ve 1670 yılında hekim olarak çalışabilmek için izin aldı. Yoksulara parasız, daha iyi durumda olanlara küçük bir ücret karşılığında tedavi etmeye başladı. Elias Ashmole ile arkadaşlığı derinleşti. 1672 yılında birlikte Elizabeth döneminin efsanevi mistiği Doktor Dee tarafından yazılmış bazı el yazmalarını buldular. Bunlar, Lilly’nin kendi kütüphanesi ve diğer kimi mistik ve astrolojik metinlerle birlikte Oxford’daki Ashmole Koleksiyonu’nda bulunuyor.
Lilly’nin son halkın önündeki son ağız dalaşı 1675 yılında rakibi Gadbury ile tartışmasıyla yaşanmıştır. Yıllık almanaklarını yayınlamaya devam etti, fakat kötüleşen sağlığı ve görme bozukluğu nedeniyle bu işi evlatlığı Henry Coley’e devretti. Aralarındaki yakın ilişki 1677’deki ölümüne kadar sürmüştür. Lilly ise 1681 yılında 9 Haziran tarihinde saat üçte felçten ölmüştür. Öldüğü zaman çalıştığı kilisenin sunağının birkaç adım ötesine defnedildi. Ashmole onun için üzerinde bugün bile okuyabileceğimiz Latince bir yazı bulunan siyah bir mermer koydurttu.