Iznīcināja pat pilsdrupas Vēl īsāks mūžs bija varākkārt postītajai Neiermīles pilij. Zviedru grāfs Ādams Lēvenhaupts 1706. gadā to nodeva minētājiem, lai izmanto par spridzināmo vietu apmācībās. Būtu naivi šaubīties par gala iznākumu. Pilsdrupas tika iznīcinātas 18. gadsimtā, ceļot Ādažu mūra baznīcu. Daļa no drupām tika izmantota Daugavgrīvas cietoksnim. 18. gadsimta vidū no gruvešiem rēgojās tikai viens tornis. 1798. gadā J. K. Broce zīmēja Neiermīles mūru atliekas.