Николай Александрович Панов - старший из семи детей дьякона рижского кафедрального Петропавловского собора Александра Дмитриевича Панова, бывшего воспитанника Псковской духовной семинарии. В октябре 1855 года отца “за нетрезвость” перевели из Рижской в Псковскую епархию и определили в Старо-Вознесенский монастырь. Там он прослужил дьяконом 12 лет, уступив место мужу старшей дочери, а сам стал письмоводителем Псковской духовной консистории.