但少年得志卻不等于仕途坦蕩，汪應辰做官的時候，北方金人南侵，他上疏表達了勿忘國恥、堅定抗金的主張，結果得罪了奸臣秦檜，被貶官3次，最后帶著族人，從江西老家遷至浙江的嶼北村。
汪應辰完全按照風水，來布局這個村子，他相信五行相互消長、陰陽相互平衡的道理，這樣才不會陰陽失和，內心也不會感到不安。從高空往下看，整個村子就像一朵蓮花，明朝地理學家李時實曾經來過嶼北，他的評價是：“永嘉嶼北路逶迤，出水蓮花一地奇”。
東方屬木，村東有林木茂盛的金山;南方屬火，村南的嶼山和金山相對而立，猶如“火”字的兩點;西方屬金，村西面有尚山;北方屬水，村北的溪水是村里的水源，中方屬土，指的就是位于中間的村落。嶼北村左右還有兩條溪水環抱，“門前若有玉帶水，高官必定容易起”。
山崗上還有一片松林，在嶼北人看來，這就是保護百姓的風水林，他們將古松樹作為神靈來供奉，族規嚴格規定，誰也不能砍伐。
村里有7口古水井，按照北斗七星形狀來分布，還有8座石橋，名字也好聽，月街祠橋，大川橋，月旦橋……
汪應辰搬過來之后，村里便開始設立私塾，全村合力，聘請老師，曾經有一位“四世師傅”，意思是一位老師連續教了4代人，全家每個小孩都受過他的啟蒙教育。老師一開始教《三字經》、《百家姓》、《千字文》，后來漸漸教一些國學經典，比如《論語》、《孟子》、《詩經》。
把私塾放在家里之后，家就不僅是生養孩子們的地方，也是他們接受人生第一課的地方，這就是嶼北人認為的家教。在家里，“規矩”一樣也不能少，孩子入學得由父母陪送到私塾，父母會把孩子的個性脾氣向老師介紹一下，并婉言請老師殷勤教誨，然后指點孩子拜見老師。
