虞守愚，升都察院左金都御史，监督南赣等处军务。南赣为江西、福建、广东交界处，山高岭峻，树密林深，屡有盗贼出没，他们对官府采取东进则西窜，南捕则北奔的对抗办法，因地连各境，事无统属，官府均彼此推倭，故而盗贼猖獗盛行，百姓怨声载道。嘉靖帝特敕调任虞守愚巡抚江西南安、赣州，福建汀州、漳州，广东南雄、韶州、惠州、潮州等府及湖广郴州地方。
虞守愚到任伊始，则遣军荡扫流寇盗贼，擒王五、谢相、葛老虎、赖日昌、叶春等路盗匪计四百余人，匪患为之一清，百姓得以安居乐业。为巩固剿匪成果，虞守愚又奏请修聋城池，恢复长沙营，建黄乡城，设立羊角、水堡诸巡检司。他还立社学，训苗民，修路建仓，恩威并施，做了一系列振兴南赣经济、文化的好事，百姓建报功词以纪念。
虞守愚，升副都御史兼江西巡抚。正值天灾频发，田园荒芜，灾民外逃，饿殍遍地，虞守愚急上疏奏请，减免灾民课税，发放储粮赈灾济民，救活灾民万计。时夏言独揽大权，他欲搜刮江西各府资金大建弋阳城，各府、司慑于夏言淫威，不敢不从，唯虞守愚一人挺身抵制。夏言恼羞成怒，指使爪牙捏造事实诬陷虞守愚，上疏弹劾，虞守愚横遭贬滴，罢官归家，听候勘查。
夏言被处死，虞守愚冤情大白，复起用为南京大理寺卿，后改迁刑部右传郎，时年已70岁。虞守愚己看穿官场险恶，无意仕途，遂谢政归隐田园。朱载垕即位，改元隆庆，诏虞守愚进阶二品，授刑部尚书之职，进阶正议大夫、勋资治尹，封赠“忠孝堂”匾一方。
虞守愚，告老还乡后，终日家居，从不涉足官行，对自己居所题匾曰“留余”，以表自己心态。宗族乡里，凡有争执难决之事，只要他从中劝解便能使双方心悦诚服，不会对簿公堂，免去了乡邻几多不应发生的麻烦，为百姓所称颂。
虞守愚，虽已是耄耄之年，但仍读书孜孜不倦，非六经礼义之语不言，诲子孙以忠厚方正之道，逢人总说：“做人切勿攀附权贵，不然，有冰山倾颓之危也。”家居近四年，捐资兴建义乌县衙、东江桥、虞大宗词，置公田以救济贫困，捐资以助学校，诸多美事，实为后人之表率。
虞守愚逝世，享年87岁，颁诏将虞守愚入祀“乡贤祠”。构筑“东崖书舍”藏书楼，有终老之意，家中藏书万卷，终日在书斋正襟危坐，从事著述，所藏书后归于胡应麟。