我6岁上小学，先在女校，上启蒙教育，两位女教师一位姓寿，一位姓顾，很有耐心。我记得一个女同学姓徐，家境很好，非常文静，她后来修道进了献堂会，当修女，她说自己一直记得我。
第二年转男校，我只记得姓诸和姓胡的两位老师，因为我们每天望弥撒，我的早饭和中饭都寄在堂内吃。另一位同学名叫倪麟祥住在董家渡，因为老天主堂本堂神父倪西满是他的叔祖父，他也到老天主堂小学念书，早、中饭也寄在堂内。同桌的是杜子山老先生（教区用的管理南市出租房的先生）和他的孙子，后来倪麟祥和我同进徐汇公学念书，同年毕业（1932年）同时进小修院和大修院，他后来染上肺结核，过早去世。他的侄女倪瑶后来和我的一个表甥吴祖祥结婚，我和他们一直有来往。
至于小学生活，只记得在练写毛笔时，诸老师偷偷走在后面，他在我写字时，用手拔我握的毛笔，被他拔走，他就得意地教训我，拔不走时（很少几次）他就夸奖我，握得紧。我也记得略大一些时写作文，我开头老写：“夫人生于世”字样，口吻像大人一样。
我还记得，一次我和我弟弟在去学校时商量逃学，立即回家向我母亲说，学校临时放假，母亲相信了。谁知道晚饭后诸老师到我家来，他因为我兄弟俩都没有去学校，怕出了什么事或我们病了，他一来父母知道我们逃学，撒谎骗人，父母一送走老师，父亲顿时大怒，叫我们跪下，拿起鸡毛掸子向我狠抽，说我是哥哥，必是我带坏了弟弟，幸而母亲在旁好言劝阻了他。当然以后我们再也不敢逃学了。
1926年，那时候我10岁，我父亲把我送到徐汇公学小学部住读。徐汇公学非常严格，开学以后就没有假日，不能回家。我记得，我进校后，约一个多月，我妈到校来看我，她先去找校长，校长是外国人叫姚赞唐，校长叫我去并对我说，你妈要领你回去，因为你的外祖父70岁大庆了，我许你回家去。后来我妈领我出去后跟我说，我还是第一次看到这样一个外国人，那么长的胡子，跟他说话好害怕。妈又说，我这是第一次说假话，就是因为我想你，要看到你，舍不得你，想带你回去住两天，才说你外祖父做70岁大庆，实际我说了假话，我一辈子就这一次说了假话。小孩子不懂事，能回家当然开心了。事后我想想，我妈真爱我，她是好人，一辈子从不说假话，为了我的缘故她说了假话。我很感动。