谢玉岑与张大千结为至交首先是因为大千长兄张善子的关系。张善子是当时著名画家，擅长画虎。谢玉岑以诗书名重一时，两人作画赋诗，在当时的画坛曾传为佳话。那时张大千还未成名，和玉岑同住上海西门路。大千作了画，总请玉岑给他题诗。大千对玉岑的诗词书法十分钦佩，而玉岑对大千的画也早具慧眼。大千的画经玉岑题诗，就更添光彩。
        １９３０年冬，张大千在上海举办画展。玉岑带了弟弟稚柳一起前往参观。张大千见玉岑来了，非常高兴；又见他带弟弟一起来了，大千听说过稚柳才情过人，两人初次见面更为高兴。对玉岑说：“玉岑兄，你好有福气，有这么好个弟弟。”他亲自陪同谢家兄弟参观。这次见面，为大千和稚柳的交往开了个头。
        玉岑妻钱素蕖是名山长女，温淑贤慧，能诗善书。只是身体孱弱，１９３３年便去世了。玉岑为哀悼亡妻，易名“孤鸾”。他请大千画白荷两幅挂在灵堂，画上盖篆刻家方介堪专刻的印章：“孤鸾室发愿供养大千居士百荷。”大千还画了一幅八尺中堂，为五色荷，以金色勾勒花上金丝金蕊，灿烂悦目，风韵生动。  玉岑每次返里，总要将这些画展挂堂壁，细细观赏，借以安慰“孤鸾”孤寂的心，并怀念亡妻。
        １９３５年，玉岑肺病加重，返回故里休养。大千每隔几天便乘火车来常州探望玉岑。每次来常州都带着自己的画作请玉岑指点题诗。当时大千名气还不大，而玉岑已誉满江南。大千对玉岑以兄尊之。第二年玉岑病故，年仅３６岁。大千万分悲痛。画了四幅大荷花挂在玉岑的灵堂。以寄托自己的哀思。荷花是玉岑最喜爱的。
        玉岑病重之时，把儿子伯子（字宝树）托付大千。他知大千日后必主中国画坛，而伯子从小失语，宜于学画，大千含泪答应，收为门下。
        大千没有辜负好友的嘱托，把伯子培养成才。伯子也很刻苦认真，没有辜负父亲和老师的一番苦心，他的山水、花鸟、人物都出手不凡。
        １９３８年，大千在成都还寄五百大洋来常州作为抚养玉岑遗孤之用。感动得名山老人赋诗以谢：

远寄成都卖卜金，玉郎当日有知音。
世人解爱张爰画，未识高贤万古心。