1961年秋，他被调到大同文联，到大同煤矿去抓职工业余创作，从此就被煤矿吸引住了。将近20年，他每年都有几个月在煤矿，和矿工们一齐装煤、推车……矿工的命运，矿工庄严神圣而又极为艰苦的劳动，矿工心灵上闪耀的质朴沉郁的美强烈吸引着他。工厂现场、塞北农村的生活给他提供了创作的素材，学校、书本理想主义的教育在亲历工人、农民艰苦劳作的默默奉献中得到升华，他决定了自己的写作方向：“我的上帝是人民，我的笔下应该传达的是他们的声音。”

　　找准了方向，他的创作泉水般喷涌。1960年上海文艺出版社出版了他的第一个短篇小说集《故事发生在双沟河边》，1962年山西人民出版社又出版了他的第二个短篇小说集《春天在榆树堡》。1965年《收获》杂志1月号在首篇发表了他写煤矿生活的短篇小说《时间》，在读者中引起较大反响，上海召开了两次职工座谈会，《人民日报》、《文艺报》、《收获》等报刊发表专文评论，同时被选入人民文学出版社出版的《新人新作选》，译载于英文版和法文版的《中国文学》首篇。《时间》成为焦祖尧的成名之作。

　　总也怀揣着“理想主义者的使命感”

　　1965年，焦祖尧完成了他的第一部长篇小说《总工程师和他的女儿》，这是中国文坛1949年以来第一部以知识分子为主人公的长篇小说。写这部小说时，正是“阶级斗争年年月月天天讲”，《早春二月》等一批影片正在被批判。这部作品送到出版社，因为没写阶级斗争、因为作品主人公是知识分子、因为作品中的党委书记重视知识分子成了“投降派人物”而被退回修改。修改意见违背创作初衷，自然无法修改。作者先是被派往农村搞“四清”，后来又遭遇“文革”，书稿被造反派查抄，作者被关进牛棚。

　　12年后，当文学的冻土刚刚开始拂来春风，焦祖尧便将尘封已久的《总工程师和他的女儿》寄送出版社，作品很快获得通过，1978年由人民文学出版社正式出版，顿时成为新时期文学的“报春花”，在读者中引起强烈反响，小说的批判精神在今天看来仍有耳目一新之感。《总工程师和他的女儿》出版后，他的创作进入又一个高潮期。改革开放初期，他的长篇小说《跋涉者》又产生了很大的影响。山西作家张平觉得：“焦祖尧在创作手法上，努力吸纳新的文学理念和表现方法，形成了一种扎实、开放而又灵活的现实主义创作方法和方式。”

　　在山西作协工作的15年，是焦祖尧人生路上的又一次跋涉。上世纪80年代到90年代初正是他创作的旺盛时期，他的中短篇小说频频在《收获》、《当代》、《人民文学》等刊物发表，屡获好评。他本来还在构思着新的长篇小说，但由于作协工作的千头万绪，由于要抓队伍建设、培养文学新人，没有时间也没有精力再去搞自己的创作。

　　上世纪90年代中期以后，他基本上放弃了小说创作，全身心投入作协工作和培养队伍中去。张平介绍说，在焦祖尧主持省作协工作的15年中，他把青年作家当朋友，亲自为他们审稿、改稿，解决他们工作中、生活中的具体困难，为他们的成长和发展铺路垫石。

　　真诚地生活，真诚地写作，焦祖尧和他笔下正直的知识分子一样，也是一个理想主义者。正是这种理想主义促使他去思考人生，思考社会；正是这种理想主义使他背负上责任感和使命感，以自己的笔去表达劳动者的愿望，喊出他们的声音。1996年，写出了他的又一部长篇报告文学力作，反映“引黄工程”的《黄河落天走山西》。评论认为：“这部书是一个历史性的工程产生的一部历史性的作品，具有史诗的品格，大气而有才气。”

　　写作期间，焦祖尧说自己“经常在黄河岸边久久伫立，看艄公和风浪搏斗，寻觅逆水拉纤者在河滩上留下的足迹，看落日把黄水镀成一片厚重的金黄。”