1930 年9月9日，廖林水出生于抚州市临川区罗湖镇蝉塘村。1951年3月，廖林水报名参军。1953年3月，廖林水赴朝参加抗美援朝出国作战，任中国人民志愿军21军61师183团二营机炮兵班长。

中国人民解放军第21军61师是一支从大别山走出的英雄部队，也是第三野战军战斗序列中唯一的红军师。该师作风英勇顽强，信念特别坚定，屡经大战考验，曾被对手评价为“共军最剽悍的一个师”。

1953年3月，廖林水所在的61师随21军跨过鸭绿江，入朝参战，担负东海岸守备任务，在夏季反击战中歼敌1000余人。1958年7月回国，驻防晋北，后调西北。1959年至1961年，61师参加西北平叛，作战674次，歼叛匪7846人。60年代，61师随军担负全国战备值班任务。廖林水先后获得五枚勋章，其中三枚是三等功勋章。