智叔在與妻子陳敏兒於1987年註冊結婚，婚後育有三子：文哲、文信及文諾。不幸的是，最年幼的兒子廖文諾2003年兩歲時證實患上血癌，在2006年迎接生日前便因急性肝炎引起的併發症與世長辭。當時智叔和太太都陪伴在側，看着他帶着微笑離開這個世界返回天國。2009年，智叔憑《證人》獲香港電影金像獎最佳男配角，智叔表示會與去世的小兒子文諾分享，將獎座放在兒子遺照旁。