洪水生于越南河内一个地主家庭，原名武元博，曾用名鸿秀、阮山、李英嗣等。早年赴法国留学，与胡志明相识。1924年，洪水响应胡志明的号召，前往中国广州，加入越南青年革命同志会。1926年，进入黄埔军校第四期学习。其间加入中国共产党和越南共产党。
土地革命时期，洪水任广东省东江游击队连政治委员，红军学校工农剧社社长。1935年8月，由于张国焘拒不执行党中央北上抗日的正确方针，敢于仗义执言的洪水与之激烈争论，结果被污为“国际间谍”，险些遇害，多亏朱德、刘伯承全力营救才幸免于难。
后来，洪水所在部队被打散，当他得知党中央和中央红军已到达陕北，便独自翻越雪山草地，独自向延安奔去。
一路上，为生存下来，也为躲避敌人追捕，洪水乔装打扮成藏民，沿途替人放骆驼牧羊，甚至讨饭要吃，总算历尽千辛万苦，于1936年初抵达延安。刚到延安时的洪水身穿破烂藏袍，衣衫褴褛，瘦得皮包骨头，以至于大家都不敢相认。
