江西省南康县人。1926年参加革命，1927年加入中国共产党，1929年任中央苏区信（信丰）、康（南康）、雄（南雄）中心县委书记兼游击大队政委。1930年任中国工农红军二十八纵队政委和纵委书记。1933年调中华苏维埃临时中央政府，任秘书科长，并给毛泽东主席做秘书工作。1934年10月随中央红军参加长征。1935年10月到达延安，后入红军大学学习。1938年南下参与组建新四军并任中共中央长江局高干训练班主任。1948年先后任渤海军区政治部主任、副政委。1950年3月任山东军区政治部副主任。1951年3月13日遇害牺牲。毛泽东主席曾就黄祖炎遇害作过三次重要批示，并于1952年10月27日，在山东军区司令员许世友陪同下，亲临黄祖炎墓前悼念。