1904年因“同化会”事件，愤而变卖家产，迁离台湾定居福州经营渔业，并积极投身反日爱国活动。1906年加入台中栋社。1918年与林幼春首倡设立台湾文社，计划出版《台湾文艺丛志》，以图普及中文，对抗殖民同化政策。后留学日本。1919年五四运动后，同林献堂等人组织声应会、启发会。1920年1月11日，组织台湾新民会任副会长，捐资创办《台湾青年》。为加强与在大陆台胞交流，以台湾士绅身份，拜会北京、上海等地台湾同乡，并与中国国民党、朝鲜革命团体、第三国际代表等接触，痛切控诉日本在台的殖民暴政。呼吁祖国和国际革命团体声援台湾人民的反日爱国运动。1920年，与林献堂等组织“六三法撤废期成同盟会”，为“台湾议会设置请愿运动”呼号奔走。1921年，当选为台湾文化协会理事。同年，与林呈禄、彭华英出席上海大东旅社的旅沪印度、朝鲜、菲律宾等民族解放运动人士集会，发出台湾人民坚决反抗日本殖民统治的正义呼声，主张建立亚洲民族自决联合战线。1922年，任《台湾》报报社董事，并参加北京台湾青年会。1923年，与蒋渭水、石焕长等组织“台湾议会期成同盟会”，试图发动第三次请愿，要求日本议会在台设置议会机关。同年，l0月2日，与彭华英、许乃昌等在上海东南大学成立“上海台湾青年会”。12月，因日本殖民当局制造“治安警察法违反事件” (简称“治警事件”)，遭到政治迫害，被判刑3个月。出狱后，继续从事反日活动。1924年主办“无力者大会”。1929年5月24日，在台北病逝。因毕生投身反日爱国斗争，被誉为“台湾民族运动的开路先锋”。著有《铁生诗草》《狱中词》等。
不仅是台湾新文化运动和民族运动的优秀领导人，而且与林献堂、林幼春被合称为 “既具旧学素养、又具现代思想”的三人。诗词都为旧体，却能表达爱国民主的新思想、新感情。作品辑为《铁生诗抄》。代表作 《狱中词》三首原载1925年 《台湾民报》第3 卷第 17号，词中描写了台中清水父老青年不顾殖民统治淫威伴送蔡赴狱的动人场景和同案志士间在狱中互怜互励的战友感情，表现了作者 “松筠坚节操，铁石铸心肠”的崇高民族精神。