第１陣から６陣まで分かれて参戦した在日義勇軍たちは所属部隊によって運命が分かれた。第１陣と２陣などで出征した義勇軍の中には前回に触れた通り、わずか参戦３カ月で不本意ながら日本に帰されたケースもあるが、国軍に配属された在日義勇軍や、主に米３師団と米７師団に配属されて北進戦闘や中共軍と戦った在日義勇軍たちは生死の境をさまよう運命を強いられた。
激戦場で負傷して除隊することになった義勇軍や、配属された米軍部隊から除隊措置を受けて日本に帰国を待つようになる在日義勇軍が１９５１年４月頃から釜山の少林寺という寺に集まった。当局は在日義勇軍の日本帰還希望者たちは少林寺に集結するように新聞に公告まで出した。
避難首都だった釜山で２００人以上が集まったので生活は困窮した。食生活の解決すら大変だった。日本への帰還を希望した在日義勇軍たちは「在日韓僑学徒義勇隊」を結成して当局との接触や交渉に当たった。トラブルも多かった。在日義勇軍の中にも戦場からの脱走兵が複数いた。
当時のことを知る人々の証言によれば、少林寺にやってきた郭東儀もそういう脱走兵だったという。後に韓統連の議長や「６・１５共同宣言実践海外側委員会」の共同議長になる郭東儀は当初から「人民軍」へ加担する目的で義勇軍に志願して戦場へ行ったと言われる。郭東儀は正体がばれるや少林寺から姿を晦まして密航で日本に戻ったと知られている。
いずれにせよ、釜山の少林寺で集団生活をしていた人々は、政府や米８軍司令部の斡旋で半年後の１９５１年１０月２日から順次に日本に帰還した。米軍の輸送船で佐世保に着いた最初の４０人あまりは民団中央をはじめ在日同胞たちの熱い歓迎を受けたという。そして、最終的に日本に帰還ができたのは２６５人だった。
在日学徒義勇軍として出征したのは６４２人だったのに、戦死や失踪者１３５人と２６５人の帰還者以外、２４２人はついに日本に戻れなかった。つまり、１９５２年４月２８日、サンフランシスコ講和条約が正式に発効すると、主権を回復した日本政府は、在日義勇軍は米軍により韓国に渡ったため、日本政府が責任を負う問題でないという姿勢を貫いた。休戦まで軍に服務した義勇軍出身者はもちろん、１９５２年４月以降に除隊した在日義勇軍出身者たちは、家族がいる日本に帰還する道が閉ざされた。
この未帰還者たちの問題は１９６５年の韓日国交正常化のとき、義勇軍として参戦した本人だけが日本への帰還が許された。だが、すでに戦争から１０年以上が経ち、本国で結婚して妻子を持っている人たちは、現実的に日本に帰るのを諦めるしかなかった。
文性煥氏の場合、妻子を置いて大阪から出征し、釜山の少林寺で待機していたが、帰還できなかった一人だ。日本へは戻れず、何の縁故もない韓国に残された在日義勇軍は、本国で仕事を探すのも大変だった。日本での学歴や職場の経験は、当時の韓国ではほとんど役に立たなかった。
英語ができる一部の者は、米軍の警備員として採用されることもあったが、普通の人々は、ほとんどが就職できなかった。日本の家族と別れて、本国ではなかなか仕事にもつけず生き延びねばならなかったという。１９６９年になってようやく、在日義勇軍も国家有功者として認めてもらうようになった。
一方、日本に戻ってきた在日義勇軍参戦者たちを待っていたのはやはり共産主義との闘争だった。朝総連が１９５５年新しく再発足するまで朝総連の民団襲撃は数千件にのぼった。この朝総連との厳しい闘争が始まった。