全羅南道順天出身の商工人の集まりを「五星会」だと思っていた。順天出身の商工人の関貴星を囲む会だという認識だった。
関貴星は草創期の朝鮮総聯を支えた商工人で、極めて韓徳銖議長と親しかったと伝わっている。関貴星が娘の伴侶を探している時に、韓徳銖議長が手伝った、と安宇植は語っている。安宇植も李進煕も朝鮮大学校で教えていた時の話だという。李進煕は韓徳銖を取り巻く明大グループの一員だった。明大グループとは明治大学に学んだ朝鮮青年の集まりで、李進煕や姜徳相などがいた。
関貴星は『楽園の夢破れて』の著者で知られている。寺尾五郎が北朝鮮を理想化した幾つかの著作を刊行する。そして在日朝鮮人の「帰国運動」が盛り上がる。当時、関貴星は朝鮮総聯の役員だった。関貴星は１９５１年から５５年までの、六全協前の日本共産党岡山県委員会の民族対策部の役員を務めている。六全協後に朝鮮総聯岡山本部議長、５９年５月に朝鮮総聯中央本部財政委員を務める。６０年８月に日朝協会が「８・１５朝鮮解放１５周年慶祝訪朝使節団」を出している。使節団のメンバーには寺尾五郎も入っていた。２５日間、注意深く帰国運動で渡った在日の生活を調査し、その厳しい現実を察知する。日本人だけの使節団だった。関貴星は５１年に日本籍を取得していた。だから案内人が朝鮮語を解する人物の存在に気付かなかった。
日本に帰って、このまま「帰国運動」を続けることは在日を騙して不幸な結果を招くと考え、朝鮮総聯幹部に北朝鮮の現状を伝えるよう訴える。帰国する以上は厳しい祖国の実情を知り、覚悟して帰国することの必要性を述べたが、受け入れられなかった。それだけでなく、関貴星はスパイであり、反逆者である、裏切り者などの攻撃を受ける。
６２年に全貌社から『楽園の夢破れて』を出版する。この関貴星の著作刊行が帰国運動の分水嶺となり、北朝鮮へ「帰る」という在日は激減する。大阪の日朝協会の役員として、多くの在日を送り出した萩原遼は、後年「北朝鮮帰国者の生命と人権を守る会」の運動に参加していく。「３０余年前の正義の絶叫になぜ耳を貸さなかったのか」は、９７年に復刻版を出した萩原遼の慚愧の声であろう。
徐彩源年譜に５０年１０月、岡山市の関貴星氏宅に寄寓、との記載がある。この時代が徐彩源のもっとも苦しい時期であったろう。
５０年１１月、病状悪化で岡山市清輝橋の六本病院に入院。１２月、胸部手術を受ける。５１年１月、２回目の手術。３月に六本病院を退院。関貴星の支援で闘病生活を切り抜けている。
そして５２年２月、倉敷市の合同遊技場の経営に参加。関貴星の後押しで事業を切り開いていく。５３年３月、倉敷市に別良ホールを設立。５４年５月、広島市に福屋ホールを設立。７月、広島市遊技共同組合を設立、役員に就任。５５年１２月、東洋建機工業株式会社を設立。
日共の指導下に在日朝鮮人は民戦を結成し、武装闘争に走っている時代、徐彩源は病気の回復に合わせて事業活動に精を出している。関貴星の支援があればこその事業活動であったろう。
そして関貴星を取り巻く五人の「五星会」でなく、関貴星が日本へ帰化する前の呉貴星を意味する「呉星会」の中心人物として、徐彩源は生きる。その証として、関貴星の女婿の李進煕が編集長を務める『季刊三千里』誌の刊行を支えて行く。ＮＨＫへ朝鮮語講座の開設を求める運動拠点となり、その成果がハングル講座の開設として実っている。