위안부 사죄편지 요구, 일본 시민단체에 피해는 없을까