Người Việt liên quan tới Xe Hàn, Nhật lo mất chỗ đứng