川淵三郎さん、東京五輪の無観客開催にチクリ「だったら日本でやる必要なかった」