逆境を楽しむ香川、批判は「もう言われ切った」