クリーナーすべきです。
ただし、ミストタイプ（水タイプ）でクリ－ナーするほうがいいかも。
例えば、卓球以外の身近な粘着ゴムが使われている製品を考えて見えください。
水で洗えば何度も使える粘着ゴムのカーペットクリーナーなどです。
水で洗うと粘着力が下がるのであれば、水で洗わず、そのまま使うのでしょうか？本来の性能を引き出せなくなるのでクリーニングしましょう。
キーワードは、「本来の性能を引き出せなくなるのでクリーニング」
トップ選手が時々、息を吹きかけてラバーを試合中に掃除してますよね？なぜしているんですか？ピン球の粉がついて粉のせいで本来の性能を引き出せなくなるのでクリーニングしているんですよね？
クリーナーしても大丈夫です。
ただ、可能であれば水タイプがいいかもしれません。実験したことがあるのですが、粘着ラバーには、キュアウォーターが一番良かったと思います。