お風呂にはいるときは、トコちゃんベルトを外してもいいですか?

基本的には問題ありません。

ただし、トコちゃんベルトを外すと骨盤が不安定に感じる方は、ふらつかないよう壁に寄りかかったりイスに座ったりするなど気をつけながらご入浴ください。