Есть такая пословица "На каждый роток не накинешь платок". Ну, одному ты рот заткнешь, другому, а молва все равно вперед бежит. Проще не обращать внимания, и если ты уверен, что действительно чист, аки агнец, живи себе дальше как жил. А если червь сомнения гложет, значит задумайся, может не всё так хорошо в твоем поведении, как тебе кажется.