Wa'alaikumusslaam wrwb.
Memutus silaturrahim termasuk dalam kategori dosa besar yang harus kita hindari, Dan Pemutus silaturahim termasuk orang yang terkena ancaman tidak akan masuk surga
Tetapi dalam kasus sebagaimana yang anda ceritakan insyaaAllah tidak termasuk dalam kategori "memutus silaturrahim", selama niat anda untuk tidak bertemu dengan saudara-saudara anda bukan untuk memutus silaturahim, tetapi semata-mata dengan nita baik, yaitu agar tidak terjadi fitnah sebagaimana yang anda takutkan
Oleh karena itu, seyogyanya niat anda untuk tidak bertemu dengan saudara tersebut perlu anda batasi dengan waktu tertentu dan bukan untuk selamanya, dan sebaiknya anda tetap menjalin silaturrahim dengan cara lain, meskipun hanya lewat media telepon atau sms
Demikian, semoga Allah senantiasa berkenan untuk membimbing kita semua ke jalan yang diridhoi-nya
Wallahu a'lam bishshawaab
Wassalaamu 'alaikum wrwb.