1. 自己交差の検出
GeometryValidator の Self-Intersections in 2D でできます。
Attempt Repair パラメーターを Yes (デフォルト) にしておくと、自己交差のあったジオメトリは自己交差点で分割されたマルチパートになって Repaired ポートから出力されます。 No にすると自己交差のあったジオメトリは修正されず、Failed ポートから出力されます。
なお、自己交差があるようなデータは他にもいろいろ問題があることが多いので、他の検出項目も調べてみてください。

2. ポリゴン同士の重なりの検出
AreaOnAreaOverlayer が使えます。重なった部分が切り取られ、それらの Overlap Count Attribute (_overlaps) は 2 以上になります。

その他、異なるフィーチャータイプのジオメトリ間の関係一般については、SpatialRelator、SpatialFilter も見てください。