こんばんは
プリセットをうまく使うとできると思いますが、最初にプリセットについて説明させてください。
プリセットは「表示させたいレイヤだけを選んで登録しておく」ものです。
具体的には、表示させたいレイヤだけにチェックを入れてプリセットに登録しておくと、それを全体図に使うことができます。
まずは、全体図に使いたいレイヤだけにチェックを入れてください。
そしてレイヤパネルの目玉の形をしたアイコンから「プリセットを追加」をクリックして、例えば「全体図用」と命名して登録します。
例として示した画像は既存ファイルからキャプチャしたもので、「位置図」というプリセットを既に登録しています。

次にプリントコンポーザのアイテムプロパティを設定します。
同じく目玉の形をしたアイコンがありますので、これをクリックして登録したプリセットを指定します。

なお、ラベルの表示・非表示だけの問題でしたら、問題となっているレイヤを複製した上でラベルの表示を無しにして、プリセットでは
複製したレイヤを表示するようにして登録すると良いと思います。
実はSledeShareの資料のハンズオンに参加させて頂いたのですが、覚えられて良かったと思ったのがプリセットの機能でした。
とても役立つ機能だと思いますので、是非ともご活用ください。