Sine Wave ブロックのサンプリング時間を現状の "1e-3" から "0" と連続時間に変更することで所望の振幅を持つ正弦波出力を得ることができます。
ノッチフィルタはアナログフィルタとなりますので、入力信号もアナログ信号にする必要があります。
入力信号がディジタル信号の場合、Simulink上では各時間ステップ間をゼロ次ホールドされた信号がアナログフィルタに入力されることになりますので、高周波成分の小さな振幅成分が取り切れず、50Hz の折り返し成分も加味された形で現れたものと推測されます。
アナログノッチフィルタの前段で、プレフィルタとして、1000Hz をカットオフとするアナログローパスフィルタを付けることでも、エイリアシングは抑制できると思われます。