レコード盤のうねりとターンテーブルのワウ・フラッター成分が原因と考えられます（ 機材のコンディションが良くても完全にゼロにはできません）。
特に DSD 録音ではADC の DC カット（ HPF ）がないために微小な DC 成分が残ってしまいます。この理由で AudioGate には「 DC Cut 」機能が搭載されていますが、このノイズは耳で聞こえるレベルではなく、 DC Cut を実行すると元音が変質する可能性も考えられますのでフィルターの有り無しを聴き比べていただくことをおすすめします。
これで駄目な場合は、 PHON EQでランブルフィルタ （RIAA+IEC の +IEC ）を選択する方法になります。