[begemot]

Немного о методике работы.

Ну с полосовиком всё должно быть понятно. Просто настраиваете свой генератор на максимум амплитуды на выходе фильтра. Коэффициент передачи без делителя должен быть близок к 1. С точки зрения искажений/шумов оптимальное входное напряжение полосовика 1-2.5В RMS.
Возможно Вам потребуется внешний делитель для получения желаемого напряжения на входе испытуемого устройства. Ну, сопсно, это расплата за относительную простоту. Увы.

Режектор. Оптимальное входное напряжение 1-2.5В RMS при использовании входа 0dB. Или в 10 раз больше при использовании входа -20dB. Если входное напряжение ниже - шумы будут ограничивать Вашу возможность измерить искажения на уровне -140/150dB. Ну конечно при разумной длине ФФТ (до 0.5 - 1е6). Можно конечно попробовать увеличить эту длину если позволяет софт.
При уровнях более 2-2.5В RMS начинают возрастать собственные искажения режектора. В первую очередь 3-я гармоника. Опять же, вопрос в том какое устройство Вы измеряете, во многих случаях можно использовать значительно более высокие значения. Или воспользоваться внешним аттенюатором.
Итак, подали на вход измеряемый сигнал желаемой амплитуды. Выход желательно подключить одновременно к скопу и входу АЦП(карточки). Ну например используя BNC тройник. По уму надо бы иметь 2 выхода, но мы немного сэкономили. Переключатель SW2-в положение "монитор". Переключатель SW4-любое удобное для наблюдение положение, скорее всего 0dB. При этом коэффициент передачи устройства близок к 1. Правда на него немного влияет и положение SW3, но это не принципиально. Насладились видом сигнала на выходе "монитор", убедились что исходный сигнал достаточно "чистый", без генерации и прочих явных криминалов.
Переключили SW2 в положение "режектор" и SW3 в положение "MAX REJ", т.е. максимальное подавление. Крутилками PR1 (частота) и PR2 (Level/Баланс) настраиваемся на максимальное подавление. Переключатель SW4 скорее всего надо будет поставить в положение 20dB чтоб хотя бы частично скомпенсировать уменьшение сигнала на выходе монитор. настраивать максимальное подавление удобней всего по скопу, переключая чувствительность его входа. После настройки максимального подавления переключаете SW3 в положение -40dB и убеждаетесь что сигнал на выходе "монитор" вырос хотя-бы в 3-4 раза (желательно больше). Если это так- -40dB означает что несущая подавлена на -40dB с приемлемой точностью. Если нет-настраиваете режектор более точно опять переключившись в режим "MAX REJ".
Измеряете искажения на выходе "монитор" вашим АЦП используя переключатель SW4 "MONITOR GAIN" для того чтоб оптимизировать уровень сигнала на входе вашего АЦП. Возможно что в режиме окончательного измерения ваш скоп (который использовался для мониторинга сигнала и настройки подавления) будет давать дополнительные помехи. Проверьте что этого не происходит и/или просто отключите его от "монитора".
Поскольку вы подавили основной тон на 40dB, полученные при таком измерении результаты означают что гармоники сигнала на самом деле в 100 раз меньше чем измеренные.
Конечно не надо забывать что и сам режектор и ваш АЦП имеют собственные искажения и шумы, которые ограничивают минимальные значения, достижимые при измерениях.