[begemot]

достаточно измерить только потери в первичной обмотке.

Да, достаточно померить только одну обмотку, например первичку.

Теперь для эмуляции эффекта магнитных потерь необходимо либо дорисовать эти три обмотки

Включать индуктивность рассеивания надо только один раз. Либо во входную, либо в выходную обмотки. Я бы исключил L2 и L6.

Насчёт К связи- у вас исключительно малая индуктивность рассеивания. Обычно для силового транса считается что 0.5-1% приемлемое значение. 0.1%-хорошо. А у вас лучше 0.02%. Так что не удивительно что К очень близко к 1.
И почему Вы считаете что оно не реалистично? Видимо хорошо намотанный транс на хорошем железе.
А ошибка в 10-30% при использовании обычного измерителя - думаю что вполне возможно. В сетевых трансах бывает очень сильная зависимость того что измеряется от частоты. Видимо это связано с очень сильной зависимостью потерь и, возможно, магнитной проницаемостиот частоты.
У меня как-то получалось для мощного транса при косвенном методе измерения индуктивности первички от генератора через R=10К (почти генератор тока для данных L):
F - L (Генри)
50 - 4.739
100 - 3.827
200 - 2.789
500 - 1.620
1000 - 0.988


А при использовании RLC измерителя BK 878
Lpri -120hz=1.95H, Q=1.74
Lpri -1khz=0.477H, Q=5.43

напряжение даже при нагрузке около 30В, т. е. значительно выше расчётных

Кстати, а вы учли омическое сопротивление обмоток? Я обычно делаю его видимым, чтоб точно помнить что я его учёл.

Кроме того, работа диода на конденсатор при нагрузке-не самая тривиальная задача для аналитического расчёта.
Это такой квазипиковый детектор. Вот только степень этого "квази" меняется в зависимости от выходного сопротивления его источника и нагрузки.
А у Вас довольно большие кондюки для маломощного стабилизатора.