ну дак рс амплитуду и давит, попробуй ослабить фильтрацию

Даже при ослабленной фильтрации остается этажа тенденция, думаю наверно надо изменять алгоритм или таблицу синусов. Чтобы частота изменялась пропорционально амплитуде.

ну, во первых там ШИМ, а его амплитуда - пит. напряжение.
во вторых, подозреваю, что питать будешь асинхронник, если да, то лучше контролировать ток, а напряжение тогда само подстроится.

Под "Контролировать ток" подразумевается векторное управление ?

нет, хотябы общее потребление

Векторное управление на atmega реализовать не выйдет, производительности не хватит.
Контролировать ток надо только для защиты от перегрузок, причем защиту от аварийных режимов надо обязательно реализовывать на уровне драйверов (если асинхронник мощный, конечно, и транзисторы дорогие)
Для реализации закона управления U/f = const не надо менять таблицу синусов, надо добавить умножение значения из этой таблицы на переменную перед тем, как заносить в OCRx -это и будет коррекция амплитуды.

Вот и доехал до меня модуль IRAMS10UP60B)

контроль тока - чтобы на малой частоте не уйти в насыщение.
про умножение, ну да, только надо учесть, что 0 это не 0