Немного подумал и решил использовать мощь МК в другом направлении. Теперь, вместо операций с плавающей точкой выполняется поиск в массиве с парами калибровочных значений. Получается, что шкала разбита примерно на 16 отрезков. Сначала находится "отрезок", на котором располагается текущее измеряемое значение, а потом выполняется простейшая аппроксимация с помощью ф-ии "map". При этом используются только целые числа.
При примерно 17 калибровочных значениях, при использовании для поиска метода "деления отрезка пополам", поиск выполняется за 4 шага. Теперь не нужно подбирать коэф. квадратного или кубического уравнения, а достаточно сделать замеры и вписать результаты в массив