7.4. Завантаження моделі

ml.Model читає файл моделі з флеш-пам’яті, аналізує його, виділяє оперативну пам’ять, необхідну мережі під час інференсу, та повертає об’єкт, що містить усе необхідне для роботи решти скрипта із завантаженою мережею.

7.4.1. Конструктор

Конструктор приймає шлях та необов’язковий постпроцесор:

model = ml.Model("/rom/blazeface_front_128.tflite",
                 postprocess=BlazeFace())

Моделі на /rom/ (файлова система, що зберігається у флеш-пам’яті) зчитуються безпосередньо: ваги мережі залишаються у флеш-пам’яті, а завантажена модель використовує лише обсяг оперативної пам’яті, що відповідає тензорній арені. Моделі на /sdcard/ копіюються в оперативну пам’ять під час завантаження, тому загальна вартість дорівнює розміру файлу моделі плюс тензорна арена. Обидва шляхи підходять; компроміс полягає у використанні оперативної пам’яті.

Якщо поряд існує файл .txt з тим самим базовим ім’ям, його вміст автоматично завантажується до labels. Ключове слово postprocess= реєструє виклик, який predict() виконує після кожного інференсу.

7.4.2. Властивості лише для читання

Завантажена модель надає невеликий набір властивостей лише для читання, що описують мережу без її запуску.

Файл та пам’ять.

  • len – розмір файлу моделі на диску, у байтах.

  • ram – розмір тензорної арени, необхідної мережі для проміжних активацій під час інференсу, у байтах.

Вхідні тензори.

  • input_shape – список кортежів, по одному на вхідний тензор, що описує форму, яку очікує мережа. Мережі комп’ютерного зору мають один вхід із формою (1, H, W, C).

  • input_dtype – список кодів типів даних у вигляді одного символу ('b' int8, 'B' uint8, 'h' int16, 'H' uint16, 'f' float32), по одному на вхід.

  • input_scale та input_zero_point – параметри квантування, що перетворюють між дійсно-значеним входом, на якому навчалась мережа, та цілочисельним представленням, яке використовує камера.

Вихідні тензори. Дзеркало вхідного набору: output_shape, output_dtype, output_scale, output_zero_point. Мережі виявлення виробляють два або три вихідних тензори (рамки, оцінки впевненості, іноді ймовірності класів); класифікаційні мережі виробляють один.

Додатково. labels – це список назв класів, завантажений із суміжного файлу .txt, або None. postprocess – зареєстрований постпроцесор, або None.

7.4.3. Перевірка BlazeFace

Завантаження вбудованої моделі BlazeFace та виведення кожної властивості дає реальні числа:

import ml
from ml.postprocessing.mediapipe import BlazeFace

model = ml.Model("/rom/blazeface_front_128.tflite",
                 postprocess=BlazeFace())

print("file size:    ", model.len, "bytes")
print("tensor arena: ", model.ram, "bytes")
print("input shape:  ", model.input_shape)
print("input dtype:  ", model.input_dtype)
print("input scale:  ", model.input_scale)
print("input zp:     ", model.input_zero_point)
print("output shape: ", model.output_shape)
print("output dtype: ", model.output_dtype)
print("output scale: ", model.output_scale)
print("output zp:    ", model.output_zero_point)

Числа конкретно описують інтерфейс мережі: один вхідний тензор (1, 128, 128, 3) типу int8 та два вихідних тензори int8 – один для коефіцієнтів регресії рамок, другий для оцінок впевненості по якорях. Параметри квантування описують, як ці значення int8 відповідають дійсним числам float, на яких навчалась мережа; постпроцесор використовує їх для скасування квантування перед декодуванням рамок.

Кожна властивість є єдиним джерелом достовірності для того, що вона описує. Скрипти зчитують input_shape, щоб знати роздільну здатність захоплення, зчитують output_scale та output_zero_point для ручного декодування тензорів, та зчитують labels для зрозумілих для людини назв класів – без жорсткого кодування, без припущень.