Сравнительный тест НМГ Ottai, Aidex 2 и FreeStyle Libre 2. Либра удивила
В моих, а точнее на моих руках оказались системы мониторинга глюкозы крови Ottai и Aidex 2 (из Китая), FreeStyle Libre 2 (из Британии). Решила и их протестировать на точность. Это первый раз, когда на мне стояли одновременно три системы НМГ, бинго!
Ранее я уже тестировала другие системы НМГ:
SIBIONICS (в России устройство зарегистрировано как Hematonix)
Замеры сахара крови на всех устройствах делала с интервалом в 15 минут.
Тестирование длилось 5 часов.
В процессе эксперимента искусственно создала ситуацию гипогликемии (пониженный уровень глюкозы крови) и гипергликемии (повышенный уровень глюкозы крови).
Используемые НМГ
Ottai
Aidex 2
FreeStyle Libre 2
Область установки датчиков - правое и левое плечо. НМГ имеют встроенный модуль Bluetooth, используемый как трансмиттер для передачи данных в приложения, поэтому никаких дополнительных устройств для получения с них данных не понадобилось.
Приложения, на базе данных которых строились графики
Цель эксперимента - посмотреть, насколько точно передают данные о глюкозе датчики НМГ через родные приложения, без использования сторонних, типа xDrip+.
Для Ottai
Ottai - это мобильное приложение, предназначенное для использования с датчиками Ottai. В том числе имеет электронный дневник самоконтроля, в который вносятся такие события жизнедеятельности человека, живущего с сахарным диабетом, как прием пищи и количество углеводов, прием лекарственных препаратов. Интересное решение по интеграции физической нагрузки.
Возможности калибровки нет.
Для Aidex 2
GlucoTech - взломанное родное приложение для Aidex 2, без необходимости регистрации аккаунта через китайскую электронную почту или через китайский номер телефона. Приложение на русском языке. Есть возможность внесения основных событий жизнедеятельности. Приложение поддерживает калибровку датчика.
Для FreeStyle Libre 2
FreeStyle Libre 2 - RU - стандартное приложение от разработчиков самой либры. Использовала версию программного обеспечения 2.12.0.11314. О приложении рассказывать не буду, оно уже многим знакомо. Калибровки нет. Датчик работал в режиме флэш-мониторирования.
Используемые глюкометры
Satellit Online
Contour Plus One
Выбрала, на мой взгляд, одни из самых распространенных глюкометров, которые есть у пользователей в РФ.
Графики были построены с помощью программы на Python с использованием пакета matplotlib. Чтобы графики выглядели гладко, а не просто набором точек, была выполнена интерполяция кубическим сплайном с помощью функции CubicSpline из пакета scipy.interpolate.
При анализе графиков следует учитывать, что результаты интерполяции (гладкие линии) нужны только для улучшения вида графиков, результаты интерполяции могут отличаться от реальных значений сахара в крови. Опираться можно только на результаты измерений, которые обозначены на графиках звездочками.
За эту работу, а также за аналитику по графикам, благодарю моего мужа.
Сводный график показаний
График 1. Сводный график показаний всех участвовавших в эксперименте приборов.
Так как глюкометр Satellit Online, в отличие от других, откалиброван по цельной крови, а не по плазме, его показания были умножены на 1.12. График для Satellit Online - черный, и видно, что он почти везде ниже показаний всех других приборов. Это уже второй эксперимент, где этот глюкометр упорно занижает показания.
Система НМГ FreeStyle Libre 2 в этот раз меня совсем не порадовала: большинство считываний приложение выдавало мне сообщения об ошибке, как можно видеть на фото ниже:
В левой части снимка - сообщение об ошибке от приложения FreeStyle Libre 2 - RU
Из 22 замеров данные при сканировании устройства удалось получить только 7 раз. По этой причине считаю, что FreeStyle Libre 2 фактически не справилась со своей задачей и должна быть дисквалифицирована. Однако на графиках ее показания все равно присутствуют, при этом в те моменты времени, когда показания не удалось получить, взяты последние имеющиеся показания. Именно поэтому график либры выглядит как череда горизонтальных полочек.
Срок установки датчика FreeStyle Libre 2 на день эксперимента - 2 дня. Почему она так себя повела - я не знаю. Я сообщила о таком поведении датчика и приложения в службу поддержки, и получила ответ, что это нормальная ситуация при а) резкой смене сахаров, б) частом сканировании устройства. Это разочаровало меня еще больше, потому что именно при резкой смене сахаров как раз и хотелось бы видеть реакцию от НМГ!
Показания Ottai (желтый график) и Aidex 2 (красный график), судя по графику, хорошо соответствуют показаниям глюкометров.
Анализ отклонений
В качестве эталона при анализе отклонений были взяты значения Contour Plus One. Отклонения считались в процентах от эталонных значений. Для наглядности приведу 2 примера.
1
Пусть эталонное значение 10 ммоль/л, а анализируемое значение равно 12 ммоль/л. Тогда отклонение в миллимолях на литр составит 12 - 10 = +2 единицы, или +20% к эталонному значению.
2
Пусть эталонное значение 10 ммоль/л, а анализируемое значение равно 8 ммоль/л. Тогда отклонение в миллимолях на литр составит 8 - 10 = -2 единицы, или -20% к эталонному значению.
Для каждого из значений всех НМГ было подсчитано относительное отклонение, эти значения можно увидеть ниже на графике. По оси Х - время, по оси У - относительное отклонение в процентах. Синим цветом отклонения для FreeStyle Libre 2, красным - Aidex 2, и желтым - для Ottai.
График 2. Относительные отклонения показаний НМГ FreeStyle Libre 2, Ottai и Aidex 2 от значений Contour Plus One.
Очевидно, что у FreeStyle Libre 2 из-за сбоев в работе наблюдаются значительные отклонения.
Определить на глаз, какая из систем Ottai и Aidex 2 дает меньшие отклонения от эталона вряд ли возможно, поэтому были подсчитаны средние отклонения.
Следует учесть, что системы НМГ дают показания с некоторой задержкой (5-10 минут), а отклонения считались в моменте. Скорее всего из-за этого отклонения оказались завышены, причем тем больше, чем быстрее менялся сахар в крови в момент замеров.
Ottai
В среднем занизил показания на 2.82 %.
В среднем отклонился от эталона на 12.82 %
Aidex 2
В среднем занизил показания на 3.45 %.
В среднем отклонился от эталона на 9.27 %
FreeStyle Libre 2
В среднем занизила показания на 7.05 %.
В среднем отклонилась от эталона на 21.68 %.
Выводы
Обе системы НМГ (Ottai, Aidex 2) оказались, по моему мнению, достаточно точными.
FreeStyle Libre 2 проявила себя ненадежно, оказ считывать данные на протяжении более часа, считаю существенным косяком в работе датчика. В том числе расхождения с глюкометром были более 20%.
Сателлит Онлайн уже во втором эксперименте дал погрешность в показаниях более 20%. Буду выяснять причину через сервис и службу поддержки.
PS
Надо понимать, что мой эксперимент не может служить доказательством точности или неточности, надежности или ненадежности систем НМГ. Для проведения доказательного эксперимента нужны совсем другие ресурсы: десятки устройств каждого типа, десятки респондентов, тысячи и тысячи измерений, работа целого научного коллектива. Конечно же, у меня таких ресурсов нет, поэтому к моим экспериментам нужно относиться как к личному опыту с небольшой примесью статистики, графиков и математики =)
Друзья, буду благодарна получить с вашей стороны конструктивные замечания. Ведь если в будущем я решу проводить подобные эксперименты, ваши комментарии и предложения могут помочь сделать их интереснее, достовернее и полезнее.