Изящное решение жирной проблемы при автоматизации оценки соответствия требованиям второй версии Практических рекомендаций Росздравнадзора по внутреннему контролю для стационара

 Уважаемые коллеги! Добрый день!

 Федеральное государственное бюджетное учреждение «Национальный институт качества» Федеральной службы по надзору в сфере здравоохранения неутомимо трудится над совершенствованием Предложений (практических рекомендаций) /Росздравнадзора/ по организации внутреннего контроля качества и безопасности медицинской деятельности в медицинских организациях Российской Федерации (далее – Предложения). Общеизвестный факт.

 Так, 1 сентября сего года состоялось обещанное ещё в марте вступление в силу Предложений для стационаров второй версии. Вторая версия документа структурно значительно отличается от первой. Сравнительный анализ изменений я произвёл в работе «Сторонний отзыв на вторую версию Практических рекомендаций Росздравнадзора по внутреннему контролю (в стационаре)». Там же я выдал ряд обоснованных рекомендаций разработчикам Предложений по обеспечению их большей практической применимости и общему совершенствованию, которые, если и были услышаны, к сожалению, не привели к улучшениям. Документ вступил в силу в утверждённом «мартовском» виде.

 В этом месяце я проработал изменения соответствующего (ранее второго, а ныне третьего) раздела второй версии Предложений для стационара в Автоматизированной экспертной технологической карте (АЭТК) «Идентификация личности пациента».

 

 При этом, были решены неизбежные технические проблемы, порождаемые структурной трансформацией второй версии Предложений для стационара по отношению к первой версии, а также к другим выпускам Предложений – для поликлиники, стоматологии и скорой медицинской помощи (и для лабораторий, но это отдельный разговор, они совсем другие и я их пока не обрабатывал). Проблему обязательной жирности также удалось успешно решить – собственно, о чём эта статья. Всё расскажу и покажу, после небольшого отступления.

  Помимо не вполне логичных структурных изменений и ожидаемых в связи с ними проблем, разобранных мною в названной выше публикации, во второй версии Предложений для стационара обнаружилось отягощение «надзорного крена» в виде привязки к «обязательным» локальным регламентам. Практически каждое требование документа в оценке имеет три составляющих: наличие локального регламента (приказа, алгоритма, СОПа, инструкции и т.д.), знание содержания регламента ответственными сотрудниками (выявляемого путём опроса) и его исполнение (устанавливаемого путём наблюдения). Т.е., в документе заложена и тысячекратно воспроизведена формула: «покажите мне бумажку» + «расскажите её содержание» + «покажите, как вы её выполняете» = «результат оценки требования». Классика менеджмента качества опирается на несколько важнейших постулатов, которые можно сформулировать в виде набора стратегических задач. Наличие, знание и исполнение регламентов, конечно, важны, однако культура качества, как базовый постулат и стратегическая задача, зиждется на профессионализме, исключающем ненужные для дела регламенты (но и требующем нужные). Не думаю, что вышеуказанная формула уместна везде, где была употреблена.

 Вернёмся к нашим решениям, и прежде всего – жирной проблемы. Напоминаю, что авторы Предложений обязательные требования (которые там отчего-то названы «обязательными составляющими критериев») выделили не специальными значками в атрибутах критериев, а жирным шрифтом – видать, чтоб пользоваться Предложениями на практике было максимально трудно. В «Методике оценки» они же написали следующее (цитирую): «Организация должна соответствовать по каждому направлению Практических рекомендаций более чем 70 % составляющим критерия в каждом направлении. Медицинская организация должна соответствовать всем обязательным составляющим критерия, которые выделены в Практических рекомендациях жирным шрифтом». Это чтобы было максимально трудно не только проводить аудиты, но и обрабатывать их результаты, и, тем более, делать какие-то выводы на основе столь «качественных» данных.

 Понятно, что внесением машиночитаемого атрибута жирности у всех «обязательных составляющих» оценочных критериев (проставлением специальных значков в таблицах) придётся заняться каждому пользователю Предложений (ну или разработчику АЭТК на их основе вроде вашего покорного слуги). И это первое, что следует сделать для того, чтобы новыми Предложениями было возможно пользоваться в принципе. Затем необходимо наладить раздельный учёт результатов по «обязательным составляющим критериев» и тотально по всем конечным (неделимым) критериям, поскольку соответствие теперь приходится оценивать двояко. Затем следует обеспечить импорт результатов конечных оценок на вышележащие уровни иерархии, причём, сделать это по-разному для «обязательных» и для вообще всех «составляющих критериев».

 Для «вообще всех» «составляющих критериев» особо ничего не меняется, кроме порога дихотомии. Раньше придерживались ориентира 80% соответствия, теперь 70%. У нас, напоминаю, это было реализовано следующим образом (рис.1). Для каждого критерия, конечного или промежуточного, в столбце справа от столбца результатов оценки по критериям проводится элементарное сопоставление каждой оценки с заданным дихотомическим порогом, устанавливаемым в паспортной части карты (ячейка L28). Автоматика элементарная: преодолели порог – «Да» (соответствие достигнуто), нет – «Нет». Кроме того, проводится результирующий анализ (расчёт среднего значения по включенным позициям) по каждому блоку, тоже автоматически. Порог дихотомии устанавливается вручную.

 Рис.1. Блок высшего уровня листа АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (первой версии) с добавочным столбцом для автоматической дихотомической оценки соответствия.

 Рис.1. Блок высшего уровня листа АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (первой версии) с добавочным столбцом для автоматической дихотомической оценки соответствия.

 Этот функционал с выходом второй версии Предложений не потребовал никаких изменений. Подробнее с ним вы можете ознакомиться в работе «Инструмент практического применения Практических рекомендаций Росздравнадзора по внутреннему контролю». С автоматизацией расчётов «вообще всех» «составляющих критериев», т.о.,  всё в порядке. А вот для жирности, т.е. для «обязательных составляющих критериев», функционала пришлось ещё чуть прикрутить. Показываю (рис.2).

 Рис.2. Блоки высшего и первого уровней листа АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (второй версии) с двумя добавочными столбцами для автоматической двоякой дихотомической оценки соответствия.

 Рис.2. Блоки высшего и первого уровней листа АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (второй версии) с двумя добавочными столбцами для автоматической двоякой дихотомической оценки соответствия.

 Прежде всего, стоит обратить внимание на появление дополнительной константы (порога соответствия) для «обязательных составляющих критериев» (проставляется вручную для всего листа в ячейке L29 аналогично «порогу дихотомии») и дополнительного столбца для отслеживания несоответствий по ним (столбец AE). Для удобства восприятия я назвал его столбцом «критических несоответствий» («КрНс»). Несоответствия отслеживаются в штуках снизу (от конечных «жирных» критериев) доверху (до блока верхнего уровня). Формулы импорта снизу вверх примитивны – если показатель включен и раскрывается в нижележащем блоке, оттуда подтягивается сумма несоответствий в этом блоке. Это даёт наглядность, можно по всем отличным от нуля числам видеть, в каких блоках имеются критические несоответствия, выходить на конкретные позиции и прицельно по ним работать. Примерно, так (рис.3).

 Рис.3. Отслеживание цепочек критических несоответствий на листе АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (второй версии).

 Рис.3. Отслеживание цепочек критических несоответствий на листе АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (второй версии).

 В строке формул на этом скриншоте видна простенькая формула, включающая оценку «критического соответствия» только для тех показателей, которые: а) вообще включены и б) отмечены любым знаком в скрытом здесь столбце AD. Понятно, что значки в том столбце – машиночитаемое воспроизведение жирности, поэтому я ставлю там букву «Ж», хотя подойдёт любой знак.

 При столь чёткой визуализации цепочек критических несоответствий они легко отслеживаются вплоть до конечных (неделимых) критериев, где они обнаруживаются в ходе проведения аудита.

 К слову, в Предложениях для стационаров второй версии авторы выделяли жирным либо знание, либо исполнение локальных актов почти в каждой тройке «составляющих критериев». На рис.3 это видно, например, в блоке «2.1.1  Идентификация личности пациента при плановой госпитализации/обращении в стационар». Позиции «2.1.1.1  Наличие алгоритмов/СОПов/инструкций и других локальных актов в соответствии с выбором медицинской организации» и «2.1.1.2  Знание персоналом локальных актов по идентификации личности пациента при плановом обращении/госпитализации» здесь не являются обязательными, а «2.1.1.3  Исполнение персоналом локальных актов по идентификации личности пациента при плановом обращении/госпитализации» – является. Поэтому мы видим свидетельство несоответствия (единичку) в ячейке AE132, а ячейки AE130 и AE131 пусты. Т.е., здесь «исполнение» локальных актов обязательно, а наличие и знание их – нет. В других блоках обязательно «знание». Выбор между обязательным «знанием» и «исполнением» в большинстве случаев производит впечатление произвольного.

 Теперь, что касается собственно оценки «знания» либо «исполнения» локальных актов персоналом. Ни знание, ни исполнение директив не могут быть сами по себе ни «да», ни «нет», это в любом случае суждение аудитора, отражающее его представления о неких идеалах знания и исполнения и его субъективную оценку соответствия продемонстрированных персоналом знаний и действий этим идеалам. Кроме того, знание и исполнение тех или иных локальных актов демонстрируют ответственные исполнители, которых может быть разное количество, и все они люди. Отсюда, для отработки каждой позиции, содержащей оценку знания либо исполнения чего-то персоналом, необходимо создать дочернюю таблицу, где можно было бы выводить среднее значение уровня знаний и качества исполнения (приближения к условным идеалам) для всего ответственного персонала или его охваченной исследованием части. Также в этих дочерних таблицах при необходимости можно детализировать, что именно требуется знать и уметь.

 В выше представленном выше блоке «2.1.1  ИЛП при плановой госпитализации/обращении в стационар» позиции «2.1.1.2  Знание персоналом… » и «2.1.1.3  Исполнение персоналом…» раскрываются именно в таких дочерних таблицах. В ячейках K131 и K132 видно, на каком листе в каких строках образуется сводная оценка каждой позиции. Там значится , соответственно, «ОН: 21» и «ОН: 25». Это значит, дочерние таблицы находятся на отдельном листе «Оценка навыков» («ОН»), а сводные результаты образуются в строках 21 и 25. Смотрим, что там (рис.4).

 Рис.4. Дочерние таблицы оценки знаний и навыков ответственного персонала на отдельном листе АЭТК «Идентификация личности пациента», исходный вид.

 Рис.4. Дочерние таблицы оценки знаний и навыков ответственного персонала на отдельном листе АЭТК «Идентификация личности пациента», исходный вид.

 А там две однострочные дочерние таблицы, в которых формируются сводные оценки знаний и навыков персонала по исследуемым позициям. В ходе аудита проставляются оценки соответствия знаний и навыков, продемонстрированных ответственными исполнителями, в диапазоне от «0» до «1» с шагом «0,1» (рис.5).

 Рис.5. Дочерние таблицы оценки знаний и навыков ответственного персонала на отдельном листе АЭТК «Идентификация личности пациента», с данными для примера.

 Рис.5. Дочерние таблицы оценки знаний и навыков ответственного персонала на отдельном листе АЭТК «Идентификация личности пациента», с данными для примера.

 В представленном примере проведена оценка знаний трёх сотрудников и оценка навыков пяти сотрудников. И там, и там вычислены средние значения (ячейки H21 и H25 соответственно), которые и будут «работать» в основной карте оценки соответствия по данному разделу Предложений (лист «ПР»). Знания у нас получились 0,9, навыки – 0,96. Возвращаемся на лист «ПР» и обнаруживаем эти оценки на своих местах (рис.6).

 Рис.6. Результаты оценки знаний и навыков ответственного персонала на листе АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (второй версии).

 Рис.6. Результаты оценки знаний и навыков ответственного персонала на листе АЭТК «Идентификация личности пациента» для оценки соответствия требованиям соответствующего раздела Практических рекомендаций Росздравнадзора (второй версии).

 Как видим, по позиции «2.1.1.3  Исполнение персоналом локальных актов по идентификации личности пациента при плановом обращении/госпитализации», относящейся к «обязательным составляющим критериев», у нас получился результат 0,96, что выше установленного нами порога соответствия для «критических несоответствий» 0,95. Это привело к «обнулению» «критического несоответствия» по данной позиции. В блоке «2.1.1  ИЛП при плановой госпитализации/обращении в стационар», содержащем данную позицию, ожидаемо произошло обнуление «критических несоответствий». Далее мы наблюдаем, как во всех вышележащих блоках число «критических несоответствий» уменьшилось на единицу по всей цепочке. Так это работает.

 Резонный вопрос: почему порог соответствия для «критических несоответствий» установлен 0,95, если Предложениями второй версии для стационаров предполагается добиваться полного соответствия абсолютно всеми сотрудниками? Ответ: потому, что полное соответствие в том, что касается знаний и навыков, это утопия – раз, и это коррупция – два. Раз: никто и никогда не показал ещё абсолютного знания и стопроцентной точности, это всегда было, есть и будет приближением к условному идеалу, при этом отклоняться от «идеала» люди будут кто во что горазд. Два: аудитор по каждой позиции будет «на глаз» определять, полное демонстрируют сотрудники соответствие или неполное, и произвол здесь неустраним при всём желании, честности и ответственности аудитора. Оценка степени приближения к условному идеалу каждого сотрудника в диапазоне от «0» до «1» с шагом «0,1» по каждой позиции позволяет выразить соответствие его знаний и навыков на шкале от нуля (полное несоответствие) до единицы (полное соответствие). Средний уровень 0,95 я считаю вполне достаточным для дела, при том условии, что экстремальные отклонения, допущенные отдельными сотрудниками, будут разбираться вне зависимости от достигнутого общего среднего результата.

 Что касается позиции «2.1.1.2  Знание персоналом локальных актов по идентификации личности пациента при плановом обращении/госпитализации» в рассмотренном примере, то она не относится к «обязательным составляющим критериев», и полученная по ней сводная оценка в «0,9» не приводит к появлению «критического несоответствия». Данная позиция оценивается в ряду «вообще всех» «составляющих критериев», где порог дихотомии разработчиками Предложений во второй версии для стационаров установлен в 0,7. Для собственного употребления медицинскими организациями порог дихотомии нами рекомендуется выставлять чуть выше – 0,75 или лучше 0,8, дабы на сертификационном аудите не получать неожиданных неприятностей. Поэтому, возвращаясь к нашему примеру, результат «0,9» это «Да» (т.е., соответствие) в ячейке M131, и только.

 Заканчивая с дочерними таблицами оценки знаний и навыков персонала, следует обратить внимание на подписи столбцов с исполнителями (рис.4) – там нет никаких ФИО. И не должно быть, ибо при аудите оцениваются не личные достижения или компетентность того или иного сотрудника, а то, как обстоят дела с выполнением требований всеми ответственными за то или иное направление сотрудниками. В образовательных целях (тренинги и т.п.) легко сделать копии листа «ОН» (лучше в другой книге электронных таблиц), как цельные, так и фрагментарные (тематические), и там уже вбить ФИО для лучшего контроля процесса обучения.

 Итак, проблему жирности мы победили, и по ходу дела рассмотрели ещё ряд проблем, порождённых авторами Предложений при разработке второй версии для стационаров.

 Завершаю публикацию сообщением об официальном обновлении АЭТК «Идентификация личности пациента», которую мы здесь с вами сообща разглядывали на скриншотах. 

---

 Обсудить в Телеграм 

 Обсудить вКонтакте 

 Каталог решений Здрав.Биз.

 ---

Всегда ваши, Андрей Таевский и ЗдравЭкспертРесурс.