Ранее ученые Пермского Политеха разработали антропоморфный робот-симулятор — тренажер для студентов-стоматологов с технологиями ИИ. Нейросети во-первых, позволяют вести диалог с роботом, а во-вторых, нужны для распознавания объектов на изображении, чтобы оценивать результаты лечения зубов студентами. При этом система должна надежно локализовать и детально оценить сам изменяющийся объект — зуб в ротовой полости тренажера, его свойства и то, как они меняются в ходе операции. Для этого ученые ПНИПУ разработали двухступенную схему распознавания и усовершенствовали методы обработки, что до 92% повысило точность в нестабильных условиях съемки. Теперь нейросеть оценивает не только количественные показатели (размеры, глубину отверстия для пломбы, толщину снятого слоя эмали), но и качественные, например, правильно ли выполнена фрезеровка, нет ли скосов, равномерны ли дно и стенки зуба.
Статья опубликована в журнале «Вестник ПНИПУ. Электротехника, информационные технологии, системы управления» № 51, 2024 год. Исследование проводилось при финансовой поддержке Пермского НОЦ «Рациональное недропользование».
Проект «антропоморфного стоматологического симулятора» — это тренажер для студентов-стоматологов, на котором учащиеся могут безопасно отрабатывать свои навыки в проведении основных процедур — лечение кариеса, обработка зуба под коронку, удаление и лечение канала. Встроенная нейросеть с помощью видеокамер позволяет оценить результаты работы, обрабатывая полученные изображения.
Современные нейросети способны определять множество объектов разных классов без применения каких-либо дополнительных схем. Обычно для поиска и классификации объектов на фотографиях используют простую одноступенную нейросеть. Она, например, может с высокой точностью находить зубы в челюсти тренажера, несмотря на постоянное изменение освещенности и самой формы объекта в ходе лечения. Но если необходимо проанализировать не сам объект, а только его часть, допустим, небольшую пломбу, задача усложняется, повышается количество ложных срабатываний. Нейросеть может ошибочно принимать блики и неровности внутри полости рта за искомые отверстия в зубе или совсем пропускать их.
Ученые Пермского Политеха разработали двухступенную схему распознавания, которая анализирует фото в поисках составных объектов (отдельных зубов), вырезает, нормализует их по размерам и анализирует каждый фрагмент по отдельности для определения искомых мелких объектов (пломб, отверстий).
— На первой ступени производится поиск области интереса, т.е. первая нейросеть определяет только объекты «зуб» и «зуб с дыркой». Они вырезаются и передаются на вторую ступень, где распознаются уже отверстия в зубах и их свойства, — объясняет Андрей Кокоулин, доцент кафедры автоматики и телемеханики ПНИПУ, кандидат технических наук.
Предварительная обработка фото особенно актуальна для определения свойств малых объектов, так как их изменения сложнее обнаружить. Она позволяет устранить шум, повысить контрастность и яркость, а также улучшить четкость, что делает изображение более информативным. Из-за того, что зубы имеют цвет близкий к белому, на них плохо видны контуры вырезанных отверстий. Также мешает отсвечивание подсветки, необходимой для работы камер. Политехники дополнительно встроили в систему программу для улучшения контраста, которая сохраняет локальные детали и структуры изображения, что важно для точного определения границ мелких объектов на изображении.
Форма зуба представляет собой кривую, и в ходе процедуры важно вычислять размеры его границ, глубину отверстий и количество снятой эмали. Для этого ученые разработали метод измерения объекта сложной формы, позволяющий проводить расчеты в трех измерениях.
— Применение нашей двухступенной системы до 92% увеличило точность и до 5% уменьшило количество ложноположительных срабатываний. Для каждого варианта лечения нейросеть может определить свои количественные параметры. Для «кариеса» и «канала» — размеры полости под пломбу, для «коронки» — толщину и равномерность снятого слоя с боков и сверху зуба. А также качественные показатели — правильно ли выполнено лечение, не сломался ли зуб при удалении и насколько ровные стенки, — поделился Андрей Кокоулин.
Политехники отмечают, что в перспективе возможно создание мобильного приложения, с помощью которого можно сфотографировать вылеченный зуб (еще без пломбы или коронки) и оценить качество лечения. Также предложенный метод анализа можно использовать везде, где нужна съемка различных составных конструкций и механизмов со множеством деталей.
Разработанная учеными ПНИПУ система на основе нейросети существенно улучшает обучение студентов на стоматологическом тренажере, а также вносит большой вклад в развитие современной технологичной медицины в России.
