Тест RAADS-R

Тесты на выявление аутичных черт у взрослых людей. Рекомендуется пройти тестирование прежде заполнения поля "Статус".
Аватара пользователя
Ida
модератор
Сообщения: 6507
Зарегистрирован: 19 окт 2017, 18:20
Статус: Аутичный

Re: Тест RAADS-R

Сообщение Ida » 19 янв 2020, 18:34

hyppocampus писал(а): 1) Не очень добровольное - брали студентов, увернуться удавалось немногим, муахаха.
Студенты — это обычно люди определённого возраста, где-то от 17 до 25 лет. В выборке были ведь не только студенты? Ограничивалась ли как-то по возрасту остальная часть выборки?

Аватара пользователя
hyppocampus
эксперт
Сообщения: 218
Зарегистрирован: 24 окт 2017, 19:18
Пол: Мужской
Статус: Нейротипичный
Откуда: Москва
Контактная информация:

Re: Тест RAADS-R

Сообщение hyppocampus » 19 янв 2020, 18:41

Dig386 писал(а): С моей точки зрения у RAADS и AQ есть два важных отличия:
1) RAADS куда активнее задаёт вопросы о детстве, там это - в каждом вопросе по сути.
2) В AQ нет градаций, только "да" или "нет".
И это тоже, согласен.
Dig386 писал(а): А каковы медианные значения для выборки РАС? Отличаются ли от западных?
По выборке РАС ситуация похожая, но если контроль качества выборки нормы у нас отличный, то контроль качества выборки РАС - объективно невысокий (что и понятно в наших условиях, но на следующем этапе мы уже хотим использовать ADOS).
Dig386 писал(а): А будет ли научная публикация по валидации? Такие вещи могут взять даже в нормальный западный журнал.
Обязательно будет, подались в PLOS One (у них самый доступный открытый доступ), надеюсь, к лету опубликуемся, они быстро работают. И по AQ тоже будет.

Аватара пользователя
hyppocampus
эксперт
Сообщения: 218
Зарегистрирован: 24 окт 2017, 19:18
Пол: Мужской
Статус: Нейротипичный
Откуда: Москва
Контактная информация:

Re: Тест RAADS-R

Сообщение hyppocampus » 19 янв 2020, 19:05

Ida, блин, вот же тут все дотошные, а! А я хотел быстро вывесить мини-отчет и свалить статьи писать :)
На самом деле, приятно отвечать на такие вопросы, не в каждой профессиональной аудитории так спрашивают. Спасибо!

Выборки действительно отличаются по возрасту, но соображения следующие:
1) Студенты (вузы, колледжи, ПТУ) - единственный тип выборки, который можно набрать быстро, дешево и с очень низким процентом отказа от участия в исследованиях. Процент отказа - штука очень важная, которая позволяет контролировать систематические ошибки, связанные с participation bias, т.е. эффекты высокого уровня согласия, альтруизма, открытости опыту, наличия свободного времени, которое не жалко потратить, и других факторов. Я считаю, что нормативная выборка всегда должна быть как можно ближе к сплошной (по проценту отказов хотя бы), это очень важно. В нормативной выборке у нас около 700 человек, из них больше 50 - старше 25 лет, но в основном таки студенты, да. Остальные выборки старше.
2) Поэтому мы коррелировали наш итоговый балл RAADS-14 Rus с возрастом. Внутри каждой выборки корреляция была очень слабая обратная (где-то значимая, где-то нет): чем ниже возраст, тем выше баллы AQ. Это соответствует динамике выраженности аутистических черт и мировым данным. Но при этом у нас средний возраст веб-выборок значительно выше, чем у студентов, и баллы по аутизму сильно выше. Значит, разница между выборками связана не с возрастом.

Аватара пользователя
Dig386
администратор
Сообщения: 6285
Зарегистрирован: 05 сен 2010, 21:30
Пол: Мужской
Статус: Аутичный
Откуда: Москва

Re: Тест RAADS-R

Сообщение Dig386 » 19 янв 2020, 19:13

hyppocampus писал(а): По выборке РАС ситуация похожая, но если контроль качества выборки нормы у нас отличный, то контроль качества выборки РАС - объективно невысокий (что и понятно в наших условиях, но на следующем этапе мы уже хотим использовать ADOS).
А достаточно ли данных, чтобы проверить статистическую значимость или незначимость отличий средних или медианных баллов по российским выборкам от западных и посчитать то же p-value? Лично мне сразу на ум приходит вещи вроде сочетания F-критерия (для дисперсий) и t-критерия (для средних). Правда, они могут быть прихотливы к виду распределения и выбросам.
Но при этом у нас средний возраст веб-выборок значительно выше, чем у студентов, и баллы по аутизму сильно выше. Значит, разница между выборками связана не с возрастом.
Самый очевидный ответ - что в Интернете такие тесты нередко могут искать те, кто подозревают у себя РАС. Т.е. сильно не случайные люди и получается систематическая ошибка.

Аватара пользователя
Ida
модератор
Сообщения: 6507
Зарегистрирован: 19 окт 2017, 18:20
Статус: Аутичный

Re: Тест RAADS-R

Сообщение Ida » 19 янв 2020, 19:26

hyppocampus, спасибо за подробный ответ :).
Dig386 писал(а): Самый очевидный ответ - что в Интернете такие тесты нередко могут искать те, кто подозревают у себя РАС. Т.е. сильно не случайные люди и получается систематическая ошибка.
К тому же информация об исследованиях в основном вывешивалась на специфических интернет-ресурсах, насколько я понимаю. Да и если что-то выкладывалось на "неспецифических" ресурсах, вряд ли многие их посетители заинтересовались бы подобными тестами.

Аватара пользователя
hyppocampus
эксперт
Сообщения: 218
Зарегистрирован: 24 окт 2017, 19:18
Пол: Мужской
Статус: Нейротипичный
Откуда: Москва
Контактная информация:

Re: Тест RAADS-R

Сообщение hyppocampus » 19 янв 2020, 19:50

Dig386 писал(а): Самый очевидный ответ - что в Интернете такие тесты нередко могут искать те, кто подозревают у себя РАС. Т.е. сильно не случайные люди и получается систематическая ошибка.
Более того, мы специально так набирали. Это не баг, это фича. Рекламировали через людей, имеющих отношение к проблеме, и по особым сообществам в соцсетях, а дальше уже snowball sampling - когда дальше распространяют информацию участники выборки. В итоге у нас больше трети сетевой выборки люди с РАС, либо самодиагностированные, либо с диагнозом от специалистов. Иначе нам надо было бы набирать сетевую выборку в несколько десятков раз больше, а у нас социальный капитал таки ограничен, к сожалению.
Dig386 писал(а): А достаточно ли данных, чтобы проверить статистическую значимость или незначимость отличий средних или медианных баллов по российским выборкам от западных и посчитать то же p-value? Лично мне сразу на ум приходит вещи вроде сочетания F-критерия (для дисперсий) и t-критерия (для средних). Правда, они могут быть прихотливы к виду распределения и выбросам.
Да, технически достаточно, но нет, методологически недостаточно и, в общем-то, незачем. Если сравнивать напрямую наш контроль и контроль Эрикссон, разница будет очень большая, значение p-value с десятком нулей после запятой.
Но непонятно, какая часть эффекта связана
а) с неэквивалентным набором выборок
б) с неэквивалентностью инструментов (языковые версии опросников всегда не вполне равнозначны)
в) с культурными установками, влияющими на то, как люди оценивают и указывают в опросниках собственные коммуникативные способности и особенности восприятия. По моим оценкам, это самый значимый фактор.
г) собственно, с разной степенью выраженности признака в популяциях. Да и эта разная выраженность тоже может быть связана с тучей факторов, от культурных, исторических и социальных до наследственности.

Поэтому так обычно никто не делает - не пытаются сравнивать национальные выборки напрямую, потому что различия сложно интерпретировать. Наиболее корректно было бы померить адосом (он менее чувствителен к культурным различиям) целые когорты для сравнения, но это жутко затратно и тоже непонятно, что даст.

Аватара пользователя
Dig386
администратор
Сообщения: 6285
Зарегистрирован: 05 сен 2010, 21:30
Пол: Мужской
Статус: Аутичный
Откуда: Москва

Re: Тест RAADS-R

Сообщение Dig386 » 19 янв 2020, 21:28

hyppocampus писал(а): Более того, мы специально так набирали. Это не баг, это фича. Рекламировали через людей, имеющих отношение к проблеме, и по особым сообществам в соцсетях, а дальше уже snowball sampling - когда дальше распространяют информацию участники выборки.
Весь вопрос - как охарактеризовать такую выборку, соотнести с выборками из других работ и т.п.
hyppocampus писал(а): Да, технически достаточно, но нет, методологически недостаточно и, в общем-то, незачем. Если сравнивать напрямую наш контроль и контроль Эрикссон, разница будет очень большая, значение p-value с десятком нулей после запятой.
Методологически это показывает то, что в принципе есть что обсуждать дальше, ведь сравнивать величины без погрешностей невозможно. Я согласен с тем, что интерпретировать такие различия сложно.
hyppocampus писал(а): Да и эта разная выраженность тоже может быть связана с тучей факторов, от культурных, исторических и социальных до наследственности.
Наверное, грубую оценку наследственных факторов можно было бы сделать на основе сравнения частоты диагностированых людей с РАС в популяциях. Но помимо сложностей со стандартизацией диагностики тут ещё и проблема в том, что в России этой статистике верить нельзя, а морально устаревшая практика "аутизма нет после 18" делает недоступной хоть какую-то статистику среди взрослых. Разве что проводить исследование ADOSом на больших выборках из всех возрастов, как делали в Великобритании, и получали 1% РАС среди всех возрастов.

Аватара пользователя
hyppocampus
эксперт
Сообщения: 218
Зарегистрирован: 24 окт 2017, 19:18
Пол: Мужской
Статус: Нейротипичный
Откуда: Москва
Контактная информация:

Re: Тест RAADS-R

Сообщение hyppocampus » 19 янв 2020, 22:48

Dig386 писал(а): Весь вопрос - как охарактеризовать такую выборку, соотнести с выборками из других работ и т.п.
Всю - никак. Нам из нее нужны были только люди с РАС, а остальных из сетевой выборки мы брали только в факторный анализ (там особо без разницы, кто откуда, чем выборка гетерогеннее, тем лучше). Норму мы определяли только по сплошной выборке, а вот людей с РАС брали из сетевой. Во всех исследованиях людей с РАС берут "откуда-то еще", это не идеально корректный, но приемлемый вариант. А в России взрослых людей с РАС и без нарушения интеллекта брать просто неоткуда, кроме как из комьюнити, сами представляете себе ситуацию.
Dig386 писал(а): Но помимо сложностей со стандартизацией диагностики тут ещё и проблема в том, что в России этой статистике верить нельзя, а морально устаревшая практика "аутизма нет после 18" делает недоступной хоть какую-то статистику среди взрослых. Разве что проводить исследование ADOSом на больших выборках из всех возрастов, как делали в Великобритании, и получали 1% РАС среди всех возрастов.
По официальной статистике в 2016 году было меньше ста взрослых аутистов на всю Россию, это в 1000 раз меньше, чем в Британии на основании оценок по когортам.
К сожалению, у нас ADOS по когортам считать никто не будет - слишком дорого. Поэтому выкручиваемся как можем.
Одна из важных задач, которые мы ставим перед собой сейчас - создать группу из специалистов по взрослому модулю ADOS и набрать хоть какую-то вменяемую общую статистику. Потому что опыт в использовании взрослого модуля ADOS практически у всех небольшой, думаю меньше 100 человек на всех - и многие при этом еще и работают по-разному, критерии оценки не сверяются. У А.Б. Сорокина тоже должен быть определенный опыт на эту тему.

Аватара пользователя
Dig386
администратор
Сообщения: 6285
Зарегистрирован: 05 сен 2010, 21:30
Пол: Мужской
Статус: Аутичный
Откуда: Москва

Re: Тест RAADS-R

Сообщение Dig386 » 20 янв 2020, 00:16

hyppocampus писал(а): Норму мы определяли только по сплошной выборке, а вот людей с РАС брали из сетевой. Во всех исследованиях людей с РАС берут "откуда-то еще", это не идеально корректный, но приемлемый вариант.
Ради интереса открыл статьи по AQ и RAADS-R. Цитата из статьи 2001 года по AQ:
All subjects in this group had been di-agnosed by psychiatrists using established criteria forautism or AS (APA, 1994). They were recruited via several sources, including the National Autistic Society(UK), specialist clinics carrying out diagnostic assessments, and advertisements in newsletters/web pages for adults with AS/HFA.

В статье про RAADS-R 2011 года
a clinical DSM-IV-TR diagnosis of autistic or Asperger’s disorder, (b) an ADI/ADOS or at least an ADOS module 4scale to assure they met the cut off for ASD, and (c) a FullScale IQ score of 80 or above.

Т.е. получается, что при валидации тестов они используют диагностированных взрослых. И я полагаю, что западные рецензенты обязательно могут спросить причины использовании каких-то других выборок при валидации. И им придётся объяснять пещерный уровень диагностики РАС у взрослых и отражать это в явном виде.
hyppocampus писал(а): По официальной статистике в 2016 году было меньше ста взрослых аутистов на всю Россию, это в 1000 раз меньше, чем в Британии на основании оценок по когортам.
Насколько я знаю, ужасная ситуация с диагностикой РАС у взрослых в России только недавно попала в западные журналы и то в приукрашенном виде, а именно:
https://doi.org/10.1007/s10803-019-04071-4
С одной стороны, там действительно есть про "100 взрослых аутистов", а с другой стороны есть такой абзац:
In clinical practice, specialists recognize that the clinical diagnosis of Asperger syndrome (F84.5) in adolescents with normal or high IQ is re-classified into Schizoid personal-ity disorder (F60.1) in 60% of cases (please note that this diagnosis can be made only at 15 years of age or older, as per ICD-10 classification), whereas the diagnosis remains unchanged in 40% ASD children (F84.5). Childhood autism (F84.0) is expected to persist in adulthood in 90% of the cases and is not usually expected to be further complicated with dual diagnosis with schizophrenia, whereas apparent clinical recovery is observed in 10% of the ASD subjects. In contrast, atypical autism (F84.1), which also persists throughout the life time, can ‘transform’ into schizophrenia in adulthood in 8–12% patients
Возникает естественный вопрос "где все эти люди"?

Аватара пользователя
hyppocampus
эксперт
Сообщения: 218
Зарегистрирован: 24 окт 2017, 19:18
Пол: Мужской
Статус: Нейротипичный
Откуда: Москва
Контактная информация:

Re: Тест RAADS-R

Сообщение hyppocampus » 20 янв 2020, 01:40

Dig386, да, всё так, и это всё надо сразу прописывать в самой статье, а не объяснять рецензентам, когда у них вопросы возникнут. Есть письмо Минздрава от 2017 г., есть данные Росстата за 2015-2016 г. Есть более ранние демографические данные по детям, которые тоже указывают на гиподиагностику. Объясним, не переживайте - не первый раз =)
Спасибо за статью Симашковой, я ее не видел (только русскоязычные за 2016-2018). Она - один из ведущих экспертов Минздрава, это тоже нужно учитывать.

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 2 гостя