Что такое надежность методики? Надежность психодиагностических методик: её виды, способы установления. Соотношение валидности и надежности Надежность методики и ее виды

Психодиагностика: конспект лекций Алексей Сергеевич Лучинин

ЛЕКЦИЯ № 9. Надежность психодиагностических методик

1. Определение. Факторы, влияющие на надежность методики. Стандартная ошибка измерения. Надежность измерения. Понятие о методе измерения ретестовой надежности

Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста).

Надежность – это помехоустойчивость теста, независимость его результата от действия всевозможных случайных факторов . К числу таких факторов относятся:

1) разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (времени суток, освещенности, температуры в помещении, наличия посторонних звуков, отвлекающих внимание и т. п.);

2) динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой врабатываемости – выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость наступления утомления и т. п.);

3) информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания и отношения к тестам вообще и т. п.).

Разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы, в принципе, получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как стандартная ошибка измерения (Se) . Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы.

Ошибка измерения (Se) и надежность измерения (R) согласно общепринятой психометрической теории связаны следующей формулой:

R = 1 – Se 2 / S x 2 , (1),

где S x – дисперсия тестовых показателей Х.

Формула (1) является чисто теоретической, и на ее основе нельзя подсчитать надежность теста, так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы. Самый известный их них – метод перетестирования («тест-ретест») или метод измерения ретестовой надежности . На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование Х, а затем повторное тестирование Y. Интервал, как правило, 2 недели, что гарантирует забывание вопросов теста.

Затем для двух рядов значений Х и Y подсчитывается, например, линейный коэффициент корреляции, или ранговый коэффициент корреляции :

где S x , S y – стандартные отклонения X и Y, t;

Cov (X, Y ) – ковариация двух переменных X и Y.

Для сути теории надежности методов важна возможность определить ошибку измерения, после того как подсчитана корреляция «тест – ретест» по формуле (3), полученной путем простого преобразования формулы (1):

Se = S x ? V1 – R . (3)

Таким образом, если стандартное отклонение в тесте составило 10 очков (среднее отклонение, которое в среднем допускают испытуемые от среднего балла для выборки), а корреляция «тест – ретест» оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой:

Se = 10 ? V1-0,5 ~ 7.1.

Оказывается, что ошибка измерения перекрывает большую часть разброса тестовых показателей, так как истинный балл по тесту может отклоняться от измеренного балла на целых 7 очков! И, если испытуемый набрал на 6 очков больше, чем средний испытуемый, мы не можем с достаточной уверенностью (статистической достоверностью) говорить о том, что он значимо превзошел среднего испытуемого, так как это отклонение оказывается в пределах стандартной ошибки измерения.

Таким образом, низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью и его нельзя использовать как измерительный инструмент.

Показатель надежности R, который принято считать достаточно высоким, равен или превышает 0,95. Хотя в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8–0,9.

Метод измерения ретестовой надежности пригоден только для психических свойств, стабильных во времени. Надежность тестов на психические состояния и динамические установки личности нельзя проверить таким образом. В этом случае применяют различные методы расщепления теста на отдельные пункты.

Надежность – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента психодиагностического исследования. Любое изменение ситуации исследования усиливает влияние одних и ослабляет воздействие других факторов на результат теста. Общий разброс (дисперсию) результатов тестового обследования можно, таким образом, представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры.

В самом широком смысле надежность теста – это характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В более узком, методическом смысле под надежностью понимают степень согласованности результатов теста, получаемых при первичном и вторичном его применении у одних и тех же испытуемых в различные моменты времени с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при других изменениях условий обследования.

Разновидностей характеристик надежности теста так же много, как условий, влияющих на его результаты. Наиболее широкое практическое применение находит несколько типов характеристик надежности: надежность ретестовая, надежность параллельных форм, надежность частей теста.

Из книги Хорошие мышцы – путь к здоровью и процветанию автора Геннадий Петрович Малахов

Глава 3 ОПИСАНИЕ МЕТОДИК ПО РАБОТЕ С МЫШЦАМИ И УПРАЖНЕНИЙ В зависимости от состояния здоровья, желания и склонности заниматься физическими упражнениями можно в любом состоянии и положении. Это могут быть постельные гимнастики, утренние гимнастики, специальные

Из книги Медицинская физика автора Вера Александровна Подколзина

Из книги Психодиагностика: конспект лекций автора Алексей Сергеевич Лучинин

ЛЕКЦИЯ № 5. Основные виды диагностических методик 1. Опросники. Интроспекционизм как теоретическая основа метода. Работы Ф. Гальтона, А. Бине, Р. Вудвортса Особое направление в психологической диагностике связано с разработкой различных методов диагностики личности. С

Из книги Портреты гомеопатических препаратов, (часть 2) автора Кэтрин Р. Култер

3. Общие критерии классификации психодиагностических методик. Понятие о научных и практических методиках Более развернутую классификацию психодиагностических методик можно предложить, лишь выделив общие критерии, в соответствии с которыми различные методы

Из книги 100%-ное зрение. Лечение, восстановление, профилактика автора Светлана Валерьевна Дубровская

4. Ограничения, достоинства и недостатки различных типов психодиагностических методик Существование множества психодиагностических методик объясняется не только большим количеством свойств, которые с их помощью приходится оценивать, но также тем, что практически все

Из книги Чистые сосуды по Залманову и еще чище автора Ольга Калашникова

1. Определение. Факторы, влияющие на надежность методики. Стандартная ошибка измерения. Надежность измерения. Понятие о методе измерения ретестовой надежности Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической

Из книги Лечение болезней глаз + курс лечебной гимнастики автора Сергей Павлович Кашин

3. Надежность параллельных форм. Сущность, достоинства и недостатки Надежность параллельных форм – характеристика надежности психодиагностической методики с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежности

Из книги Полный справочник анализов и исследований в медицине автора Михаил Борисович Ингерлейб

4. Относительность деления валидности на типы. Понятие комплекса валидности. Обоснование необходимости периодической валидизации психодиагностических методик В психологической диагностике не существует универсального подхода к характеристике валидности. Для

Из книги Бросай курить! САМОкодирование по системе СОС автора Владимир Иванович Звягин

4. Основные схемы валидизации психодиагностических методик Решение проблемы прогностической валидности под силу только крупным научно-методическим центрам. Ведь к психометрическому исследованию по проверке прогностической валидности надо привлекать на порядок

Из книги автора

3. Принцип ограниченного распространения психодиагностических методик (принцип профессиональной тайны) В кратком изложении этот принцип гласит, что сертифицированные психологическим обществом профессиональные психодиагностические методики могут распространяться

Из книги автора

НАДЁЖНОСТЬ И НЕПРЕДСКАЗУЕМОСТЬ Natrum muriaticum - это сама противоположность самодовольству, опирающемуся на чувство стабильности и безопасности. Даже если всё идёт хорошо в его жизни, он редко бывает удовлетворён. Боясь поворота судьбы, он начинает суеверно думать: «Всё это

Из книги автора

Повышение остроты зрения с помощью аппаратных методик Несмотря на то что регулярные занятия гимнастикой для глаз помогают повысить остроту зрения, при близорукости высокой степени рекомендуется терапевтическое лечение в стационаре. В настоящее время существуют

Из книги автора

Глава 3 РАЗНООБРАЗИЕ МЕТОДИК Помимо скипидарных ванн существуют и другие методики физиотерапевтического воздействия на капилляры. Все они уходят корнями в давнее прошлое, то есть их безопасность и эффективность проверены временем. Многие древние методики в наши дни

Из книги автора

Повышение остроты зрения с помощью аппаратных методик Несмотря на то что регулярные занятия гимнастикой для глаз помогают повысить остроту зрения, при близорукости высокой степени рекомендуется терапевтическое лечение в стационаре.В настоящее время существуют

Из книги автора

Алфавитный указатель анализов, методик и определяемых веществ A-Z 17-гидроксипрогестерон 9617-кетостероиды 993D УЗИ 4794D УЗИ 479CA 15-3 162CA 19-9 162CA 72-4 163CA 125 161Cyfra 21-1 163C-реактивный белок 31D-димер 82HLA антигены 94IgA 86IgE 86IgG 87IgM 87MAR-тест 91pH мочи

Из книги автора

ЭРМы – это надежность! Психотехники системы СОС позволяют практически любому человеку стать очень хорошим гипнотизером для себя. Однако превращение себя в него с помощью только этой книги (вспомните для сравнения, как некоторые энтузиасты обучаются игре на музыкальных

НАДЕЖНОСТЬ (устойчивость ) - это такая характеристика методики, которая позволяет оценить постоянство тестовых показателей (т.е. устойчивость результатов теста к действию посторонних, случайных факторов).

На надежность методики влияет (посторонние факторы):

  • - нестабильность диагностируемого свойства;
  • - несовершенство диагностических методик:
  • - небрежно составленная инструкция;
  • - разнородные по своему характеру задания;
  • - нечетко определенная область измерения;
  • - нечетко прописанная процедура обследования.
  • - меняющаяся ситуация обследования:
  • - разное время дня;
  • - разная освещенность помещения;
  • - посторонние шумы;
  • - погода и т.д.
  • - манера поведения психолога:
  • - разная стимуляция клиента на выполнение задания и т.д.
  • - состояние клиента (колебание в этих состояниях):
  • - настроение;
  • - усталость и т.д.
  • - элемент субъективизма в способах оценки/ интерпретации результатов (особенно при открытых ответах и т.п.).

Для того, чтобы надежность методики была высокой, методика должна быть стандартизирована (все д.б. прописано: процедура проведения, область исследования и т.д.).

В качестве цифрового показателя надежности выступает коэффициент корреляции .

Виды надежности:

РЕТЕСТОВАЯ НАДЕЖНОСТЬ - вид надежности, который определяется путем повторного обследования одних и тех же лиц при помощи одной и той же методики.

(Чем выше коэффициент корреляции, тем выше надежность, т.е. мы получаем примерно то же самое распределение).

Определение временного интервала:

С увеличением временного интервала - показатели корреляции имеют тенденцию к снижению (т.к. имеет место влияние посторонних факторов).

Пр: могут произойти естественные временные изменения.

Обычно выбираются непродолжительные временные интервалы: от 2 недель до 2-4 месяцев (это зависит от возраста обследуемых. Чем старше, тем больше можно делать интервал, и наоборот).

Слишком маленький интервал:

  • > проблема запоминания;
  • > проблема интереса.

НАДЕЖНОСТЬ ПАРАЛЛЕЛЬНЫХ ФОРМ - проверяется с помощью взаимозаменяемых форм теста (т.е. одни и те же обследуемые сначала обследуются с помощью одного теста, затем (через определенный интервал) с помощью другого теста).

Требования к созданию параллельных форм теста:

  • 1. Количество заданий д.б. одинаково.
  • 2. Типы заданий в обеих формах д.б. унифицированы (приведены в соответствие) в плане психологического содержания, уровня и пределов трудности, охвата тех или иных операций.
  • 3. Задания в тесте д.б. распределены по трудности одинаковым образом.
  • 4. обе формы должны иметь примерно одинаковое среднее значение и среднее отклонение.
  • 5. Процедура применения отдельных форм, техника оценивания результатов д.б. унифицированы.

Показатель надежности - коэффициент корреляции.

НО!! Существует опасность обучаемости решению тестов. Обследуемый может запомнить алгоритм решения определенных типов задач.

НАДЕЖНОСТЬ ЧАСТЕЙ ТЕСТА (одномоментная надежность/ надежность-согласованность) - характеристика надежности осуществляется путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных заданий теста.

Надежность проверяют на результатах…:

  • 1) Результаты теста расщепляются на части (чаще всего путем деления на четные и нечетны пункты).
  • 2) По каждой половине рассчитываются суммарные баллы.
  • 3) Между двумя рядами баллов по испытуемым рассчитываются допустимые коэффициенты корреляции.

Разделение теста на части > уменьшение величины этого теста > уменьшение/ снижение достоверности результатов.

Надо предусмотреть: при разделении - задания по своему характеру д.б. однородными.

Преимущества данного вида надежности:

  • 1) Отсутствие влияния факторов, порождаемых повторным тестированием: эффект упражнения, снижение мотивации и т.д.
  • 2) Менее трудоемок (пр: не надо разрабатывать параллельную форму теста, проводить повторное обследование и т.д.).

Наиболее высокий показатель надежности обеспечивает надежность параллельных форм!!

Но она ограничивается техническими возможностями.

МИНОБРНАУКИ РФ

Государственное образовательное учреждение

Высшего профессионального образования

«Поволжская государственная социально-гуманитарная академия»

Кафедра социальной педагогики, психологии и педагогики начального образования

Надежность психодиагностических методик: её виды, способы установления. Соотношение валидности и надежности.

Выполнила студентка II курса по

Психолого-педагогической диагностике

дневного отделения

факультета начального образования

(специальность Социальная педагогика)

Павлова Марина Вячеславовна

Самара 2011

    Введение

    Надежность психодиагностических методик

    Способы установлении и виды надежности

    Соотношение валидности и надежности

    Заключение

    Список использованной литературы

Введение

В традиционной тестологии термин «надежность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых. Как пишет А. Анастази, вряд ли можно с доверием относиться к тесту интеллекта, если по нему в начале недели ребенок имел показатель, равный 110, а к концу - 80. Повторное применение надежных методик дает сходные оценки. При этом в определенной мере могут совпадать как сами результаты, так и порядковое место (ранг), занимаемое испытуемым в группе. И в том, и в другом случае при повторении опыта возможны некоторые расхождения, но важно, чтобы они были незначительными, в пределах одной группы. Можно сказать, что надежность методики - это такой критерий, который говорит о точности психологических измерений, т. е. позволяет судить о том, насколько внушают доверие полученные результаты.

Надежность можно установить двумя общими способами: 1) путем сравнения результатов, получаемой посредством данной методики или теста разными диагностами; 2) путем сравнения результатов, получаемой применением данной методики или теста в идентичных условиях. Различается множество видов надежности и конкретных способов определения их уровня. Определение надежности теста бывает связано с понятием внутренней состоятельности теста; это выражается в расчленении теста на части с последующим сопоставлением результатов частей. Надежность теста определяется также методами анализа дисперсионного и факторного.

Виды надёжности

При исследовании надёжности часто ставится задача определить причины, приводящие к формированию той или другой стороны надёжности. Без этого невозможно наметить правильную программу работ по повышению надёжности. Это приводит к делению надёжности на:

Аппаратную надёжность, обусловленную состоянием аппаратуры;

Программную надёжность объекта, обусловленную состоянием программ;

Надёжность объекта, обусловленную качеством обслуживания;

Надёжность функциональная.

Особого внимания заслуживает понятие “программная надёжность”, так как её важная роль в обеспечении надёжности АСУ является одной из самых характерных особенностей прикладной теории надёжности АСУ. Понятие “программная надёжность” возникло в результате следующих основных причин. В инженерной практике всё большее значение приобретают программно-управляемые изделия: программно-управляемые станки; вычислительные машины и системы машин; системы передачи данных АСУ и др. Для этих изделий характерно то, что они являются органическим слиянием технических средств (аппаратуры) и программы. Без программного обеспечения вычислительный комплекс, или тракт передачи данных, - это “мёртвый” набор технических устройств, который оживает тогда и только тогда, когда он используется как единое целое с программой. Поэтому говорить о надёжности таких устройств бессмысленно, если не учитывать влияния программного обеспечения.

Учёт влияния программного обеспечения приводит к необходимости выделять в особый вид программную надёжность объектов.

Надёжность функциональная - надёжность выполнения отдельных функций, возлагаемых на систему. АСУ, как правило, система многофункциональная, т.е. она предназначается для выполнения ряда функций, различных по своей значимости. Требования к надёжности выполнения различных функций могут быть различными (например, для функции “расчёт зарплаты” требуется высокая точность, но не требуется жёсткого ограничения времени). Поэтому может оказаться целесообразным задавать различные требования к выполнению различных функций. Примером функциональной надёжности в АСУ может быть надёжность передачи определённой информации в системе передачи данных.

Надежность метода

в практической (экспертной или следственной) деятельности - способность при заранее определенных условиях и применительно к определенной категории объектов приложения и решаемых задач достигать ожидаемых результатов. При оценке заключения судебного эксперта Н. м. экспертного исследования и приборов, используемых при его применении, выступает как существенный критерий точности и достоверности результатов экспертизы. Сомнения в их Н. могут послужить основанием для назначения повторной экспертизы либо привести к исключению экспертного заключения из системы доказательств.


Криминалистическая энциклопедия. - М.: Мегатрон XXI . Белкин Р. С. . 2000 .

Смотреть что такое "Надежность метода" в других словарях:

    Надежность диагнозов (reliability of diagnoses) - Надежность клинических психиатрических диагнозов стала предметом особой заботы с тех пор, когда в конце XIX в. Э. Крепелин предпринял первые попытки создать систематическую классиф. психич. расстройств. Диагноз и классиф. выполняют ряд важных… … Психологическая энциклопедия

    Надежность психологического теста - Надёжностью называется один из критериев качества теста, его устойчивость по отношению к погрешностям измерения. Различают два вида надёжности надёжность как устойчивость и надёжность как внутреннюю согласованность. Содержание 1 Надёжность как… … Википедия

    НАДЕЖНОСТЬ ТЕСТА - – один из критериев качества теста, относящийся к точности психологических измерений. Чем больше Н. т., тем относительно свободнее он от погрешностей измерения. При одном из подходов Н. т. рассматривается как устойчивость (стабильность)… … Энциклопедический словарь по психологии и педагогике

    НАДЕЖНОСТЬ И КОНТРОЛЬ УПРАВЛЯЮЩИХ - СИСТЕМ, проблемы надежности управляющих систем, одно из направлений теории управляющих систем, к рое изучает управляющие системы, подверженные помехам. Пусть нек рый класс управляющих систем (у. с.) и пусть имеется источник помех, или источник… … Математическая энциклопедия

    Надежность - (Reliability). Измерение постоянства (стабильности) теста (или другого метода оценки). Постоянство оценок при повторном тестировании одной и той же группы людей называется ретестовой надежностью. Постоянство оценок по пунктам теста называется… … Теории личности: глоссарий

    Сущность метода - 2.1. Сущность метода Метод состоит в определении нормального светопропускания безопасного стекла trпо интенсивности светового потока, пропускаемого испытываемым стеклом. 2.2. Термин и его определение Источник … Словарь-справочник терминов нормативно-технической документации

    Лаборато́рная диагно́стика - (греч. diagnostikos способный распознавать) совокупность физико химических, биохимических и биологических методов диагностики, исследующих отклонения в составе и изменения свойств тканей и биологических жидкостей больного, а также выявляющих… … Медицинская энциклопедия

    КИШЕЧНИК - КИШЕЧНИК. Сравнительно анатомические данные. Кишечник (enteron) представляет собой б. или м. длинную трубку, начинающуюся ротовым отверстием на переднем конце тела (обычно с брюшной стороны) и кончающуюся у большинства животных особым, анальным… … Большая медицинская энциклопедия

    АКТИВАЦИОННЫЙ АНАЛИЗ - (радиоактивационный анализ), метод качественного и количественного элементного анализа в ва, основанный на активации ядер атомов и исследовании образовавшихся радиоактивных изотопов (радионуклидов). В во облучают ядерными частицами (тепловыми или … Химическая энциклопедия

    МАКСИМИЗАЦИЯ И МИНИМИЗАЦИЯ ФУНКЦИЙ - конечного числа переменных задача поиска экстремума функции под этой задачей понимается: 1) нахождение 2) отыскание точек максимума или минимума, если достигаются на допустимом множестве (см. Максимум и минимум функции). 3) построение… … Математическая энциклопедия

Книги

  • Надежность химико-технологических систем , Прохоренко Николай. В промышленности многих развитых стран наблюдается довольно болезненное явление, заключающееся в том, что до 20% ВВП теряется из-за внезапных остановок и последующих простоев производящих…