Гнатюк В.И. Закон оптимального построения техноценозов, 2005 – главная страница

Адрес монографии в сети – http://gnatukvi.narod.ru/ind.html

5.3.3. Оценка адекватности работы

динамической адаптивной модели

Замысел оценки адекватности. Подготовка данных. Оценка ошибок прогнозирования (первая процедура оценки адекватности модели). Абсолютные ошибки. Коэффициент вариации. Относительные ошибки. Анализ остатков моделирования (вторая процедура оценки адекватности модели). Проверка  на гауссовость. Проверка по критерию Пирсона. Проверка по критерию Кохрена. Проверка по критерию Дарбина – Уотсона. Тест на белый шум по критерию Бартлетта. Проверка по критерию Фишера. Выводы.

Оценка адекватности динамической адаптивной модели управления процессом электропотребления техноценоза включает две основные процедуры. Первая заключается в оценке ошибок (погрешностей) прогнозирования, т.е. собственно проверке качества процесса моделирования. Вторая процедура предполагает анализ остатков моделирования на наличие полезной информации и неучтенных моделью закономерностей [3,24,65].

Замысел оценки адекватности заключается в следующем. Из имеющихся данных по электропотреблению объектов техноценоза последние пять лет резервируются в качестве матрицы верификации, а по оставшимся данным осуществляется перспективный прогноз на глубину матрицы верификации. Затем полученные прогнозные значения электропотребления техноценоза сравниваются с соответствующими эмпирическими данными с использованием двух процедур оценки адекватности. Отрицательный вывод по первой процедуре свидетельствует либо о существенных недостатках в методологии, применяемой в модели, либо о неправильной оценке ее прогностических возможностей. Вторая процедура служит индикатором полноты и корректности алгоритма модели. В любом случае, отрицательный вывод хотя бы по одной из процедур не позволяет применять модель в практических расчетах.

Результаты эмпирических и прогнозных значений электропотребления заносятся в файл MS Excel. Файл должен быть назван «Prognoz.xls» и помещен в директорию «c:\mathcad_dat», которая должна быть заблаговременно создана в корневом каталоге диска «c:\». Файл должен состоять из одних цифр и иметь следующую структуру: столбцы должны соответствовать объектам техноценоза, а строки – годам. Причем первые пять строк заполняются прогнозными значениями, полученными в результате моделирования, а последующие пять – эмпирическими (реально зафиксированными) данными для соответствующих объектов техноценоза в те же годы. Таким образом, первая прогнозная строка должна соответствовать шестой эмпирической, вторая – седьмой, третья – восьмой и т.д.

В настоящей программе используются результаты расчетов, осуществленных применительно к реально существующему в Калининградской области техноценозу, состоящему из рассредоточенных по всей территории региона 69 объектов. Расчеты производились с помощью описанной в [20] динамической адаптивной модели электропотребления. При этом использовалась база данных по электропотреблению за 10 лет в период 1995 – 2004 гг.

Подготовка данных

Задаем начало отсчета, импортируем данные для обработки, полученную матрицу транспонируем и извлекаем из нее столбцы, где:

х1 – х5 – полученные с помощью модели (с использованием данных за 1995 – 1999 гг.) прогнозные значения на 2000 – 2004 гг.;

х6 – х10 – эмпирические значения электропотребления за 2000 – 2004 гг.

Определяем объем выборки и задаем натуральный ряд:

Оценка ошибок прогнозирования

(первая процедура оценки адекватности модели)

Для оценки точности моделирования полученные результаты статистически сравниваются [24]. Прежде всего вычисляются абсолютные ошибки прогнозирования:

Максимальные абсолютные ошибки по годам:

Суммарные абсолютные ошибки:

Абсолютные ошибки моделирования для техноценоза на каждом временном шаге:

Группировка данных для вывода на график (рис. 5.41):

Коэффициент вариации, являющийся мерой рассеяния прогнозных значений [24]:

Группировка данных для вывода на график (рис. 5.42):

Значения коэффициента вариации в период 2000 – 2004 гг. находятся в пределах 2 – 6%. Это показывает небольшое отклонение прогнозных значений электропотребления техноценоза от эмпирических [23,65].

Относительные ошибки на каждом временном шаге:

Суммарные относительные ошибки:

Группировка данных для вывода на график (рис. 5.43):

Средние относительные ошибки, определяемые на основе относительных ошибок по всем объектам техноценоза (в процентах):

Группировка данных для вывода на график (рис. 5.44):

Относительные ошибки для техноценоза в целом:

Группировка данных для вывода на график (рис. 5.45):

Главным показателем, характеризующим точность, является относительная ошибка моделирования для всего техноценоза. В данном случае ее значение растет с увеличением глубины прогноза, принимая максимальное значение на последнем году – 2,128%. Подобная точность перспективного прогноза электропотребления техноценоза может быть признана хорошей [14,15,20,48-50,59]. Как представляется, граничным приемлемым значением относительной ошибки моделирования на пятом году является 4 – 5%.

Анализ остатков моделирования

(вторая процедура оценки адекватности модели)

При корректном выполнении моделирования остатки должны являться результатом случайного рассеяния, а не доминирующего действия какого-либо неконтролируемого и неуправляемого воздействия [23,24,52]. Если это условие выполняется, то согласно центральной предельной теореме, при увеличении числа опытов, распределение остатков будет подчиняться закону Гаусса. В рамках второй процедуры оценки адекватности модели определяются стандартизированные остатки по каждому прогнозируемому году:

В качестве примера приведена визуализация распределения остатков для 2000 года (рис. 5.46):

Таким образом, стандартизированные остатки лежат на прямой без существенных отклонений (выбросов) и представляют собой белый шум (это будет дополнительно проверено ниже).

Строгая проверка гипотезы о соответствии генеральной совокупности нормальному распределению осуществляется по критерию Пирсона. Здесь приведены расчеты для 2001 года [24]. Выполним переименование вектора стандартизированных остатков и сформируем интервал:

Гистограмма абсолютных частот:

Теоретические значения частоты попадания в интервал в предположении, что закон распределения нормальный, и визуализация (рис. 5.47):

Определим функцию суммы квадратов отклонений экспериментальных значений от теоретических (наблюдаемое значение критерия):

Критическая точка правосторонней критической области:

Гипотеза о распределении генеральной совокупности по нормальному закону принимается, если следующий критерий выполняется (в данном случае – выполняется):

Для остальных лет получаем:

Таким образом, теоретические и эмпирические частоты различаются не значимо, следовательно остатки подчиняются нормальному закону.

Далее необходимо проверить однородность дисперсий остатков моделирования с помощью специального критерия Кохрена [24,65]. Исправленные выборочные дисперсии стандартизированных остатков для всех прогнозных лет:

Фактическое значение критерия Кохрена:

Критическое значение критерия Кохрена (из таблицы [65]):

Гипотеза об однородности дисперсий принимается, если выполняется следующий критерий (в данном случае – выполняется):

Таким образом, рассматриваемые выборки имеют однородные дисперсии, что является доказательством случайного рассеяния остатков.

Не менее важной является проверка на наличие сериальной корреляции остатков по критерию Дарбина – Уотсона [24]. Вычислим значения d-статистики для исследуемых лет:

Группировка полученных результатов:

Оценивание двухстороннего критерия Дарбина – Уотсона с равными хвостами. Критические точки критической области (по таблицам [24]):

Для реализации критерия применяются две специальные подпрограммы. По результатам работы каждой из подпрограмм выводится вектор из пяти цифр, которые являются индикаторами d-статистики для соответствующих лет. Если хотя бы в одном из векторов для данного года индикатор равен «1», то нулевая гипотеза принимается.

Таким образом, для рассматриваемого примера, сравнение вычисленных значений d-статистики с критическими точками позволяет заключить, что d незначимо, и гипотеза об отсутствии сериальной корреляции остатков принимается для всех пяти лет моделирования.

Тест остатков моделирования на белый шум проводится с помощью критерия Бартлетта [3,23]. При этом с помощью быстрого преобразования Фурье определяются выборочные значения кумулятивного спектра стандартизированных остатков (здесь приведен пример для 2000 г.). Вычислим длину вектора, зададим натуральный ряд и определим частоту спектра:

Теоретически нормированный накопленный спектр белого шума, верхняя и нижняя доверительные границы спектра:

Определим накопленный кумулятивный спектр, а также визуализируем полученные результаты (рис. 5.48):

Таким образом, накопленный спектр стандартизированных остатков моделирования для 2000 года лежит внутри доверительных границ, т.е. является белым шумом, что подтверждает адекватность разработанной модели. Следует отметить, что данная процедура должна выполняться для всех прогнозных лет.

Критерий Фишера [23,24,65] позволяет проверить, является ли дисперсия, обусловленная регрессией, значимо больше дисперсии остатков. Он предполагает вычисление выборочных дисперсий остатков (абсолютных ошибок) на исследуемые годы:

Выборочные дисперсии регрессионной модели на исследуемые годы:

Критерий Фишера:

Критическое значение критерия Фишера [24]:

Сравнение вычисленного значения F-критерия с его критическим значением осуществляется автоматически при помощи подпрограммы, по результатам работы которой выводится вектор, состоящий из пяти цифр-индикаторов. Значение индикатора, равное «1», соответствует выводу об адекватности модели в данном году, «0» – нет.

Следовательно, для всех лет моделирования дисперсия, обусловленная регрессией, значимо больше дисперсии остатков, что позволяет сформулировать положительный ответ относительно адекватности модели по критерию Фишера.

Выводы

Таким образом, оценка адекватности работы динамической адаптивной модели управления процессом электропотребления объектов исследуемого техноценоза [20] показала следующее. Относительная ошибка моделирования для всей инфраструктуры, несколько возрастающая с увеличением глубины прогноза, на последнем (пятом) году не превышает 2,1%. Следует отметить, что погрешность прогноза статической модели, описанной в работе [48-50], уже на первом году моделирования достигает 2%, а на последующих годах она резко возрастает. Анализ остатков динамической модели электропотребления показал, что предъявляемые к ним требования выполняются: 1) у стандартизированных остатков отсутствуют ярко выраженные выбросы, и они распределены по нормальному закону с однородной дисперсией; 2) отсутствуют сериальные корреляции остатков, которые являются белым шумом, а дисперсия, обусловленная регрессией, значимо больше дисперсии остатков. Это является подтверждением адекватности модели, которая может применяться для моделирования электропотребления техноценоза на глубину до 5 – 7 лет.

При использовании материалов ссылки обязательны

Все права защищены © Гнатюк В.И., 2005

E-mail: gnatukvi@mail.ru