СТАТИСТИЧЕСКАЯ ОБРАБОТКА ГИДРОГЕОЛОГИЧЕСКИХ ДАННЫХ С ПРОПУСКАМИ

Тимків Марія Михайлівна

аспірант, кафедра геотехногенної безпеки та геоінформатики

Івано-Франківський національний технічний університет нафти і газу

Тымкив Мария Михайловна
аспирант, кафедра геотехногенного безопасности и геоинформатики
Ивано-Франковский национальный технический университет нефти и газа

Tymkiv Mariia Mikhailovna
postgraduate, department of geotechnical safety and geoinformatics
Ivano-Frankivsk National Technical University of Oil and Gas

СТАТИСТИЧНА ОБРОБКА ГІДРОГЕОЛОГІЧНИХ ДАНИХ З ПРОПУСКАМИ

СТАТИСТИЧЕСКАЯ ОБРАБОТКА ГИДРОГЕОЛОГИЧЕСКИХ ДАННЫХ С ПРОПУСКАМИ

STATISTICAL ANALYSIS OF GEOLOGICAL DATA SPACES

Анотація. Проведено статистичну обробку даних з пропусками для коректного відображення даних та точної побудови карт.

Ключові слова. Пропуски,  підземні води, вихідні дані.

Аннотация. Проведено статистическую обработку данных с пропусками для корректного отображения данных и точного построения карт.
Ключевые слова. Пропуски, подземные воды, выходные данные.

Abstract. A statistical analysis of data from a space to display the correct data and accurate mapping.
Keywords. Gaps, underground water output.

Постановка проблеми. У зв’язку зі зростанням значення підземних вод у водопостачанні України, виникає необхідність постійного моніторингу підземних вод, аналізу та оцінки гідрогеологічних процесів, прогнозу можливих змін підземної гідросфери. Вивчення та прогнозування режиму рівнів підземних вод займають провідне положення в комплексі гідрогеологічних досліджень, оскільки дозволяють кількісно охарактеризувати процес формування підземних вод і прослідкувати зміни гідрогеологічних умов у часі, що дає змогу обґрунтувати заходи по використанню підземних вод, передбачити і своєчасно виявити негативні природні та техногенні впливи.

Проте, перед науковцями постає ще одна проблема: коректне опрацювання даних досліджень. Для проведення аналізу та побудови карт потрібно мати якісну вихідну інформацію. Часто складається так, що дані спостережень не є цілісними і мають багато пропусків. При певних дослідження це має значний вплив на вихідні результати та прогноз в цілому.

 Одним із завдань для подальшої роботи є заповнення даних з пропусками так, щоб ці зміни коректно відображати. Коротко перелічимо деякі з основних методів для швидкого заповнення даних [3].

Методи багаторазового заповнення. Передбачають заповнення   пропуску декількома   значеннями. Суттєвим недоліком методів одноразового заповнення, за думкою їх дослідників  є те, що звичайні  формули призводять до систематично занижених оцінок дисперсії, навіть, якщо обчислені пропущені значення отримані  з використанням вірної  моделі. При багаторазовому заповненні отримуються правильні оцінки дисперсії, які можна отримувати звичайними методами аналізу повних даних.

Заповнення за регресією. Суть полягає в заповненні пропусків даних, які передбачені регресією пропущених значень для певного об’єкта змінних на ті, що є відомі.

Заповнення без підбору. Пропуски заповнюються постійними даними із зовнішнього джерела, наприклад даними із попередніх спостережень на цій же точці.

Заміна. Метод характеризується заміною даних на етапі спостереження та при безпосередньо при зборі даних. Суть полягає в заміні об’єкта з відсутніми потрібними даними на інший об’єкт, який не включається у вибірку.

Співставлення методів. Базується на основі декількох методів. При роботі з даними може виникнути потреба для порівняння того чи іншого методу на основі реальних спостережень. До прикладу можна об’єднати заповнення з підбором і заповнення по регресії [4].  

Теоретичні відомості та математичне обґрунтування методу співставлення.

Заповнення середніми. Нехай y_іj - значення Y для i -го об'єкта в групі _j, _i = 1, ..., N_j9 _j = 1, ..., j. При заповненні середніми для об'єктів вибірки, які не дали відповідь, підставляється середнє y_jR по m_j відповіли в j-й групі. Для   плану середнє популяції Y можна оцінити середнім присутніх і підставлених значень, а саме [2]:                                           

де у_j - середнє присутніх і підставлених значень в j-й групі.

Тепер

так що отримується оцінка Y - просто оцінка з зважуванням груп. Якщо в популяції відома частка кожної групи, то оцінку  y_ps також можна вивести як оцінку, засновану на заповненні середніми.

Ми показали, що для планів з рівними вагами зважування об'єктів, що дають відповідь, за часткою відповідають у кожній групі дозволяє отримати такі ж оцінки середніх і сум, як підстановка середніх по відповідальним для об'єктів, що не дають відповідь. Це зауваження стосується і нерівномірним планам за умови, що вибіркові ваги відображаються в оцінках частки відповідають і в підставляється середніх. Зв'язки між заповненням пропусків і зважуванням груп розглядаються в [Oh and Scheuren A983); David, Little, Samuhel and Triest A983); Little A986)]. Метод заповнення середніми реалізується просто, але він володіє небажаними властивостями. По-перше, правильні оцінки дисперсій y_wc (або y_ps) не можна отримати за допомогою звичайних формул для дисперсії, застосованих до заповнених даними. Реально обсяг вибірки занижений через відсутність відповідей, тому звичайні формули призводять до заниженої оцінки істинної дисперсії. По-друге, величини, що не лінійні по даними, такі, як дисперсія Y або кореляція між двома змінними, не можна безбідно оцінити за допомогою стандартних методів для повних даних, якщо їх застосувати до заповнених даними. По-третє, підстановка середніх спотворює емпіричне розподіл значень Y, що важливо при дослідженні розподілу Y по гістограмі або з інших графіками, що відображає дані. Аналогічна проблема виникає, якщо значення Y об'єднані в групи для утворення частотної таблиці, тому що пропуски в групах заповнюються загальним середнім значенням і, отже, відносяться в результаті до однієї і тієї ж групи Y Ця проблема спонукає шукати розподілені значення для пропусків, використовуючи методи їх заповнення типу підстановки з підбором. Звернемося тепер до цього методу [1].

Підстановка з підбором. При більшості методів підстановки з підбором (цей термін поки не став загально прийнятим) пропуски заповнюються значеннями, отриманими для іншого східного об'єкта вибірки. Припустимо, як і раніше, що витягнута вибірка обсягу n з N об'єктів, і у m з n об'єктів вибірки зареєстровані значення Y, де n, N і m вважаються в цьому розділі фіксованими. Для простоти пронумеруємо об'єкти так, що перші n об'єктів знаходяться у вибірws, і перші m <n з них дали відповідь. При рівноймовірній схемі вибору середнє Y можна оцінити як середнє за наявними і за підставленим значенням, що можна записати у вигляді:

Зазначимо, що   рівне n-m – числу об’єктів з пропусками.

Властивості Y_HD залежать від способу формування чисел (Н₁ ..., Н_m). Найпростіше вивести формули, якщо розглядати підставлені значення як вибірку значень, отриману при ймовірному плані вибору, коли відомо розподіл (Н₁ ..., Н_m) при повторному застосуванні підстановки з підбором. Припустимо, що Hi задається випадковим вибором з поверненням з зареєстрованих значень Y. Умовно за зареєстрованими значенням вибірки розподіл (Н_i, ..., Н_m) при повторах процедури підстановки з підбором поліноміальне з об'ємом вибірки n-m і ймовірностями 1 / m, ..., 1 / m (див. [Cochran A977), розділ 2.8]. Звідси:

E(H_i  | Y, R, I) = (n-m)/m,

Var (H_i  | Y, R, I) = (n-m)(1-1/m)/m,

Cov (H_i, H_i’ \ Y, R, I) = - (n-m)/m², i≠ i’.

Тоді

При простому випадковому виборі і в припущенні ОПС про розподіл відповідей ми отримаємо:

Відзначимо, що підстановка з підбором веде до оцінок з більшою дисперсією в порівнянні з оцінкою Y_R одержуваної при заповненні середнього. Із формули випливає, що дисперсія будь-якої оцінки Y_HD при підстановці з підбором, для якої E( Y_HD, R, I) = Y_R  більше дисперсії середнього Y_R. Перевага методу підстановки з підбором на відміну від заповнення середнім полягає в тому, що викривлення розподілу вибіркових значень відсутні. Додаткова дисперсія від вибіркової підстановки з поверненням  не є малозмінена. Її можна зменшити, задаючи більш ефективний план вибору. Припустимо, наприклад, що підставляються значення витягуються без повернення. Якщо n-m <m, то ми можемо вибрати (n-m) з т зареєстрованих значень у без повернення і при цьому Hi дорівнює 1, якщо i -й об'єкт відібраний, і 0 - в іншому випадку. Щоб визначити процедуру в загальному випадку, запишемо:

де k - натуральне і 0 ≤ t ≤ m.

При підстановці з підбором без повернення до раз вибирають всі зареєстровані об'єкти, а потім «добирають» t додаткових об'єктів, щоб забезпечити всі n - m значення, необхідних для пропусків. Таким чином,

  де y_i- середнє t додаткових значень Y. Відповідно до теорії простого випадкового вибору

Якщо Y_HD2 - оцінка Y, отримана за допомогою цієї процедури, то

Точніше, в припущенні простого випадкового вибору і бернулієвского розподілу присутності відповідей, ігноруючи поправку на кінцеву популяцію, ми отримаємо, що 1) дисперсія Y_НD1 не перевищує дисперсію j_R більш ніж в 1,25 рази, і цей максимум досягається, якщо m / n - 0 , 5; 2) дисперсія j_HD2 не перевищує дисперсії у R більш ніж в 1,125 рази.  Інший метод генерування значень для заповнення пропусків - послідовний підбір, при якому всі об'єкти розташовують у послідовність і пропущене значення замінюється значенням Y найближчого попереднього в цій послідовності об'єкта, що дав відповідь.  Головною перевагою послідовного підбору є його обчислювальна простота. На його основі побудовані старі схеми заповнень для поточних обстежень населення Бюро перепису (Census Bureau). Припустимо, що об'єкти вибірки випадково впорядковані і витягнуті шляхом простого випадкового вибору, а також що діє бернуліївський механізм породження пропусків. Байлар і його співавтори [див. Bailar, Bailey and Corby A978)] показали, що в цьому випадку оцінка Y методом послідовного підбору, скажімо Y_HD3, - несумісна з дисперсією, наближено рівний (при великих m і n і без поправок на кінцеву популяцію)

Значить, дисперсія Y_HD3 збільшується в порівнянні з y_R в (n-m) / m + 1 раз, що дорівнює частці пропущених значень.

Короткий аналіз результатів. Дані, проаналізовані в даному дослідженні, отримані в результаті спостережень за водоносним четвертинним горизонтом  напірного типу та з  порушеним режимом поблизу м. Рівне. Проаналізовано середньомісячні значення рівня підземних вод (обчислені за  даними строкових замірів) та середньомісячні значення рівня температури повітря на даній території протягом 2004-2008 років. За цими даними побудовано графіки залежності середньомісячних показників РПВ та температури відповідно за час спостережень. Обробка за допомогою методів статистичного аналізу даних моніторингу дозволила виявити деяку залежність одних показників від інших у часовому вимірі. А саме, що РПВ у вересні – жовтні, та у квітні – травні є майже однаковий, що безпосередньо пов’язано з сезонними опадами. У результаті аналізу  отримали можливість побудувати чітку лінію тренду та зробити висновок, що протягом досліджуваного періоду температурний режим змінювався у циклічному порядку. Проте пряму залежність рівня підземних вод від опадів та температури стверджувати не можна. Вплив (як опосередкований, так і безпосередній) також мають сонячна активність, атмосферний тиск, рух літосферних плит, сейсмоактивність, карстові процеси та ін. Значну роль також відіграють  техногенні чинники. Для прикладу наведемо графік залежності рівня підземних вод і температури повітря за   жовтень протягом 2004-2008 р. р.. Обробка даних проводилась у середовищі Microsoft Excel.