Uk:Import/Guidelines

Крок 1 - Передумови

1. Ознайомтесь з основами OpenStreetMap, включаючи редагування, наприклад додайте докладні відомості про об’єкти поруч з вами.
2. Дізнайтесь, що може статись не так під час імпорту.
3. Визначте дані, які ви хотіли б імпортувати та їх ліцензійні вимоги. Це можуть бути дороги, контури будинків, водні шляхи, адреси, й т.д.

Крок 2 - Залучення спільноти

1. Рекомендується перед тим, як розпочати роботу з імпорту, зв’язатись зі спільнотою, щоб дізнатись чи є потреба в такому імпорті. В різних місцях OSM – різний рівень прийняття імпортів. Імпорт тих самих даних в одній місцевості отримає підтримку, в той час, як в інших – буде відхилений.
2. Обговоріть ваш план. Сповістіть локальну спільноту OSM про ваші плани, додайте посилання на вашу вікі-сторінку. Ви можете зробити це надіславши листа на imports@openstreetmap.org, talk-(ваша країна)@openstreetmap.org, у групу OSM регіону, що до якого відбуватиметься імпорт. (В Україні найактивнішим майданчиком для спілкування спільноти є українська гілка форуму OSM). Це допоможе вам отримати допомогу з досвіду минулих років, який вже може містити оцінку даних, які ви збираєтесь імпортувати. Зв’яжіться з місцевою групою учасників, місцевим відділенням, та напишіть до списку розсилки.
3. Будьте готові відповідати на запитання спільноти. Обговорюйте зі спільнотою придатність кожного шару даних. Частина даних може бути імпортована без якихось труднощів, в той час як інші дані імпортувати доволі складно (наприклад: дороги). Деякі дані отримують широке схвалення, щодо їх імпорту, тоді як імпорт інших не отримує єдиної думки (межі домоволодінь).
4. До перевірки складніших та широкомасштабних імпортів потрібно залучати технічно-грамотних та досвідчених учасників OSM-спільноти.
5. Ви не повинні імпортувати дані без залучення локальної спільноти.

Крок 3 - Узгодження ліцензійних вимог

1. Ви повинні отримати відповідний дозвіл та ліцензію на використання даних в OSM від власника даних. Якщо ліцензія на дані несумісна з OSM Open Database License, ви не можете використовувати такі дані. Більшість місцевостей мають прогресивні правила щодо відкритих даних. Інші, мають правила, що є майже відкритими, але мають проблеми пов’язані з комерційним використанням даних або вимоги посилатись на правовласників даних. Іноді, для того щоб отримати дозвіл на використання даних, навіть коли наявна ліцензія здається забороняє їх використання, достатньо отримати відповідь на запит від відповідних владних органів, чи не заперечують вони використовувати дані на умовах OSM Open Database License. Ознайомтесь з Import/GettingPermission, щоб отримати зразок листа, що стосується важливих питань.

Крок 4 - Документація

1. Ви повинні внести ваш проєкт та відповідні дозволи на використання даних додавши рядок в таблицю у Import/Catalogue.
2. Ви повинні описати план імпорту в OSM-вікі. Створіть вікі-сторінку з описом деталей вашого плану. План повинен містити інформацію про те, як ви збираєтесь перетворити ваші дані в формат OSM XML, етапи виконання роботи, як відбуватиметься об’єднання даних, яким чином наявні параметри GIS будуть перенесені в теґи OSM, як дані потенційно можуть бути спрощені, як буде виконуватись кожен етап, план на випадок невдачі - як скасувати внесені зміни, правила, щодо розміру наборів змін, та плани що до перевірки якості. З прикладом такого пану можна ознайомитись у Import/Plan Outline
3. У разі вимоги від власника даних, ви повинні додати відомості про нього в перелік Contributors.

Крок 5 - Огляд імпорту

1. Ви повинні надіслати огляд вашого імпорту до списку розсилки imports@openstreetmap.org. Для цього потрібно підписатись. Не завантажуйте будь-які дані доки ваш проект не буде розглянуто.
2. Якщо можливо, підготуйте дані та зробіть їх доступними для огляду.

Крок 6 - Завантаження

1. Дотримуйтесь вашого плану.
2. Сповіщайте про ваші досягнення.
3. Надавайте спільноті свіжі дані щодо ваших зусиль.
4. Сповістіть всіх, коли ви закінчите.
5. Для імпорту потрібно використовувати окремий обліковий запис.

Обговорення запропонованого імпорту

Обговорення майбутнього імпорту зі спільнотою – дуже важливий крок. Перш за все додайте інформацію до Переліку потенційних джерел даних. Тут ви можете в кількох словах описати ліцензійні вимоги, інформацію щодо рівня точності знайдених даних порівняно з тими даними що вже є. У випадку, коли вам потрібно більше місця, створіть нову сторінку з описом даних у вікі та додайте посилання на неї.

Обговоріть ваш імпорт у списку розсилки imports@openstreetmap.org, а також з місцевою спільнотою. Багато з місцевих спільното мають власні вікі-сторінки а також/або списки розсилки. Скоординуйте ваші зусилля з іншими людьми зі схожими цілями.

Навіть якщо той самий чи подібний імпорт обговорювався раніше, все одно слід обговорити його з місцевою спільнотою. Це означатиме, що спільнота ознайомлена з вашими намірами і можно розв'язати можливі поблеми, ще до того як вони виникнуть. Це особливо актуально, якщо дані доступні тривалий час, але ще не імпортувалися, однак це не означає, що їх потрібно імпортувати без обговорення з місцевою спільнотою.

Завжди починайте з обговорення розслідування, яке ви провели щодо ліцензування та точності даних. Якщо виникне консенсус, що дані не відповідають нашим критеріям, не розчаровуйтесь. Позначте такі дані як відхилені (rejected) на сторінці Potential Datasources разом з поясненням причини. Документування таких рішень є також корисним внеском. Якщо спільноту задовольняють дані, переходіть до обговорення процедури імпорту.

Імпорти пов'язані із гуманітарними проблемами, реагуванням на стихийні лиха й т.і. мають обговорюватись з HOT (в ідеалі в HOT Mailing list).

Документування імпорту

Якщо ви просунулись вперед щодо вашого імпорту, будь ласка, створіть відповідну сторінку у Вікі з докладним описом всіх деталей. Зробіть запис на сторінці Import/Catalogue та додайте посилання звідти до вашої сторінки. Також додайте посилання на сторінку вашого імпорту до локальної сторінки Mapping Projects. Сторінка має містити наступні дані:

• Інформація про точність даних та ліцензійні вимоги (також має бути короткий підсумок на сторінці Potential Datasources).
• Опишіть яке програмне забезпечення ви будете використовувати для імпорту. Поділіться також сирцями коду, який ви будете використовувати.
• Докладно опишіть як дані будуть перетворені у формат OSM.
• Як виглядатимуть підготовлені дані для імпорту. Які теґи будуть використані.
• Додайте посилання на зразок даних, що були імпортовані до тестової бази даних.
• Додайте перелік облікових записів, які будуть використовуватись для імпорту, а також подробиці того, як будуть позначатись набори змін.

І по мірі просування імпорту

• Надавайте посилання на зразки імпорту в живу базу даних.

Зауважте, що зміна цілей імпорту після обговорення призведе до його недійсності. Ви не можете трактувати згоду спільноти на імпорт набору даних X, як згоду на імпорт даних X+Y.

Переконайтесь у відповідності ліцензійних вимог

Нас цікавлять лише вільні дані. Ми повинні мати можливість публікувати дані на умовах нашої Ліцензії OpenStreetMap. Очевидно, що у нас є можливість використовувати дані що є суспільним надбанням (public domain), яких не так вже й багато, зі всім іншим трохи складніше.

У вересні 2012 OpenStreetMap перейшов на ліцензію Open Database Licens. Отже ваші дані мають бути сумісні з нею. На додачу до цього, ви маєте прийняти умови Угоди про участь у вашому обліковому записі для імпорту, які також містять положення про переліцензування на інші вільні та відкриті ліцензії, якщо спільнота цього забажає.

Ви не повинні вимагати додаткових авторських прав для себе як імпортера. Наприклад, ви імпортуєте дані на які розповсюджуються умови суспільного надбання (public domain data), ви не можете жодним чином обмежити використання імпортованих вами даних. Обліковий запис, який використовується для імпорту, не повинен містити жодних відмов стосовно оригінальних дозволів на використання імпортуємих даних.

Будь ласка, зверніть увагу на деталі вимоги згадувати джерело даних. Ми можемо запропонувати згадування певного вигляду: ми згадуватимемо джерело даних на нашому веб-сайті (не на головній сторінці, але на сторінці Contributors у вікі, а також для великих за обсягом внесків на www.openstreetmap.org/copyright). Ми можемо зв'язати інформацію про імпорт з обліковим записом, який для цього використовувався, що означатиме що вся історія змін доступна для перевірки джерел даних. Ми також можемо використовувати теґ "source" для зазначення джерела. Це, мабуть, більш помітно, але його можуть видалити інші мапери, які в подальшому уточнюватимуть мапу. Посилання на "автора" зупиняється на цьому етапі. Що ми точно не можемо зробити, так це вимагати від кінцевих споживачів наших даних/рендерингу посилатись на кожного конкретного донора даних. Зважаючи на це, наша атрибуція може бути недостатньою з юридичної точки зору і може фактично вважатися незадовільною оригінальними "авторами" даних.

Доволі часто ми виявляємо, що дані, які мають бути доступними за сумісною ліцензією, в кінцевому рахунку отримані з джерел, які ми вважаємо невільними. Так, деякі геодані доступні у Вікіпедії на умовах ліцензії Creative Commons, в OSM широко поширена думка, що частина цих даних просто отримана з Карт Google, а тому фактично не доступна за вказаною ліцензією. У таких випадках спільнотою встановлене правило – не імпортувати дані, походження яких є невизначеним, незалежно від заявленої ліцензії. Краще перестрахуватися, ніж потім шкодувати.

Використовуйте окремий обліковий запис

Створіть новий обліковий запис для імпорту. Ви не повинні робити імпорт використовуючи ваш звичайний обликовий запис OSM. Сторінку користувача облікового запису імпорту слід використовувати для збору даних, що стосуються джерела та контактних даних щодо імпорту. Крім того, посилання на джерело може бути присутнє у назві облікового запису, або на сторінці інформації про обліковий запис, що краще ніж додавати цю інформацію у вигляді теґу; оскільки історія редагування користувача буде містити інформацію про джерело і не буде перетинатись з теґами або значно збільшувати обсяг бази даних. Виходячи з цього, створення спеціалізованого облікового запису краще за використання теґу source=*. Для розподіленого/спільного імпорту, що виконується кількома учасниками спільноти, кожен з учасників має створити свій власний обліковий запис для імпорту, наприклад "ваш_обліковий_запис"_import. Імпорт не обов'язково має бути зроблений з використанням одного облікового запису.

Гарна порада від user:Aaron Lidman, якщо у вас вже є обліковий запис, зареєстрований на вашу поштову адресу в gmail, ви можете використовувати email alias та створити новий обліковий запис для імпорту використовуючи електрону пошту виду youremail+something@gmail.com, типу johnsmith+anytownimport@gmail.com. Gmail буде спрямовувати листи пошти OSM на вашу звичайну поштову адресу. Це дозволить вам створити кілька облікових записів OSM для імпорту.

Недотримання цього правила є однією з причин, через яку DWG може тимчасово заблокувати ваш обліковий запис

Використовуйте правильні теґи

Під час імпорту слід використовувати теґи, знайомі спільноті OSM, а не вигадувати власний набір.

Можливо, у вас є деякі метадані, такі як ідентифікатори сирцевих даних. Якщо ці метадані будуть корисні для OSM, то ви можете визначити власний префікс і застосувати його для теґів цих метаданих. Імпорт даних TIGER, наприклад, використовує префікс tiger:". Оригінальні ідентифікатори об'єктів з TIGER мають ключ "tiger:tlid".

Однак не треба взловживати метаданими. OSM цікавить лише те, що можна перевірити. Не треба використовувати (наприклад) зовнішні ключі з іншої бази даних, крім випадків коли тільки вони справді потрібні для актуалізації даних у майбутньому. У вашому джерелі даних може бути багато полів, але з елементами даних OSM у яких дуже багато теґів може бути важко працювати. Знайдіть "золоту" середину. З'ясуйте (обговоріть) які теґи будуть корисними для OSM спільноти.

Не додавайте дані поверх наявних

На відміну від традиційних систем GIS OpenStreetMap не використовує концепцію шарів. Одні дані поверх інших лише приведуть до безладу. Цей безлад ускладнює роботу інших користувачів у звичайних редакторах OpenStreetMap. Мапа точок дублікатів показувала імпорти, що не слідували цим рекомендаціям (неналежний імпорт даних TIGER спричинив більшість з них, але насправді їх було набагато більше).

Якщо ваші дані у стандартному багатошаровому GIS форматі, вам потрібно буде застосувати інший підхід. Можливо, вам доведеться об’єднайти шари та обрати найкращі сукупні теґи, але ви завжди можете уникнути прямого імпорту даних, натомість підготувати сирці для користувачів, щоб вручну та вибірково імпортувати дані, або розгорнути WMS для перенесення даних (як наприклад, Natural Resources Canada -Toporama).

У випадку імпорту даних там де в OSM вже є дані, вам потрібно поєднати ваш імпорт з наявним даними або відкинути ту частину імпорту, що перетинається з наявними даними. Тільки у випадку наявності явної підтримки, що дуже незвично, ви можете замінити наявні дані даними імпорту.

Спрощуйте

Файли формату Shapefiles доволі часто містять забагато деталей, так наприклад, більше точок ніж треба для дуг кривих, або більше ніж дві точки на прямих відрізках. Це помітно на дуже великих об'єктах що представляють певні території землекористування які мають точки через кожен один або два метри або виглядають зубчастими через недостатню розподільчу здатність або надлишкову кількість точок. Інструменти на кшталт Map Shaper допоможуть у спрощені даних shapefile, особливо тих що містять дуже багато деталей. Завжди розмірковуйте про те, як дані виглядатимуть і як з ними потім працювати, наприклад в iD.

Серверні потужності не безмежні

Переконайтеся, що ви не перевантажуєте сервер під час імпорту великої кількості даних. Імпорт TIGER був розтягнутий на кілька місяців, щоб не вбити центральний сервер! Імпортуйте дані невеликими партіями або іншим чином сповільнюйте сценарії імпорту. Якщо у вас виникають сумніви – зв'яжіться з Системними Адміністраторами.

Будьте дуже обережні, щоб не пошкодити базу даних

Будьте дуже обережні, щоб не пошкодити базу даних, а також не створюйте безлад своїм імпортом. Не варто розраховувати що численні учасники OpenStreetMap за допомогою iD та Potlatch будуть невтомно завершувати вашу роботу. JOSM значно краще підходить для розплутування помилок в даних, але це все одно важко, і вам треба зробити цю роботу самостійно, якщо в цьому виникне потреба.

Якщо під час вашого імпорту щось йде не так, вам треба його негайно припинити і відкотити імпортовані дані як найшвидше. Якщо вам потрібна допомога, зверніться до досвідчених членів вашої місцевої спільноти або/а також до списків розсилки Imports та/чи Talk. Якщо ви не вмієте робити відкат даних – не беріться робити імпорт.