Wiki source code of 2 What is SDMX

Last modified by Artur on 2025/09/12 15:31

Show last authors
1 == 2.1 Увод ==
2
3 Ово поглавље пружа неку позадину о [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Иницијативи, проблемима које [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] решава, историји стандарда и смерница који су проистекли из ове иницијативе и областима у којима [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] игра улогу данас. Ово поглавље такође пружа неке смернице о томе како потенцијални корисници треба да разматрају [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] у вези са својим делом статистичког процеса.
4
5 [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] пружа широк спектар техничких алата, а они – као и сваки други алати – ако се правилно користе, доносе позитивне резултате. [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] такође пружа сет смерница о примени хармонизованих статистичких[[ concepts>>doc:Glossary.Concept.WebHome]] према [[data sets>>doc:Glossary.Data set.WebHome]], и како се они могу представити. Друге смернице се баве класификацијом статистичких података и области, као и хармонизацијом релевантне терминологије. Додатно, [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] представља оквир за процес хармонизације унутар области. Сви ови различити аспекти су овде разматрани.
6
7 == 2.2 Позадина – Званична статистика ==
8
9 [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] проистиче из света званичне статистике. Ако радите за националну или међународну статистичку агенцију, већ разумете „званичну статистику“, али многи људи који раде са статистичким подацима можда не разумеју ову област, па ћемо пружити кратак, високи опис.
10
11 „Званична статистика“ су подаци који се прикупљају и дистрибуирају од стране низа владиних и међународних организација како би се пружила чињенична основа за доношење политика и подржала истраживања. Неке земље имају „национални статистички уред“ (НСУ), док друге могу имати више владиних организација које су задужене за прикупљање статистичких података за владину употребу. Већина земаља такође има централне банке или сличне организације које прикупљају и дистрибуирају финансијске и економске податке.
12
13 Типично, неколико националних владиних организација има статистичку функцију (министарства образовања, правде, рада итд.).
14
15 Ове националне организације обично извештавају своје статистике низу наднационалних организација, које представљају или регије света (пример су Евростат и Европска централна банка) или области (пример су Светска здравствена организација, Организација за храну и пољопривреду, УНЕСЦО и Светска банка). Многе од ових организација припадају УН или су уговорне организације.
16
17 Све ове организације размењују, извештавају и дистрибуирају податке у ланцу који се може разумети као да почиње на најнижим нивоима у свакој земљи, и резултира високим [[data sets>>doc:Glossary.Data set.WebHome]] који су „агрегирани“ како се крећу кроз различите нивое како би достигли међународни ниво.
18
19 Систем званичне статистике је ова мрежа извештених података, према правним захтевима или другим типовима споразума. Постоји неколико важних састанака, конференција и иницијатива у овом систему, како би све организације усвојиле сличне приступе и технике и координисао извештавање: Конференција европских статистичара је важан састанак, као и састанак Статистичке комисије УН. Коначни циљ је да се мере важни феномени који се дешавају у свету и да се извештавају подаци до доносаца политика, студената, новинара и других корисника како би им помогли да информишу своје активности. Подаци су „званични“ јер долазе са репутацијом светских влада и међународних институција које стоје иза њих.
20
21 == 2.3 Историја SDMX-а и његови производи ==
22
23 2001. године, председници седам међународних статистичких институција су се окупили да формирају [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]], са циљем да се предузму конкретни кораци ка решавању проблема око статистичке размене. Ове организације су постале спонзори [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Иницијативе: Банка за међународна поравнања, Европска централна банка, Евростат, Међународни монетарни фонд, Организација за економску сарадњу и развој, Статистичка дивизија УН и Светска банка. Они су створили иницијативу са управним комитетом спонзора и секретаријатом који је извршавао програм рада.
24
25 Проблеми се могу кратко описати на следећи начин:
26
27 * Прикупљање, обрада и размена статистике је временски захтевно и ресурсно интензивно
28 * Разне међународне и националне организације имају појединачне приступе за своје кориснике
29 * Неварљивости (2001. године) о томе како наставити са новим технологијама (XML, веб услуге итд.)
30
31 Иницијатива [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] је изјавила да ће се бавити овим проблемима:
32
33 * //Идентификовањем ефикаснијих процеса за размену и дељење података и метаподатака уз помоћ савремене технологије//
34 * //Иницијални пројекти иницијативе, засновани углавном на раду који је већ био у току међу различитим организацијама спонзорима, били су~://
35
36 Практична студија случаја о новим е-стандардима за размену података
37
38 * //Одржавање и напредовање постојећих стандарда за размену података временских серија//
39 * //Креирање заједничког вокабулара за статистичке метаподатке//
40 * //Развој оквира за//
41 * //метаподатке [[metadata repositories>>doc:Glossary.Metadata repository.WebHome]]//
42
43 Додатно је изјављено да: „Нови стандарди треба да искористе нове веб-технологије и стручност оних који раде на пословним захтевима и ИТ подршци за прикупљање, компилацију и дистрибуцију статистичких информација.“
44
45 Тиме су циљеви [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] иницијативе били они које су широко прихватиле организације спонзори и генерално статистичка заједница. Важно је разумети да су постојали неки чврсти темељи на којима [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] је градило:
46
47 1. Постојећи стандард за размену статистичких података, познат као GESMES/TS, већ се користио међу неким од спонзорских организација и њиховим националним контрагентима. Ово није било засновано на модерним веб-технологијама као што је XML, већ је користило старији UN/EDIFACT синтаксу.
48 1. Рад на „заједничком вокабулару метаподатака“ био је заснован на многим годинама хармонизационог рада унутар заједнице, посебно на Евростатовом (% style="color:#e74c3c" %)//Concept //(%%)// and Definitions Database (CODED)// и на //OECD Glossary of Terms//.
49
50 Формирање [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Иницијативе може се разумети као признање спонзорских организација да је заједничким радом на решавању ових проблема, и координацијом пословних приступа уз помоћ савремене, технологије засноване на стандардима, било најбоље кренути напред. У једном смислу, [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] је еволуирало из ранијег рада, али је указало на повећану посвећеност коју су спонзори имали у достизању својих циљева. Такође представља окупљање напора око хармонизације статистичког садржаја и терминологије, и примене технологије која подржава статистичке процесе.
51
52 С vременом, рад [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Иницијативе се проширио, како у погледу садржаја оријентисаних радних производа тако и техничких. Овде ћемо описати еволуцију ових радних производа.
53
54 Иницијатива је рано одлучила да позиционира садржајно оријентисани рад и рад на технологији и стандардима тако да ова два правца рада буду одвојена али комплементарна. Садржајно оријентисани рад довео је до развоја [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Смерница садржајно оријентисане, док је технички рад резултирао [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Техничким спецификацијама. [[SDMX Technical Specifications>>doc:Glossary.SDMX Technical Specification.WebHome]] Постојало је неколико разлога за овај приступ. Он је одражавао спознају да техничке спецификације морају бити врло прецизне и детаљне како би омогућиле аутоматизацију статистичких размена – програмирање рачунара се ослања на веома специфична правила о томе како апликације комуницирају, иначе комуникација неће успети. Техничке спецификације у једном смислу функционишу као протоколи размене за комуникацију машина са машинама (слично као HTTP, на пример, али са фокусом на конкретне статистичке размене). [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] SDMX
55
56 Проблеми статистичког садржаја и терминологије су веома различити – они су предмет тумачења и анализе од стране обучених статистичара. Тако техничке спецификације чине основу за подршку раду на садржају, али су заправо веома другачији тип радног производа. Најлакше се види у чињеници да [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] [[Content-Oriented Guidelines>>doc:Glossary.Content-Oriented Guidelines.WebHome]] су //guidelines, //да помогну у сугерирању приступа људима у њиховом статистичком раду,// //док су [[SDMX Technical Specifications>>doc:Glossary.SDMX Technical Specification.WebHome]] су //specifications //- правила за развој компјутерских апликација које се прилагођавају//.//
57
58 Још један разлог за ову подљелу је што се техничке спецификације и смернице садржаја очекивало да се одржавају различитим темпом – када су стабилне, техничке спецификације се обично ажурирају ређе. Такође, разлози за вршење ажурирања и промена у свакој области нису зависни једни од других, па је било разумно да их раздвојимо. Ово се одражава у чињеници да техничке спецификације предају и објављују кроз Међународну организацију за стандарде (ISO), која објављује многе ИТ стандардe у разним областима, док се [[content-oriented guidelines>>doc:Glossary.Content-Oriented Guidelines.WebHome]] не подносе ISO-у, али се одржавају од стране [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Иницијативе самe. [[content-oriented guidelines>>doc:Glossary.Content-Oriented Guidelines.WebHome]] Ово омогућава ажурирање
59
60 Трећи разлог за раздвајање [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Техничких стандарда и [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] [[Content-Oriented Guidelines>>doc:Glossary.Content-Oriented Guidelines.WebHome]] јер су они технолошка основа за размену //any// статистике – техничке спецификације су примењиве ван домена званичне статистике, док су [[content-oriented guidelines>>doc:Glossary.Content-Oriented Guidelines.WebHome]] посебно дизајниране да буду корисне у том контексту (иако би могле бити корисне и ван те заједнице, могуће).
61
62 Ово координисано, али одвојено позиционирање два правца рада се такође показало као веома корисно, јер често статистичари и економисти немају дубоко знање о ИТ-у, а технолози немају дубоко знање о статистици. [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] помаже у дефинисању тачке на којој две врсте експертизе треба да се координирају, да би се ефикасно користила ИТ решења у статистичким разменама и процесима.
63
64 У оквиру рада оријентисаног на садржај, постоји сет радних производа: //The Content Oriented Guidelines, //и 5 прилога:
65
66 1. Прекогранични [[Concepts>>doc:Glossary.Concept.WebHome]]
67 1. Прекогранични [[Codelists>>doc:Glossary.Code list.WebHome]]
68 1. Статистичке области предмета
69 1. Заједнички речник метаподатака
70 1. [[SDMX-ML>>doc:Glossary.SDMX-ML.WebHome]] за [[Content-Oriented Guidelines>>doc:Glossary.Content-Oriented Guidelines.WebHome]] ([[Concepts>>doc:Glossary.Concept.WebHome]], [[Code Lists>>doc:Glossary.Code list.WebHome]], [[Category Scheme>>doc:Glossary.Category scheme.WebHome]])
71
72 Ово се разматра детаљније у првом прилогу овог корисничког водича.
73
74 Тхе [[SDMX Technical Specifications>>doc:Glossary.SDMX Technical Specification.WebHome]] су сада у верзији 2.1, али су и верзије 1.0 и 2.0 биле имплементиране. Верзија 1.0 спецификација има релативно ограничено покриће – модел за формате података и њихове структуре, као и XML и UN/EDIFACT формате за размену ових података. UN/EDIFACT формат био је компатибилан са GESMES/TS; XML формати су били нови. Такође је обезбеђена подршка за [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]]-базиране Web услуге: XML упитни документ и сет смерница о коришћењу других повезаних стандарда Web услуга (SOAP и WSDL).
75
76 Верзија 2.0 техничких спецификација имала је значајно проширен обим. Модел је проширен да укључи „[[reference metadata>>doc:Glossary.Reference metadata.WebHome]]” као начин структуирања и форматирања метаподатака који се односе на оквире квалитета података, методолошке метаподатке и друге врсте метаподатака „фуснота”. Тако су додани XML формати за [[reference metadata>>doc:Glossary.Reference metadata.WebHome]] додати су. Поред тога, додат је сет стандардизованих интерфејса у XML за интеракције са [[SDMX Registry>>doc:Glossary.SDMX Registry.WebHome]] додати су, за каталогизацију локације података и [[reference metadata>>doc:Glossary.Reference metadata.WebHome]] преко интернета или унутар организације, као и за одржавање и преузимање структурних метаподатака.
77
78 У верзији 2.1, многе карактеристике из 2.0 су побољшане, а препоруке за Web услуге су проширене да укључе RESTful интерфејс, стандардне функције и поруке о грешкама. Сада је могуће развијати генерички интероперабилне апликације засноване на [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] стандардима. Поред тога, различити XML формати података су поједностављени на основу искуства у имплементацији са верзијом 2.0.
79
80 За све врсте радних производа, постоје интерне ревизије унутар [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] заједнице, као и јавне ревизије смерница и стандарда.
81
82 == 2.4 SDMX „Toolkit” приступ ==
83
84 Постоји много различитих елемената у [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] сету смерница и спецификација, и може изгледати застрашујуће разматрати имплементацију свих њих. Важно је разумети филозофију иза овог сета алата. [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] увек је озбиљно схватао идеју да ће различите организације имплементирати сопственим темпом и са својим циљевима. Колико год је то било могуће, признали су да инвестиције у постојеће системе треба заштитити, и да треба подржати постојећи садржај и процесе.
85
86 Резултат овог захтева био је „toolkit” приступ: [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] пружа многе различите алате, али није неопходно да се сви усвоје или користе заједно. Заправо, многи алати су сада изграђени на основу детаљнијег сета [[components>>doc:Glossary.Component.WebHome]] који се сами могу интегрисати у системе организације. Техничке спецификације описују број различитих типова усаглашености са спецификацијама, на основу којих делова спецификација се користе.
87
88 Следеће поглавље описује корисничке случајеве које [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] подржава, али основна листа пословних апликација може бити дата:
89
90 * Случајеви прикупљања [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] као „пуштани” формат за извештавање података и метаподатака (извештавач шаље податке прикупљачу)
91 ** [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] as a “pull” reporting format for data and metadata (collector pulls data from reporter)
92 * Случајеви дистрибуције
93 ** [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] за преузимање фајлова
94 ** [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] као упитни извор података
95 ** [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] за управљање приказом података и метаподатака на веб сајту
96 * Случајеви складиштења података
97 ** [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] за екстракцију, трансформацију и учитавање података
98 ** [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] као модел за структуру складишта података или репозиторијума метаподатака
99
100 Различити делови стандарда се користе за сваки од ових случајева (и других), а спецификације су написане тако да дозволе да се само релевантни делови стандарда користе за било коју апликацију.
101
102 == 2.5 Применa SDMX унутар области ==
103
104 [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] постала је веома широко коришћена у свету званичне статистике, толико да је тешко саставити свеобухватну листу корисника. Овај део покушава да карактерише тренутне кориснике [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] – групу која ће вероватно расти не само у смислу броја, већ и у смислу ширине примена. Неке могућности су предложене на крају овог дела.
105
106 Ако погледамо најчешће употребе [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] постоје две:
107
108 1. Употреба [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] као формат за извештавање и прикупљање података, што је посебно распрострањено у заједници централних банака (због раније имплементације GESMES/TS, сада [[SDMX-EDI>>doc:Glossary.SDMX-EDI.WebHome]]), као и међу статистичким агенцијама у Европи (такође корисници GESMES историјски, али имплементација је сада све више покретана пројектима као што је Eurostat-ов Census Hub);
109 1. Дистрибуција статистичких података са веб сајтова.
110
111 Друга апликација је она која се види у широком спектру институција, укључујући централне банке (ECB и Европски систем централних банака, BIS, Савезна резервна банка САД и Федерална резервна банка Њујорка, између осталих), друге институције спонзоре (IMF, Светска банка, OECD, итд.), и националне статистичке агенције (INEGI у Мексику, Statistics New Zealand, Australian Bureau of Statistics, статистичке канцеларије у Европском статистичком систему итд.)
112
113 Мање уобичајена али растућа употреба [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] као основа за складишта података и друге форме управљања подацима. Можда је најбољи пример за то Европска централна банка, која је створила сва своја интерна складишта података на основу [[SDMX Information Model>>doc:Glossary.SDMX Information Model.WebHome]] и остварила многе користи од тога. Они нису једина организација која разматра ову врсту имплементације, међутим – многе друге организације користе [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] за управљање не само својим статистичким подацима, већ и за стварање [[metadata repositories>>doc:Glossary.Metadata repository.WebHome]] и за интеграцију својих метаподатака и података.
114
115 Ако погледамо које [[statistical domains>>doc:Glossary.Statistical subject-matter domain.WebHome]] су били или постају главни корисници [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] листа би изгледала овако (без одређеног реда):
116
117 * Попис и демографија
118 * Образовање
119 * Финансијски и монетарни индикатори
120 * Економски индикатори
121 * Национални рачуни
122 * Радна снага
123 * Храна и пољопривреда, укључујући рибарство
124 * Епидемиологија
125 * Транспорт
126 * Квалитет података
127 * Индикатори развоја
128
129 Лако је видети да је ово широк и прекогранични сет [[statistical domains>>doc:Glossary.Statistical subject-matter domain.WebHome]] – у ствари, вероватно постоје веома ретке области у којима се [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] не користи на неки начин данас, а горња листа је намењена као показатељ ширине прихватања.
130
131 [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] била је званично подржана прво унутар европског статистичког система, а затим и од стране Статистичког комитета УН. Ове подршке су биле снажни подстицаји за организације да користе [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] и резултат је широко прихваћен. Не постоје значајни конкуришући стандарди, што је спасило свет статистике од феномена који је успорио усвајање стандарда у неким другим заједницама.
132
133 Додатно, развила се јака култура развоја алата отвореног кода и бесплатних алата, што помаже у усвајању [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] лакше. Ово је дошло како изнутра, тако и изван заједнице спонзора, а допуњено је све већим бројем алата који долазе и од комерцијалних добављача.
134
135 Да бисте сазнали више о доступним [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] алатима, најбоље је консултовати [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Базу података о алатима, услугу коју пружају [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] спонзори, повезану са www.sdmx.org.
136
137 И подршка за стандарде не долази само у облику алата – Фондација за отворене податке организује [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Кориснички форум у сарадњи са спонзорима, пружајући место где заједница може да интерагује онлајн, а веб сајт CIRCA Евростата пружа многе врсте ресурса, од видео тренинга до водича за студенте. Многе организације нуде [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] личну обуку за различите нивое корисника. Најбоља једна тачка улаза је, наравно, сам [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] веб сајт.
138
139 Гледајући унапред, [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] све више се користи: на најновијој [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] Глобалној конференцији одржаној у Вашингтону у мају 2011. године, Google је показао одређени интерес за [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] као извор података за свој Data Explorer; сада постоји интерес за оснивање [[global registry>>doc:Glossary.Global registry.WebHome]] тако да сви [[SDMX>>doc:Glossary.Statistical data and metadata exchange.WebHome]] извори података и метаподатака могу бити лако пронађени. Додатно, видимо јаку могућност да свет корпоративне статистике може препознати корисност снажне основе стандарда у великој количини података који се данас прикупљају како би подржали апликације за пословну интелигенцију.