Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": "", 
2
  "author": "", 
            
3
  "author_email": "", 
3
  "author_email": "", 
            
4
  "creator_user_id": "2e9fa41b-0394-4070-98d0-205f79d5738b", 
4
  "creator_user_id": "2e9fa41b-0394-4070-98d0-205f79d5738b", 
            
5
  "extras": [
5
  "extras": [
            
6
    {
6
    {
            
7
      "key": "Data Management ", 
7
      "key": "Data Management ", 
            
8
      "value": "\"Data in its raw form may contain errors or be 
8
      "value": "\"Data in its raw form may contain errors or be 
            
9
incompatible with the structure of AII, so it must be processed before 
9
incompatible with the structure of AII, so it must be processed before 
            
10
integration. AII data is processed in 3 interconnected stages: 
10
integration. AII data is processed in 3 interconnected stages: 
            
11
cleaning, transformation, and validation.  Cleaning and Transformation 
11
cleaning, transformation, and validation.  Cleaning and Transformation 
            
12
Though they are two distinct stages, cleaning and transformation often 
12
Though they are two distinct stages, cleaning and transformation often 
            
13
occur at the same time. Cleaning refers to dealing with erroneous 
13
occur at the same time. Cleaning refers to dealing with erroneous 
            
14
records (those that are incomplete, inaccurate, irrelevant, or 
14
records (those that are incomplete, inaccurate, irrelevant, or 
            
15
duplicated).   Transformation, in contrast, converts raw data into a 
15
duplicated).   Transformation, in contrast, converts raw data into a 
            
16
desired format. Because AII is ultimately intended for public use, 
16
desired format. Because AII is ultimately intended for public use, 
            
17
Wilson Center staff aim to convert raw data into formats more easily 
17
Wilson Center staff aim to convert raw data into formats more easily 
            
18
understood by human users.  Given that each AII data source contains 
18
understood by human users.  Given that each AII data source contains 
            
19
unique records and encoding methods, cleaning and transformation was 
19
unique records and encoding methods, cleaning and transformation was 
            
20
tailored to each source.  Validation Data validation ensures the 
20
tailored to each source.  Validation Data validation ensures the 
            
21
quality of records that have undergone cleaning and transformation. 
21
quality of records that have undergone cleaning and transformation. 
            
22
Whenever possible, AII records were cross-referenced with data from 
22
Whenever possible, AII records were cross-referenced with data from 
            
23
multiple sources to confirm their validity.\""
23
multiple sources to confirm their validity.\""
            
24
    }, 
24
    }, 
            
25
    {
25
    {
            
26
      "key": "Data Policy", 
26
      "key": "Data Policy", 
            
27
      "value": "\"The Wilson Center developed a list of potential data 
27
      "value": "\"The Wilson Center developed a list of potential data 
            
28
sources and prioritized the inclusion of web pages that maximize the 
28
sources and prioritized the inclusion of web pages that maximize the 
            
29
volume, relevance, and accuracy of records. Priority was given to the 
29
volume, relevance, and accuracy of records. Priority was given to the 
            
30
datasets of government bodies, independent research organizations, and 
30
datasets of government bodies, independent research organizations, and 
            
31
NGOs, due to their role as aggregators of publicly available data and 
31
NGOs, due to their role as aggregators of publicly available data and 
            
32
transparency in methods. Additionally, as the owners of public 
32
transparency in methods. Additionally, as the owners of public 
            
33
infrastructure, governments can be assumed to have the most 
33
infrastructure, governments can be assumed to have the most 
            
34
authoritative dataset on public projects.   For the current release of 
34
authoritative dataset on public projects.   For the current release of 
            
35
AII (December 2020), the largest sources of data were:  the United 
35
AII (December 2020), the largest sources of data were:  the United 
            
36
Nations Code for Trade and Transport Locations the Global Power Plant 
36
Nations Code for Trade and Transport Locations the Global Power Plant 
            
37
Database (World Resources Institute) the Arctic Marine and Aviation 
37
Database (World Resources Institute) the Arctic Marine and Aviation 
            
38
Transportation Infrastructure Initiative (Arctic Council, under an 
38
Transportation Infrastructure Initiative (Arctic Council, under an 
            
39
initiative of the Governments of the United States and Iceland) the 
39
initiative of the Governments of the United States and Iceland) the 
            
40
Interagency Electronic Reporting System for Commercial Fishery 
40
Interagency Electronic Reporting System for Commercial Fishery 
            
41
Landings (State of Alaska) the Federal Agency of Sea and River 
41
Landings (State of Alaska) the Federal Agency of Sea and River 
            
42
Transport (Government of the Russian Federation) Because coverage is 
42
Transport (Government of the Russian Federation) Because coverage is 
            
43
currently limited to publicly available data, this list is not 
43
currently limited to publicly available data, this list is not 
            
44
exhaustive. When possible, the websites of private owners of 
44
exhaustive. When possible, the websites of private owners of 
            
45
infrastructure were also consulted as the most authoritative 
45
infrastructure were also consulted as the most authoritative 
            
46
source.\""
46
source.\""
            
47
    }, 
47
    }, 
            
48
    {
48
    {
            
49
      "key": "Data Sharing Principle", 
49
      "key": "Data Sharing Principle", 
            
50
      "value": "\"Extracting Data Once a data source has been 
50
      "value": "\"Extracting Data Once a data source has been 
            
51
earmarked for inclusion in AII, its data must be extracted. The method 
51
earmarked for inclusion in AII, its data must be extracted. The method 
            
52
chosen for data extraction depends on the format in which a web page 
52
chosen for data extraction depends on the format in which a web page 
            
53
stores data. Data used to build AII is stored in a variety of formats, 
53
stores data. Data used to build AII is stored in a variety of formats, 
            
54
ranging from .csv and .doc files to raw html. Where files are publicly 
54
ranging from .csv and .doc files to raw html. Where files are publicly 
            
55
available, they are downloaded in their raw form for further 
55
available, they are downloaded in their raw form for further 
            
56
processing. Where data is stored in html, web scraping is employed.   
56
processing. Where data is stored in html, web scraping is employed.   
            
57
Web scraping, a normal part of internet operations, allows users to 
57
Web scraping, a normal part of internet operations, allows users to 
            
58
grab the portions of a web page\u2019s html that contain the raw form 
58
grab the portions of a web page\u2019s html that contain the raw form 
            
59
of desired data. Web scraping can be performed in multiple coding 
59
of desired data. Web scraping can be performed in multiple coding 
            
60
languages, but for the purposes of AII, scraping was performed in 
60
languages, but for the purposes of AII, scraping was performed in 
            
61
Python.  In accordance with industry standards, all data extraction 
61
Python.  In accordance with industry standards, all data extraction 
            
62
and web scraping followed hypertext transfer protocol (HTTP) and 
62
and web scraping followed hypertext transfer protocol (HTTP) and 
            
63
proceeded with scraping only when issued a status code of 200 by the 
63
proceeded with scraping only when issued a status code of 200 by the 
            
64
requested server of the data source. Users also followed the scraping 
64
requested server of the data source. Users also followed the scraping 
            
65
protocols outlined by a server\u2019s Robots.txt file, being careful 
65
protocols outlined by a server\u2019s Robots.txt file, being careful 
            
66
not to exceed a server\u2019s request limits. There are several 
66
not to exceed a server\u2019s request limits. There are several 
            
67
limitations to using the methodology described in this document. It is 
67
limitations to using the methodology described in this document. It is 
            
68
unlikely that all data will be captured by this methodology due to the 
68
unlikely that all data will be captured by this methodology due to the 
            
69
following factors:   not all infrastructure data is publicly available 
69
following factors:   not all infrastructure data is publicly available 
            
70
search engines may return incomplete data due to deficiencies and 
70
search engines may return incomplete data due to deficiencies and 
            
71
biases in algorithms, indices, and/or queries data collected from 
71
biases in algorithms, indices, and/or queries data collected from 
            
72
third-parties may be erroneous The Wilson Center will make efforts to 
72
third-parties may be erroneous The Wilson Center will make efforts to 
            
73
counter these limitations by:  consulting governmental and 
73
counter these limitations by:  consulting governmental and 
            
74
nongovernmental entities directly to gain access to data that may not 
74
nongovernmental entities directly to gain access to data that may not 
            
75
have appeared in search results or public web pages using multiple 
75
have appeared in search results or public web pages using multiple 
            
76
data sources to \u201cplug\u201d each other\u2019s gaps cleaning and 
76
data sources to \u201cplug\u201d each other\u2019s gaps cleaning and 
            
77
validating third-party data\""
77
validating third-party data\""
            
78
    }
78
    }
            
79
  ], 
79
  ], 
            
80
  "groups": [], 
80
  "groups": [], 
            
81
  "id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
81
  "id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
            
82
  "isopen": false, 
82
  "isopen": false, 
            
83
  "license_id": "", 
83
  "license_id": "", 
            
84
  "license_title": "", 
84
  "license_title": "", 
            
85
  "maintainer": "", 
85
  "maintainer": "", 
            
86
  "maintainer_email": "", 
86
  "maintainer_email": "", 
            
87
  "metadata_created": "2022-04-05T07:50:27.000177", 
87
  "metadata_created": "2022-04-05T07:50:27.000177", 
            
n
88
  "metadata_modified": "2022-04-05T07:50:27.000185", 
n
88
  "metadata_modified": "2022-04-05T07:52:00.476730", 
            
89
  "name": "arctic-infrastructure-inventory", 
89
  "name": "arctic-infrastructure-inventory", 
            
90
  "notes": "The Arctic Infrastructure Inventory (AII) 
90
  "notes": "The Arctic Infrastructure Inventory (AII) 
            
91
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
91
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
            
92
projects listed, and thousands more that will be added as it grows, 
92
projects listed, and thousands more that will be added as it grows, 
            
93
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
93
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
            
94
infrastructure\u2014including policymakers, industry, researchers, 
94
infrastructure\u2014including policymakers, industry, researchers, 
            
95
community leaders, and more.\u00a0\r\n", 
95
community leaders, and more.\u00a0\r\n", 
            
n
96
  "num_resources": 0, 
n
96
  "num_resources": 1, 
            
97
  "num_tags": 0, 
97
  "num_tags": 0, 
            
98
  "organization": {
98
  "organization": {
            
99
    "approval_status": "approved", 
99
    "approval_status": "approved", 
            
100
    "created": "2020-04-30T11:11:08.802657", 
100
    "created": "2020-04-30T11:11:08.802657", 
            
101
    "description": "Aerospace Information Research Institute (AIR) 
101
    "description": "Aerospace Information Research Institute (AIR) 
            
102
under the Chinese Academy of Sciences (CAS) was established in July 
102
under the Chinese Academy of Sciences (CAS) was established in July 
            
103
2017, following the approval for consolidation of three CAS 
103
2017, following the approval for consolidation of three CAS 
            
104
institutes: the Institute of Electronics (IECAS), the Institute of 
104
institutes: the Institute of Electronics (IECAS), the Institute of 
            
105
Remote Sensing and Digital Earth (RADI), and the Academy of 
105
Remote Sensing and Digital Earth (RADI), and the Academy of 
            
106
Opto-Electronics (AOE) at CAS President Board Meeting. The merger is 
106
Opto-Electronics (AOE) at CAS President Board Meeting. The merger is 
            
107
the outcome of CAS efforts towards reformation of its R&D system to 
107
the outcome of CAS efforts towards reformation of its R&D system to 
            
108
meet future R&D challenges and to better meet the national demands.", 
108
meet future R&D challenges and to better meet the national demands.", 
            
109
    "id": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
109
    "id": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
            
110
    "image_url": "2021-05-18-080509.992585AIRlogo.png", 
110
    "image_url": "2021-05-18-080509.992585AIRlogo.png", 
            
111
    "is_organization": true, 
111
    "is_organization": true, 
            
112
    "name": "air", 
112
    "name": "air", 
            
113
    "state": "active", 
113
    "state": "active", 
            
114
    "title": "Aerospace Information Research Institute, CAS", 
114
    "title": "Aerospace Information Research Institute, CAS", 
            
115
    "type": "organization"
115
    "type": "organization"
            
116
  }, 
116
  }, 
            
117
  "owner_org": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
117
  "owner_org": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
            
118
  "private": false, 
118
  "private": false, 
            
119
  "relationships_as_object": [], 
119
  "relationships_as_object": [], 
            
120
  "relationships_as_subject": [], 
120
  "relationships_as_subject": [], 
            
t
121
  "resources": [], 
t
121
  "resources": [
            
122
    {
            
123
      "cache_last_updated": null, 
            
124
      "cache_url": null, 
            
125
      "created": "2022-04-05T07:52:00.484037", 
            
126
      "datastore_active": false, 
            
127
      "description": "The Arctic Infrastructure Inventory (AII) 
            
128
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
            
129
projects listed, and thousands more that will be added as it grows, 
            
130
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
            
131
infrastructure\u2014including policymakers, industry, researchers, 
            
132
community leaders, and more.\u00a0\r\n", 
            
133
      "format": "", 
            
134
      "hash": "", 
            
135
      "id": "647cd873-0a16-46ae-82b0-447ff00df001", 
            
136
      "last_modified": null, 
            
137
      "metadata_modified": "2022-04-05T07:52:00.480400", 
            
138
      "mimetype": null, 
            
139
      "mimetype_inner": null, 
            
140
      "name": "ARCTIC INFRASTRUCTURE INVENTORY", 
            
141
      "package_id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
            
142
      "position": 0, 
            
143
      "resource_type": null, 
            
144
      "size": null, 
            
145
      "state": "active", 
            
146
      "url": "https://arcticinfrastructure.wilsoncenter.org/", 
            
147
      "url_type": null
            
148
    }
            
149
  ], 
            
122
  "state": "draft", 
150
  "state": "draft", 
            
123
  "tags": [], 
151
  "tags": [], 
            
124
  "title": "ARCTIC INFRASTRUCTURE INVENTORY", 
152
  "title": "ARCTIC INFRASTRUCTURE INVENTORY", 
            
125
  "type": "dataset", 
153
  "type": "dataset", 
            
126
  "url": "https://arcticinfrastructure.wilsoncenter.org/", 
154
  "url": "https://arcticinfrastructure.wilsoncenter.org/", 
            
127
  "version": ""
155
  "version": ""
            
128
}
156
}