Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": "", 
2
  "author": "", 
            
3
  "author_email": "", 
3
  "author_email": "", 
            
4
  "creator_user_id": "2e9fa41b-0394-4070-98d0-205f79d5738b", 
4
  "creator_user_id": "2e9fa41b-0394-4070-98d0-205f79d5738b", 
            
5
  "extras": [
5
  "extras": [
            
n
n
6
    {
            
7
      "key": "Country", 
            
8
      "value": "USA"
            
9
    }, 
            
6
    {
10
    {
            
7
      "key": "Data Management ", 
11
      "key": "Data Management ", 
            
8
      "value": "\"Data in its raw form may contain errors or be 
12
      "value": "\"Data in its raw form may contain errors or be 
            
9
incompatible with the structure of AII, so it must be processed before 
13
incompatible with the structure of AII, so it must be processed before 
            
10
integration. AII data is processed in 3 interconnected stages: 
14
integration. AII data is processed in 3 interconnected stages: 
            
11
cleaning, transformation, and validation.  Cleaning and Transformation 
15
cleaning, transformation, and validation.  Cleaning and Transformation 
            
12
Though they are two distinct stages, cleaning and transformation often 
16
Though they are two distinct stages, cleaning and transformation often 
            
13
occur at the same time. Cleaning refers to dealing with erroneous 
17
occur at the same time. Cleaning refers to dealing with erroneous 
            
14
records (those that are incomplete, inaccurate, irrelevant, or 
18
records (those that are incomplete, inaccurate, irrelevant, or 
            
15
duplicated).   Transformation, in contrast, converts raw data into a 
19
duplicated).   Transformation, in contrast, converts raw data into a 
            
16
desired format. Because AII is ultimately intended for public use, 
20
desired format. Because AII is ultimately intended for public use, 
            
17
Wilson Center staff aim to convert raw data into formats more easily 
21
Wilson Center staff aim to convert raw data into formats more easily 
            
18
understood by human users.  Given that each AII data source contains 
22
understood by human users.  Given that each AII data source contains 
            
19
unique records and encoding methods, cleaning and transformation was 
23
unique records and encoding methods, cleaning and transformation was 
            
20
tailored to each source.  Validation Data validation ensures the 
24
tailored to each source.  Validation Data validation ensures the 
            
21
quality of records that have undergone cleaning and transformation. 
25
quality of records that have undergone cleaning and transformation. 
            
22
Whenever possible, AII records were cross-referenced with data from 
26
Whenever possible, AII records were cross-referenced with data from 
            
23
multiple sources to confirm their validity.\""
27
multiple sources to confirm their validity.\""
            
24
    }, 
28
    }, 
            
25
    {
29
    {
            
26
      "key": "Data Policy", 
30
      "key": "Data Policy", 
            
27
      "value": "\"The Wilson Center developed a list of potential data 
31
      "value": "\"The Wilson Center developed a list of potential data 
            
28
sources and prioritized the inclusion of web pages that maximize the 
32
sources and prioritized the inclusion of web pages that maximize the 
            
29
volume, relevance, and accuracy of records. Priority was given to the 
33
volume, relevance, and accuracy of records. Priority was given to the 
            
30
datasets of government bodies, independent research organizations, and 
34
datasets of government bodies, independent research organizations, and 
            
31
NGOs, due to their role as aggregators of publicly available data and 
35
NGOs, due to their role as aggregators of publicly available data and 
            
32
transparency in methods. Additionally, as the owners of public 
36
transparency in methods. Additionally, as the owners of public 
            
33
infrastructure, governments can be assumed to have the most 
37
infrastructure, governments can be assumed to have the most 
            
34
authoritative dataset on public projects.   For the current release of 
38
authoritative dataset on public projects.   For the current release of 
            
35
AII (December 2020), the largest sources of data were:  the United 
39
AII (December 2020), the largest sources of data were:  the United 
            
36
Nations Code for Trade and Transport Locations the Global Power Plant 
40
Nations Code for Trade and Transport Locations the Global Power Plant 
            
37
Database (World Resources Institute) the Arctic Marine and Aviation 
41
Database (World Resources Institute) the Arctic Marine and Aviation 
            
38
Transportation Infrastructure Initiative (Arctic Council, under an 
42
Transportation Infrastructure Initiative (Arctic Council, under an 
            
39
initiative of the Governments of the United States and Iceland) the 
43
initiative of the Governments of the United States and Iceland) the 
            
40
Interagency Electronic Reporting System for Commercial Fishery 
44
Interagency Electronic Reporting System for Commercial Fishery 
            
41
Landings (State of Alaska) the Federal Agency of Sea and River 
45
Landings (State of Alaska) the Federal Agency of Sea and River 
            
42
Transport (Government of the Russian Federation) Because coverage is 
46
Transport (Government of the Russian Federation) Because coverage is 
            
43
currently limited to publicly available data, this list is not 
47
currently limited to publicly available data, this list is not 
            
44
exhaustive. When possible, the websites of private owners of 
48
exhaustive. When possible, the websites of private owners of 
            
45
infrastructure were also consulted as the most authoritative 
49
infrastructure were also consulted as the most authoritative 
            
46
source.\""
50
source.\""
            
47
    }, 
51
    }, 
            
48
    {
52
    {
            
49
      "key": "Data Sharing Principle", 
53
      "key": "Data Sharing Principle", 
            
50
      "value": "\"Extracting Data Once a data source has been 
54
      "value": "\"Extracting Data Once a data source has been 
            
51
earmarked for inclusion in AII, its data must be extracted. The method 
55
earmarked for inclusion in AII, its data must be extracted. The method 
            
52
chosen for data extraction depends on the format in which a web page 
56
chosen for data extraction depends on the format in which a web page 
            
53
stores data. Data used to build AII is stored in a variety of formats, 
57
stores data. Data used to build AII is stored in a variety of formats, 
            
54
ranging from .csv and .doc files to raw html. Where files are publicly 
58
ranging from .csv and .doc files to raw html. Where files are publicly 
            
55
available, they are downloaded in their raw form for further 
59
available, they are downloaded in their raw form for further 
            
56
processing. Where data is stored in html, web scraping is employed.   
60
processing. Where data is stored in html, web scraping is employed.   
            
57
Web scraping, a normal part of internet operations, allows users to 
61
Web scraping, a normal part of internet operations, allows users to 
            
58
grab the portions of a web page\u2019s html that contain the raw form 
62
grab the portions of a web page\u2019s html that contain the raw form 
            
59
of desired data. Web scraping can be performed in multiple coding 
63
of desired data. Web scraping can be performed in multiple coding 
            
60
languages, but for the purposes of AII, scraping was performed in 
64
languages, but for the purposes of AII, scraping was performed in 
            
61
Python.  In accordance with industry standards, all data extraction 
65
Python.  In accordance with industry standards, all data extraction 
            
62
and web scraping followed hypertext transfer protocol (HTTP) and 
66
and web scraping followed hypertext transfer protocol (HTTP) and 
            
63
proceeded with scraping only when issued a status code of 200 by the 
67
proceeded with scraping only when issued a status code of 200 by the 
            
64
requested server of the data source. Users also followed the scraping 
68
requested server of the data source. Users also followed the scraping 
            
65
protocols outlined by a server\u2019s Robots.txt file, being careful 
69
protocols outlined by a server\u2019s Robots.txt file, being careful 
            
66
not to exceed a server\u2019s request limits. There are several 
70
not to exceed a server\u2019s request limits. There are several 
            
67
limitations to using the methodology described in this document. It is 
71
limitations to using the methodology described in this document. It is 
            
68
unlikely that all data will be captured by this methodology due to the 
72
unlikely that all data will be captured by this methodology due to the 
            
69
following factors:   not all infrastructure data is publicly available 
73
following factors:   not all infrastructure data is publicly available 
            
70
search engines may return incomplete data due to deficiencies and 
74
search engines may return incomplete data due to deficiencies and 
            
71
biases in algorithms, indices, and/or queries data collected from 
75
biases in algorithms, indices, and/or queries data collected from 
            
72
third-parties may be erroneous The Wilson Center will make efforts to 
76
third-parties may be erroneous The Wilson Center will make efforts to 
            
73
counter these limitations by:  consulting governmental and 
77
counter these limitations by:  consulting governmental and 
            
74
nongovernmental entities directly to gain access to data that may not 
78
nongovernmental entities directly to gain access to data that may not 
            
75
have appeared in search results or public web pages using multiple 
79
have appeared in search results or public web pages using multiple 
            
76
data sources to \u201cplug\u201d each other\u2019s gaps cleaning and 
80
data sources to \u201cplug\u201d each other\u2019s gaps cleaning and 
            
77
validating third-party data\""
81
validating third-party data\""
            
78
    }
82
    }
            
79
  ], 
83
  ], 
            
n
80
  "groups": [], 
n
84
  "groups": [
            
85
    {
            
86
      "description": "Inventory of Database for Earth Three Poles", 
            
87
      "display_name": "An Inventory of Database for Earth Three 
            
88
Poles", 
            
89
      "id": "543d60c4-2ba5-4474-b3d2-47a5cd109ce8", 
            
90
      "image_display_url": 
            
91
.142.79/uploads/group/2021-05-18-053212.318529inventurydatabase1.jpg", 
            
92
      "name": "inventury-of-database-for-earth-three-poles", 
            
93
      "title": "An Inventory of Database for Earth Three Poles"
            
94
    }
            
95
  ], 
            
81
  "id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
96
  "id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
            
82
  "isopen": false, 
97
  "isopen": false, 
            
83
  "license_id": "", 
98
  "license_id": "", 
            
84
  "license_title": "", 
99
  "license_title": "", 
            
85
  "maintainer": "", 
100
  "maintainer": "", 
            
86
  "maintainer_email": "", 
101
  "maintainer_email": "", 
            
87
  "metadata_created": "2022-04-05T07:50:27.000177", 
102
  "metadata_created": "2022-04-05T07:50:27.000177", 
            
t
88
  "metadata_modified": "2022-04-05T07:52:00.716409", 
t
103
  "metadata_modified": "2022-04-10T08:53:19.568331", 
            
89
  "name": "arctic-infrastructure-inventory", 
104
  "name": "arctic-infrastructure-inventory", 
            
90
  "notes": "The Arctic Infrastructure Inventory (AII) 
105
  "notes": "The Arctic Infrastructure Inventory (AII) 
            
91
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
106
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
            
92
projects listed, and thousands more that will be added as it grows, 
107
projects listed, and thousands more that will be added as it grows, 
            
93
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
108
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
            
94
infrastructure\u2014including policymakers, industry, researchers, 
109
infrastructure\u2014including policymakers, industry, researchers, 
            
95
community leaders, and more.\u00a0\r\n", 
110
community leaders, and more.\u00a0\r\n", 
            
96
  "num_resources": 1, 
111
  "num_resources": 1, 
            
97
  "num_tags": 0, 
112
  "num_tags": 0, 
            
98
  "organization": {
113
  "organization": {
            
99
    "approval_status": "approved", 
114
    "approval_status": "approved", 
            
100
    "created": "2020-04-30T11:11:08.802657", 
115
    "created": "2020-04-30T11:11:08.802657", 
            
101
    "description": "Aerospace Information Research Institute (AIR) 
116
    "description": "Aerospace Information Research Institute (AIR) 
            
102
under the Chinese Academy of Sciences (CAS) was established in July 
117
under the Chinese Academy of Sciences (CAS) was established in July 
            
103
2017, following the approval for consolidation of three CAS 
118
2017, following the approval for consolidation of three CAS 
            
104
institutes: the Institute of Electronics (IECAS), the Institute of 
119
institutes: the Institute of Electronics (IECAS), the Institute of 
            
105
Remote Sensing and Digital Earth (RADI), and the Academy of 
120
Remote Sensing and Digital Earth (RADI), and the Academy of 
            
106
Opto-Electronics (AOE) at CAS President Board Meeting. The merger is 
121
Opto-Electronics (AOE) at CAS President Board Meeting. The merger is 
            
107
the outcome of CAS efforts towards reformation of its R&D system to 
122
the outcome of CAS efforts towards reformation of its R&D system to 
            
108
meet future R&D challenges and to better meet the national demands.", 
123
meet future R&D challenges and to better meet the national demands.", 
            
109
    "id": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
124
    "id": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
            
110
    "image_url": "2021-05-18-080509.992585AIRlogo.png", 
125
    "image_url": "2021-05-18-080509.992585AIRlogo.png", 
            
111
    "is_organization": true, 
126
    "is_organization": true, 
            
112
    "name": "air", 
127
    "name": "air", 
            
113
    "state": "active", 
128
    "state": "active", 
            
114
    "title": "Aerospace Information Research Institute, CAS", 
129
    "title": "Aerospace Information Research Institute, CAS", 
            
115
    "type": "organization"
130
    "type": "organization"
            
116
  }, 
131
  }, 
            
117
  "owner_org": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
132
  "owner_org": "c25dce84-97be-4153-8b90-d38f9ab73e5f", 
            
118
  "private": false, 
133
  "private": false, 
            
119
  "relationships_as_object": [], 
134
  "relationships_as_object": [], 
            
120
  "relationships_as_subject": [], 
135
  "relationships_as_subject": [], 
            
121
  "resources": [
136
  "resources": [
            
122
    {
137
    {
            
123
      "cache_last_updated": null, 
138
      "cache_last_updated": null, 
            
124
      "cache_url": null, 
139
      "cache_url": null, 
            
125
      "created": "2022-04-05T07:52:00.484037", 
140
      "created": "2022-04-05T07:52:00.484037", 
            
126
      "datastore_active": false, 
141
      "datastore_active": false, 
            
127
      "description": "The Arctic Infrastructure Inventory (AII) 
142
      "description": "The Arctic Infrastructure Inventory (AII) 
            
128
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
143
tracks\u00a0infrastructure projects in the Arctic. With nearly 8,000 
            
129
projects listed, and thousands more that will be added as it grows, 
144
projects listed, and thousands more that will be added as it grows, 
            
130
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
145
AII\u00a0aims to be a tool and resource for all stakeholders in Arctic 
            
131
infrastructure\u2014including policymakers, industry, researchers, 
146
infrastructure\u2014including policymakers, industry, researchers, 
            
132
community leaders, and more.\u00a0\r\n", 
147
community leaders, and more.\u00a0\r\n", 
            
133
      "format": "", 
148
      "format": "", 
            
134
      "hash": "", 
149
      "hash": "", 
            
135
      "id": "647cd873-0a16-46ae-82b0-447ff00df001", 
150
      "id": "647cd873-0a16-46ae-82b0-447ff00df001", 
            
136
      "last_modified": null, 
151
      "last_modified": null, 
            
137
      "metadata_modified": "2022-04-05T07:52:00.721424", 
152
      "metadata_modified": "2022-04-05T07:52:00.721424", 
            
138
      "mimetype": null, 
153
      "mimetype": null, 
            
139
      "mimetype_inner": null, 
154
      "mimetype_inner": null, 
            
140
      "name": "ARCTIC INFRASTRUCTURE INVENTORY", 
155
      "name": "ARCTIC INFRASTRUCTURE INVENTORY", 
            
141
      "package_id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
156
      "package_id": "2f2eb6a0-6683-4de5-99e9-7311ab55b7d5", 
            
142
      "position": 0, 
157
      "position": 0, 
            
143
      "resource_type": null, 
158
      "resource_type": null, 
            
144
      "size": null, 
159
      "size": null, 
            
145
      "state": "active", 
160
      "state": "active", 
            
146
      "url": "https://arcticinfrastructure.wilsoncenter.org/", 
161
      "url": "https://arcticinfrastructure.wilsoncenter.org/", 
            
147
      "url_type": null
162
      "url_type": null
            
148
    }
163
    }
            
149
  ], 
164
  ], 
            
150
  "state": "active", 
165
  "state": "active", 
            
151
  "tags": [], 
166
  "tags": [], 
            
152
  "title": "ARCTIC INFRASTRUCTURE INVENTORY", 
167
  "title": "ARCTIC INFRASTRUCTURE INVENTORY", 
            
153
  "type": "dataset", 
168
  "type": "dataset", 
            
154
  "url": "https://arcticinfrastructure.wilsoncenter.org/", 
169
  "url": "https://arcticinfrastructure.wilsoncenter.org/", 
            
155
  "version": ""
170
  "version": ""
            
156
}
171
}