2022年HDF数据结构研究 .pdf

《2022年HDF数据结构研究 .pdf》由会员分享，可在线阅读，更多相关《2022年HDF数据结构研究 .pdf（16页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、HDF 数据结构研究1. HDF 概念HDF ，Hierarchical Data Format，分层数据格式，美国国家高级计算应用中心NCSA （National Center for Supercomputing Applications）为了满足各领域研究需求而研制的一种能高效存储和分发科学数据的新型数据格式，是一种分层式数据管理结构，被地球观测系统数据和信息系统核心系统所选用作为标准数据格式。它的表现形式是一种多目标的文件格式，目的是为了在分布式环境中共享科学数据。HDF 文件格式的优势在于：可移植性强（独立于操作平台）；属于超文本文件；可以存储并处理大数据量；一个文件集可以管理多种类

2、型的数据结构；具有可扩展性。由于 HDF 的诸多优点， 这种格式已经被广泛用于目前国外各种卫星传感器的标准数据格式。在影像数据库多源数据管理中，HDF 格式发挥了很好的作用，利用HDF 数据结构建立远程图象工程, 并与数据库进行交互； 可以进行远程图像处理；远程影像解译， 统计分析； 影像运算、 信息挖掘、影像分类；综合处理影像、矢量、高程数据，三维可视显示等。2. HDF数据结构HDF 文件有六种主要数据类型，如图：1. 栅格图像 Raster Image：数据模式提供一种灵活方式存储、描述栅格图像数据，包括8bit 栅格图像。2调色板 Palette：也叫作彩色查对表，它提供图像的色谱。3

3、. 科学数据集 Scientific Data Set：用来存储和描述多维科学数据陈列。4.HDF注释 Annotation：是文字串，用来描述HDF 文件或 HDF 数据目标。5.Vdata ：是一个框架，用于存储和描述数据表。6.Vgroup ：是用来把相关数据目标联系起来。一个Vgroup 可以含有其它 Vgroup，以及数据目标。任一个HDF 目标均可以包括进某个Vgroup 中。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 16 页 - - - - - - -

4、 - - 而在 HDF5 中，建立一个新的HDF 文件后，会有5 种数据格式显示：HDF4 中只有前三种，但nasa下来的数据再HDFview 里面显示的是版本4. 3. 对 于NASA的MERRA300.prod.assim.inst6_3d_ana_Nv.2010 0531.hdf 进行的格式研究。其中有基于SD（science data ）和 GD（Vgroup ID ）两种方式对HDF 文件进行处理，例如下图， EOSGRID 就是一个Vgroup ，而 PS 就是一个 SD 的 datafield。利用 SD 方式进行读写1） SD 方式读取的变量，是整个HDF 文件的变量，没有层次

5、结构的显示，下面是输出的和HDFview 比对的结果。FUNCTIONHDF_SD_VARDIR, HDFID varnames = hdf_sd_fileinfo, hdfid, nvars, ngatts if (nvars gt0) thenbegin varnames = strarr(nvars) for index = 0L, nvars - 1L do beginvarid = hdf_sd_select (hdfid, index)hdf_sd_getinfo, varid, name=name hdf_sd_endaccess, varid varnamesindex = n

6、ame endforendifreturn, varnames END IDL pp=hdf_sd_vardir(hdfid)IDL print,ppPS DELP T U V QV O3 XDim:EOSGRID YDim:EOSGRID Height:EOSGRID TIME:EOSGRID XDim YDim 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 16 页 - - - - - - - - - Height Time2） SD 方式读取的属性，当变量输入为空

7、时，显示的是整个HDF 文件的属性。下面是输出的和 HDFview 比对的结果。FUNCTIONHDF_SD_ATTDIR , HDFID, VARNAME if ( n_elements (hdfid) eq 0) then $ message, HDFID is undefinedattnames = if (varname eq ) thenbeginhdf_sd_fileinfo, hdfid, nvars, natts endifelsebegin index = hdf_sd_nametoindex(hdfid, varname) varid = hdf_sd_select(hdf

8、id, index) hdf_sd_getinfo, varid, natts=natts endelseif (natts gt0) thenbegin attnames = strarr(natts) for index = 0L, natts-1 do beginif (varname eq ) thenbeginhdf_sd_attrinfo, hdfid, index,name=name endifelsebeginhdf_sd_attrinfo, varid, index,name=name endelse attnamesindex = name endforendifif (v

9、arname ne ) thenhdf_sd_endaccess, varid return, attnames ENDIDL kk=HDF_SD_ATTDIR(hdfid,)IDL print,kkHDFEOSVersion StructMetadata.0 missing_value Conventions title history institution source references comment contact ks nstep ptop pint ak bk CoreMetadata.0 ArchivedMetadata.0名师资料总结 - - -精品资料欢迎下载 - -

10、- - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 16 页 - - - - - - - - - 3）SD 的一些概念（即上例打开文件所用的hdfid ）科学数据集即SD （Science Data Set）的 ID 号和已在 HDF 文件结构中定义的地球物理参数名的关系，然后读取数据 HDF_SD_GETDATA 到内存中，关闭数据文件HDF_SD_ENDACCESS, HDF_END 。每打开一个 HDF 文件将会分配个SD_ID ，应该是相当于临时的内存号之类的。（每次的ID值不一样）IDL hdfid=hdf_sd_

11、start(MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf)% Loaded DLM: HDF. IDL print,hdfid 393216 IDL hdfid=hdf_sd_start(MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf)IDL print,hdfid 17170433 IDL hdfid=hdf_sd_start(MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf)IDL print,hdfid33947650 4）SD方式将已有H

12、DF文件的数据写入单个Vgroup 的 HDF文件。以读取MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf的 EOSGRID （ Vgroup ）下的PS datafield为例：fid= EOS_GD_OPEN(MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf,/READ) grid= EOS_GD_ATTACH(fid,EOSGRID ) r7 = EOS_GD_FIELDINFO (grid,PS , rank, dims, numbertype, dimlist) 名师资料总结 - - -精

13、品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 16 页 - - - - - - - - - r6 = EOS_GD_READFIELD(grid,PS ,data) k=dims pp=fltarr(dims) pp=data hdfid= hdf_sd_start( 20100531.hdf,/create) varid= hdf_sd_create(hdfid,PSD ,k,/DFNT_FLOAT32) dimid= hdf_sd_dimgetid( varid , 0) hdf_sd_di

14、mset,dimid,name=xdimdimid= hdf_sd_dimgetid(varid,1) hdf_sd_dimset,dimid,name=ydimdimid= hdf_sd_dimgetid(varid,2) hdf_sd_dimset,dimid,name=timehdf_sd_adddata,varid,data hdf_sd_attrset,varid,qym , IDL exampleshdf_sd_attrset,hdfid,creation_data, systime () hdf_sd_endaccess,varid hdf_sd_end ,hdfid 此程序是将

15、PS中的数据写入到新建的20100531.hdf文件的 PSD datafield中，在 HDFview 中的效果：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 16 页 - - - - - - - - - 如果在打开它们的时候调整它们的维度选择，以图形方式打开：注意： 1.在 HDFview 中自己添加datafield 在 IDL 程序中识别不了。2HDFview 中不能删去元素。利用 GD 方式进行读写1 )多个 Vgroup( 由 gridID 标识 )打开方法

16、的探究1. 读取 Vgroup 相关信息A相关信息： Result = EOS_GD_GRIDINFO( gridID , xdimsize, ydimsize, upleft, lowright )- This function returns the number of rows, columns and the location, in meters, of the upper left and lower right corners of the grid image. BVgroup 数目： Result = EOS_GD_INQGRID( filename, gridlist ,

17、LENGTH= variable ) C直接从filename 和 gridname 读取相关信息：Result = EOS_GD_QUERY( Filename, GridName , Info) 2.读取某个Vgroup 下某个属性的相关东西A值： Result = EOS_GD_READATTR( gridID , attrname, datbuf)值将 datbuf 中，Returns 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 16 页 - - - - -

18、- - - - SUCCEED(0) if successful and FAIL( 1) otherwise. B 相 关 信 息 ： Result = EOS_GD_A TTRINFO( gridID , attrname, numbertype, count)Attribute name (string). A named variable that will contain the number type (long) of an attribute. Returns SUCCEED (0) if successful and FAIL ( 1) otherwise. C属性数目：Re

19、sult = EOS_GD_INQA TTRS( gridID , attrlist , LENGTH= variable )3.读取某个Vgroup 下 dataset的相关信息A相关信息： Result = EOS_GD_FIELDINFO( gridID , fieldname, rank, dims, numbertype,dimlist )- This function retrieves information on a specific data field. Bdataset数目： Result = EOS_GD_INQFIELDS(gridID , fieldlist , r

20、ank, numbertype)C. 值 ： Result= EOS_GD_READFIELD(gridID , fieldname, buffer, EDGE= array , START= array , STRIDE= array ) 4下面以打开MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf 分析相关datafields 和attributes 为例proanalysisHDF; 根据文件名和Vgroup 名获取信息r1 = EOS_GD_QUERY(MERRA300.prod.assim.inst6_3d_ana_Nv.2010053

21、1.hdf,$ EOSGRID,Info) print, info=,info ; 根据文件名获取Vgroup 个数信息 ( 好像有些识别不了)-r2 = EOS_GD_INQGRID( MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf, gridlist , LENGTH=length) print,gridlist,length ; 打开一个确定的Vgroup;open the filefid= EOS_GD_OPEN(MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf,/READ) ;get t

22、he gridgrid= EOS_GD_ATTACH(fid,EOSGRID ) ; 读取属性数目r3 = EOS_GD_INQATTRS( grid, attrlist, LENGTH=length1) print,attrlist,length1 ; 读取 _FV_U属性相关信息和值r4 = EOS_GD_ATTRINFO(grid,_FV_U , numbertype, count) r5 = EOS_GD_READATTR(grid,_FV_U , datbuf) print,numbertype, count,datbuf ; 读取 datafield数目r6 = EOS_GD_IN

23、QFIELDS (grid, fieldlist, rank, numbertype) print,fieldlist, rank, numbertype 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 16 页 - - - - - - - - - ; 读取名为 PS的datafield值和相关信息r7 = EOS_GD_FIELDINFO (grid,PS , rank, dims, numbertype, dimlist) r6 = EOS_GD_READFIELD(

24、grid,PS ,data) print,rank, dims, numbertype, dimlist end 运行结果：info= missing_value TIME,Height 4 72 PS,DELP,T,U,V,QV,O3,XDim,YDim,Height,Time 3 4 4 4 4 4 4 1 1 1 1 5 5 5 5 5 5 5 6 6 6 6 0 0.00000000 0.00000000 0.00000000 0.00000000 0.00000000 0.00000000 0.00000000 0.00000000 0.00000000 0.00000000 0.0

25、0000000 0.00000000 0.00000000 0 -1 1.8000000e+008 -90000000. -1.8000000e+008 90000000. 540 361 1 2 -1 -1 11 -1 2 0 EOSGRID 7 missing_value 13 5 4 1.00000e+015 0.000000 0.000000 0.000000 PS,DELP,T,U,V,QV,O3,XDim,YDim,Height,Time 3 4 4 4 4 4 4 1 1 1 1 5 5 5 5 5 5 5 6 6 6 6 3 540 361 4 5XDim,YDim,TIME

26、其 中 绿 色 字 体 标 识 的 是 ： 直 接 从 filename和gridname读 取 相 关 信 息 ： Result = EOS_GD_QUERY( Filename, GridName, Info)中 Info的值，参数解释如下：Field IDL Data Type Description ATTRIBUTES String array Array of attribute names 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 16 页 - - -

27、 - - - - - - DIMENSION_NAMES String array Names of dimensions DIMENSION_SIZES Long array Sizes of dimensions FIELD_NAMES String array Names of fields FIELD_RANKS Long array Ranks (dimensions) of fields FIELD_TYPES Long array IDL types of fields GCTP_PROJECTION Long GCTP projection code GCTP_PROJECTI

28、ON_PARM Double array GCTP projection parameters GCTP_SPHEROID Long GCTP spheroid code GCTP_ZONE Long GCTP zone code (for UTM projection) IMAGE_LOWRIGHT Double2 Location of lower right corner (meters) IMAGE_UPLEFT Double2 Location of upper left corner (meters) IMAGE_X_DIM Long Number of columns in gr

29、id image IMAGE_Y_DIM Long Number of rows in grid image NUM_ATTRIBUTES Long Number of attributes NUM_DIMS Long Number of dimensions NUM_IDX_MAPS Long Number of indexed dimension mapping entries NUM_MAPS Long Number of dimension mapping entries NUM_FIELDS Long Number of fields NUM_GEO_FIELDS Long Numb

30、er of geolocation field entries ORIGIN_CODE Long Origin code PIX_REG_CODE Long Pixel registration code 附： EOSGRID 在 HDFview 中结构图名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 9 页，共 16 页 - - - - - - - - - 2） 多个 Vgroup 下的添加HDF 文件 -现在有问题;file=filepath(ctscan.dat,subdir=

31、examples/data);openr,lun,file,/get_lun;data=bytarr(256,256);readu,lun,data;free_lun,lun fid = EOS_GD_OPEN(GDQ.hdf , /CREATE) help ,fid upleftpt=fltarr(2) lowrightpt=fltarr(2) upleftpt0= 10584.50041dupleftpt1= 3322395.95445dlowrightpt0= 813931.10959dlowrightpt1= 214162.53278dxdimsize= 120ydimsize= 20

32、0grid = EOS_GD_CREATE(fid,WHO, xdimsize, ydimsize, upleftpt, lowrightpt) help ,grid status = EOS_GD_DETACH(grid) grid1 = EOS_GD_ATTACH(fid,WHO) s1 = EOS_GD_DEFDIM(grid1, YDim , 2) s2 = EOS_GD_DEFDIM(grid1, XDim , 2) print,s1,s2 f32 = 3.14s4 = EOS_GD_WRITEATTR(grid1, ScalarFloat, f32) help ,s4 名师资料总结

33、 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 10 页，共 16 页 - - - - - - - - - s3 = EOS_GD_DEFFIELD(grid1, Temperature, YDim,XDim , 5) help ,s3 ;temperature=indgen(2,2);s2 = EOS_GD_WRITEFIELD(grid, Temperature, temperature) r6= eos_gd_detach (grid1) help ,r6 r7= eos_gd_close

34、(fid) help ,r7 参考网址：http:/hdfeos.org/forums/index.phphttp:/hdfeos.org/forums/archive/index.php?t-339.html问题： 1.定义的 Vgroup 显示成功了，但是在HDFview 中看不了（）2 . EOS_GD_DEFFIELD 总是定义不成功（）3.3 写入和读出无格式二进制文件，并利用IDL 的一个 demo 实现 3维可视化1.注意这里是用writeu 进行写入，写入的是二进制，如果用printf 写入，那就是ASCII 码。probecomedathdfid= hdf_sd_start(

35、 MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf) index = hdf_sd_nametoindex(hdfid,PS ) if (index lt0) then $ message, SDS was not found: + varname ;- Select and read the SDSvarid = hdf_sd_select(hdfid, index) hdf_sd_getdata, varid, data hdf_sd_endaccess, varid help ,data ;data=dist(10,100);data=li

36、ndgen(10,100)openw,lun,today.dat,/get_lun writeu,lun,data free_lun,lun end 2.注意 writeu对应 readu，printf 对应 readf，分别是二进制和ASCII 的写入和读取protest名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 11 页，共 16 页 - - - - - - - - - data_file = FILEPATH ( today.dat, $ SUBDIRECTORY= exa

37、mples, data) ; Import elevation data.dem_data = fltARR (540, 361, 4) OPENR , unit, data_file, /GET_LUN help ,unit READu , unit, dem_data FREE_LUN , unit ; Increase size of data for visibility.;dem_data = CONGRID(dem_data, 128,128, /INTERP);loadct,1;tvscl,dem_data;dem_data=median(dem_data,4);shade_su

38、rf,dem_datahelp ,dem_data ;z=dem_data0:255,0:255,1;shade_surf,zprint,dem_data 0: 3, 0: 3, 0: 3 ;print,dem_dataEnd 注意：1 由于writeu是以byte 为单位写入，所以最多只能8 个字符，也就是说如果出现6334782.234 将会出现截断：6334782.，所以最好在writeu 之前进行数据的处理。2 如果要保留精度的话也可以通过printf 和 readf 方式来实现， 在写入和读出时定义format数据格式。写入测试结果：% Compiled module: BECOME

39、DAT. % Compiled module: BECOMEDAT. % Loaded DLM: HDF. DATA FLOAT = Array540, 361, 4 67433.4 67433.4 67433.4 67433.4 66409.4 66425.4 66441.4 66473.4 65241.4 65273.4 65289.4 65321.4 64441.4 64441.4 64441.4 64457.4 67419.0 67419.0 67419.0 67419.0 66411.0 66427.0 66443.0 66459.0 65227.0 65243.0 65275.0

40、65307.0 64379.0 64379.0 64395.0 64395.0 67248.2 67248.2 67248.2 67248.2 66256.2 66272.2 66288.2 66304.2 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 12 页，共 16 页 - - - - - - - - - 65088.2 65120.2 65136.2 65168.2 64320.2 64320.2 64320.2 64336.2 67351.0 67351.0 67351.

41、0 67351.0 66343.0 66359.0 66375.0 66391.0 65159.0 65191.0 65207.0 65239.0 64359.0 64359.0 64359.0 64375.0 读出测试结果：% Compiled module: TEST. % Compiled module: TEST. UNIT LONG = 100 DEM_DATA FLOAT = Array540, 361, 4 67433.4 67433.4 67433.4 67433.4 66409.4 66425.4 66441.4 66473.4 65241.4 65273.4 65289.4

42、 65321.4 64441.4 64441.4 64441.4 64457.4 67419.0 67419.0 67419.0 67419.0 66411.0 66427.0 66443.0 66459.0 65227.0 65243.0 65275.0 65307.0 64379.0 64379.0 64395.0 64395.0 67248.2 67248.2 67248.2 67248.2 66256.2 66272.2 66288.2 66304.2 65088.2 65120.2 65136.2 65168.2 64320.2 64320.2 64320.2 64336.2 673

43、51.0 67351.0 67351.0 67351.0 66343.0 66359.0 66375.0 66391.0 65159.0 65191.0 65207.0 65239.0 64359.0 64359.0 64359.0 64375.0 因 为 它 的 一 个demo有 一 些 图 像 数 据 格 式 和 大 小 方 面 的 限 制 ， 所 以 根 据MERRA300.prod.assim.inst6_3d_ana_Nv.20100531.hdf中的 PS datafield中的一部分的数据，调用它的源程序，显示出来的图像如图所示：这个只是南美洲那块的，关于颜色深浅所对应的物理意义

44、也不是很明确，还需要做适应我们自己的可视化程序。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 13 页，共 16 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 14 页，共 16 页 - - - - - - - - - 4. 总结1目前可以实现基于SD 方式的数据读写 （包括将ASCII ，二进制数据写入HDF 文件，从 HDF

45、文件中读出数据写入到ASCII 码和二进制文件中.dat 文件 ），如果数据不是很复杂， SD 方式能够满足要求。2对于 GD 方式的写入还存在一些问题。问题详见3.2. 3目标还是先实现自己的三维立体可视化程序（包括三维GUI 界面， 360 度视角，数据分析等等） 下面同样是利用demo 的接口实现的 cereb.dat文件的二维三维对比：名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 15 页，共 16 页 - - - - - - - - - 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 16 页，共 16 页 - - - - - - - - -