Category: 研究/Research
-
ACARS电报采集尝试
这个学期初,随着adsb.im镜像更新引入了ACARS电报模块,加之实验室供电问题,本人将校内一个ADSB设备撤掉,将其硬件用来尝试电报的接收。这是因为接收电报并非在ADSB的1090MHz频率,而是在以131.450MHz为主(也有126.475和136.975备用频率供频道拥挤时使用)的频率上,因此需要一个独立的SDR来接收。在树莓派上用电视棒接收,还面临着USB接口无法直接连接多个设备的问题。虽然有四个USB接口,但是距离太近且电视棒尺寸过大,所以为了不影响已有的ADSB接收,还需要一根USB延长线。软件层面上,默认的数据写入路径在/run/acars_data/messages.db,且为七天滚动覆盖,因此在不作额外配置的情况下纯手工拷贝该文件还会受到太忙忘记带来的丢失和拷贝太频繁导致的重复问题。 概况 经整理,自9月19日以来,到1月2日,本人保存下来的数据只覆盖在97个UTC日历天,未经合并有26万余条,经过初步合并去除因拷贝带来的重复条目后有181552条。之所以说是初步去重,是因为有些电文在发送时也会重复多次发送,现阶段尚未考虑此类重复。这18万条消息中,包含了约8万条在校内接收的消息。由于ACARS消息在不同飞行阶段有较大差异,因此这两部分数据的数量、类型、内容因为接收地点不同而差异很大。所谓数量,在校内北向只接收了105小时,主要集中在10月14到15日、17到20日这几天,而数据量却占了总数的将近一半。 这部分数据中,总共有来自96个航司的2842个航班号、来自35个国家的2898个不同注册号。这两个数字的接近并非意味着不同的航空器担当不同的航班号,而是一架飞机担当一个航班链上的多个航班号,同时一个航班号在不同日期由不同飞机担当。这97个日历天当中,最稳定的一条是由B-5288在10月27日换季后到12月25日期间担当的8L9643(38天)、8L9679(36天)、8L9680(35天)、8L9644(32天)。相反,以出现天数最多的川航B-8680来说,它在90个日历天中执行了96个不同的航班号,其中只有3U3901/2 (24天)、3U6581/2 (11天)较为集中,超过了10次。 主要报文标签 随ACARS电报一同发送的有一个标签,是一个根据内容进行分类的标志,但由于缺乏统一的标准,飞机与航司间的电报标签比较混乱。最多的标签是36%表示内容为空(No Information to Transmit)的_d,其次是32%包含多种不同内容和性质的Message From/To Terminal (H1),再次7%的Q0与空内容类似,但其类似于握手消息,用于链路测试(ACARS Link Test)。标签14紧随其后,占据了4%的报文,虽然是General Aviation Free Text,但在国内航司以位置报和OOOI报为主,且格式各不相同。其中,位置状态报以3N01 POSRPT开头的来自山东航空(SC),以PRESENT POSITION REPORT开头的来自川航,以POS\n开头的来自众多不同航司;OOOI报有南航(CZ)、俄航(SU)的滑入,东航(MU)、联航(KN)的离地;唯有个别航司用来发送自由文本,如青岛航空(QW)用来发送舱单请求。 另外一些位置报则放在16标签(General Aviation Weather Request)下,与一些EN01(或02、03)开头的川航舱单混在一起。这些位置报的风格仍有不同,有些简洁、有些丰富。涉及的航司以成都(EU)、华夏(G5)、多彩贵州(GY)、青岛(QW)为主,还有九元(AQ)、奥凯(BK)、瑞利(DR)及诸多国内外航司。还有一些位置报放在11标签(In Range Arrival Report)下,主要来自东航(MU)和春秋(9C),与一些青岛航空(QW)的OOOI报文混合。另有以南航(CZ)为主、兼有重庆航(OQ)、中州航(I9)的以POX开头的位置报,与泰国国际(TG)的不同格式的位置报、山东航的回复收到报、东航的NOTAM请求报混合在18标签(General Aviation Weather Report)下。国航的位置(开头POS)和OOOI报(还包含CHK, CLD, DIV, ETA, RTN等特殊状态及EDP REPORT)全都混合在一个没有定义的10标签下,与国泰(CX)包含METAR和舱单的上行自由文本混合。 其他报文标签 与位置相关但不同的还有5054条(2.8%)气象报文,应当是航空气象相关机构规定的AIREP体系要求的。可由开头的02A 02D 02E区分爬升、下降、巡航阶段,因为不同阶段所规定的报告频率不同。随后的文本则表示日期、起讫点、观测坐标及高度,以及具体的气象参数。响应并参与该报告制度较多的有川航(3U)、厦航(MF)、河北航(NS)。 再次有信息价值但重复较多的是4477条A9标签的D-ATIS通播报文,其中国内航班的服务基本均由北京(BJSATYA)提供。对于国际地区航班,最多的是香港(HKGATYA)向香港和美国飞机提供香港机场服务,河内(HANATXA)、仁川(ICNDLXA)、福冈(FUKDLYA)、新加坡(SINCAYA)提供各自国家的D-ATIS,个别航司如川航、春秋、国航也设有自行提供的泰国机场的服务(ATS3UXA, ATS9CXA, ATSCAXA)。与之对应的是1463条B9标签的请求报文,格式为/XXXX.TI2/nnnXXXXDffff,其中XXXX为机场四字代码,TI2表示服务类型和版本,nnn表示每行的字符数,与航电设备的型号尺寸有关,D是方向,可以取进场或离场,最后ffff是由前边报文内容得出的四位校验值,相同请求报文的值也相同。 单报文标签分类到此还没有完全,仅将相对较多的类型进行记录。后续还会继续更新其他报文标签和格式,以便最终实现位置类信息的提取和地图可视化、信息类(AIREP、METAR、D-ATIS等气象报文)和事件类(OOOI、PDC等重要事件)报文的地图及时序可视化。
-
ADS-B flight trajectory capture attempts
title_zh: ADS-B航迹采集尝试 (English version below) 航班追踪是很好的公民科学项目,刚好也和我的研究专长兴趣非常相符。在本科毕设指导评审和自己研究立项申请中,我都很希望可以延续以往车辆和行人轨迹数据分析的研究,同时与所在单位的教学科研方向实质性地紧密结合。除去理论和方法研究层面的问题,最常遇到的问题要属研究区域选择了:公开数据集通常不能覆盖中国大陆地区——相比于维基和OSM大陆社群,火腿和飞友们的规则意识和社会责任感使得他们自觉不向海外传输和共享数据。研究海外区域的数据则会使得项目申请和学生答辩面临沉重致命的质疑。国内航班信息提供商缺乏方便直接的数据接口,而缺乏网页产品、主打移动应用的策略使得逆向工程难度倍增,更不用说潜在的伦理和法律风险。因而,自行采集数据成为了一条值得尝试的出路。 受到医学项目预实验范式的启发,过去一个月写项目申请期间我决定通过动手采集和观察数据寻找灵感。此前了解到用于收看电视广播的RTL2832U电路和R820T芯片是一种价格和性能都可接受又易于获取的软件无线电解决方案。而各大航班追踪网站都会同时建议搭配一个SBC以最小代价实时接收和共享数据,因而还购入了一款树莓派作为初始设备。当然,后期走通技术路线并对整套系统有基本了解之后,在笔记本上安装虚拟机的方式在不要求持续在线的场景中也完全可行且方便。 按照adsb.im网站提供的说明,我们分别在RPi和VirtualBox中烧录了带有ultrafeeder项目安装的Raspberry OS和DietPi系统镜像。这个项目由Github的sdr-enthusiasts组织维护,使用了德国爱好者wiedehopf改编的后端ADS-B解码工具readsb和前端ADS-B航迹可视化界面tar1090。这个feeder项目支持向诸多平台实时共享数据,同时支持不作任何共享以及在一个feeder实例下接入多个子feeder (称为Stage 2),满足私有数据保护和室内接收房间窗户单一面向性条件下多个天线数据的简单合并的需要。经过反复调整,在自家阳台上采用树莓派作为主机,放在另一侧窗口的旧笔记本上运行的虚拟机作为子节点,以及日常携带的工作笔记本上运行虚拟机作为在校测试的独立移动节点。截止目前,在自家两侧稳定采集将近两周,在广汉校区和天府校区测试采集各一次(共62061条记录),具体统计分析还有待进行。 粗略观察可见,广汉的训练航迹因为三教的遮挡有部分缺失,但双流北向离场倒是意料之外地好;福田能通过不同方向拼凑看到天府西跑道北向和北跑道东向离场、东西两条跑道北向进近略有缺失,机坪南端的滑行也采集到一些;高空部分在五凤溪处四通八达。 在实际调试过程中当然少不了各种问题。比如电视棒硬件实际上质量参差不齐,表现为完全收不到任何有效信号只有噪声,或者难以在指定频率持续稳定工作,似懂非懂地查阅一些资料后认为可能是tuner芯片失效,由于没有相关电路知识和工具,所以也没有拆机深究,而是只能退货重买碰运气。软件上问题虽然不多,但也值得注意。网络环境导致开源工具链中的Debian软件更新、Docker软件获取、Github软件获取较为痛苦,尤其是初始搭建点亮的过程,配置更换镜像源自是不在话下,但除了各种折腾之外采用一些非可靠可信或有登录限制的私人源引入了一些对本任务没有那么重要的供应链安全风险。另外目的不同也使得我们虽然不需要配置共享到平台的内容,但需要更改一条readsb的配置选项READSB_ENABLE_TRACES=true,可以在ultrafeeder网页管理界面右上角的Setup菜单Expert选项(http://rpi.local/expert)通过添加环境变量的方式处理。配置好后以gunzip压缩的json格式轨迹将按照ICAO24位地址16进制表示的末两位组织在默认/opt/adsb/config/ultrafeeder/globe_history目录下的traces文件夹。如果没有配置开启轨迹存盘,则该路径中只会保留用于简单回放和查看大致分布的heatmap文件夹内的ttf格式二进制存档,没有包含完整的信息,同时文件解析和格式也明确没有保障。 总之有了这些数据,以后研究和指导希望都会有更好的素材和选题。从这些数据样本出发先行开发测试算法,也为后期凭借可展示的初步结果寻求更权威完整的合作数据申请提供支撑。 English version (Partially ranslated by gemma2 via Ollama, adjusted and reviewed by myself with reference to deepseek-r1:14b via Ollama) Flight tracking is a very nice project for citizen science, which also aligns with my research expertise and interest. For undergraduate thesis…
-
在飞院获取全文文献
之前所在的单位都是研究型学校,对电子文献的保障都相当丝滑。学校和图书馆刚一入学也都提示订阅费不菲,鼓励积极使用该项权益,并且积极搭建多种校外访问方式,通过在线文档和线下活动大力推广。当然上课和研究自然也有查阅文献的内在动力。而目前在飞院,作为教学应用型学校,订阅则有着相当的缺口,使用帮助文档也相对有限,但文献也还是可以获取到一些的。 基本概念 为了本科同学理解,先明确几个电子文献相关概念。按内容性质分,数据库分为全文和文摘数据库,全文数据库包含完整的文章,是本文关注的范围,也是大家通常需要的类型;而像SCI这样的数据库属于文摘数据库,里边只有标题、作者、来源、摘要、关键字这些基本信息,并没有文章的完整内容。文摘数据库的作用在于做文献计量和分析,评估文献和期刊的重要性及其与其他文献的印证关系,当然也可以用来检索。按访问方式分,可以通过校内直接访问、校外代理访问、身份认证访问,校内访问需要使用学校的网络提供的出口IP,出版商直接匹配订购时约定的IP段,一般是保障图书馆的网络或者机位访问的最基本方式;校外代理是通过学校在校内架设一个身份认证和中转服务器作为跳板,人员在校外访问时通过验证即可转发流量被出版商认为是在校内访问;身份认证访问是通过学校和出版商合作,由学校指定用户身份判定接口,用户无需经由学校中转,直接从出版商处获得内容。按文献类型来分,有期刊、图书、会议、学位论文、标准和其他类型,从可信度和使用率上以期刊为主,是本文主要关注的范围;国内的出版商大多是大而全的综合平台,各类文献都有提供。 访问方式 在飞院,广汉的办公区和部分家属区可以直接访问,估计天府的校内wifi应该可以保障直接访问。校外代理在早些年需要在控制面板中Internet选项中设置整个操作系统的代理服务器和过滤规则,或者通过定制的浏览器实现免设置访问,但现在网上办事大厅或者所谓信息门户这类集成校内网络服务的平台,可以直接通过点击相应链接使用。飞院目前大家用手机流量或者宿舍电信网登录教务或者缴费系统也是同样方式,即在学校主页(https://www.cafuc.edu.cn/)右上角点击网上办事大厅(https://portal.cafuc.edu.cn/),登录后选择应用中心,按部门筛选网络中心或教务处负责的服务或直接搜索,即可访问“中国知网”“维普科技期刊数据库”“万方数据资源”;近期更新投用的办事大厅手机端因为适配问题直接不允许访问可能存在新的潜在不便,有待改进。身份认证方式目前飞院的IT水平暂时还不支持,期待以后加入教育网高校身份认证联盟(https://www.carsi.edu.cn/)或者自行集成开发Shibboleth这些国际认证平台(https://www.shibboleth.net/)。 期刊出版商 常见的有Elsevier (ScienceDirect)、Springer、Wiley、Taylor & Francis、ACM、IEEE、AIAA、MDPI (不推荐)。本文假定读者已经确定了所需文献的必要信息,如作者、标题、刊名、页码等。根据期刊名或者网页信息,应该可以确定该刊物由哪个出版商出版。如果不确定,由于飞院图书馆目前仅提供纸本文献的目录服务,因此可以借助一些可以公开访问的、提供电子期刊导航或类似刊物目录功能的图书馆网站判断。例如,北大图书馆(https://lib.pku.edu.cn/)信息服务菜单中全部服务选项,点击后从列表找到“电子书刊检索”功能,然后点击标题栏的“电子期刊导航”或者在搜索框上方选择“仅期刊”;西安大略大学图书馆(https://www.lib.uwo.ca/)首页的Find板块中E-Journals选项。这些目录可以直接显示出版商名称或者提供到出版商的链接,进而找到所需文献的出版商。 英文期刊全文 学校订阅 通过出版商的网站,按照DOI号或者刊物、出版年份、卷号、期号、页码来获取全文,是最为直接的办法,前提是学校订阅了有关内容。目前飞院订阅的此类数据库有ACM和AIAA的大部分内容,Springer有零星订阅,MDPI (不推荐)为免费访问,其余均未订阅。具体订阅了哪些数据库,可以在图书馆首页(https://lib.cafuc.edu.cn/)的“资源中心”栏目下“外文资源”板块查看列表。 如果没有直接订阅原出版商,下一步的思路就要看是否订阅收录了该期刊的二道贩子数据库,如飞院目前订阅的EBSCO和ProQuest数据库,订阅情况和访问地址同样在上述列表中列出。由于EBSCO是公益二手平台,可能会受到一些时效性方面的限制,但是它定价实惠,有可能有所需的全文;PQ库主营业务是国外学位论文,兼有一些期刊,也是可以一试的方式。 与此同时,被飞院列入中文资源的“超星知识发现系统”(http://www.zhizhen.com/)实质上提供部分馆藏(即飞院订阅的)电子资源检索功能,尽管准确性可能有一些问题(显示订阅了全文但其实没有访问权限),也可以用来确认所需的文献是否在上述的ACM、AIAA、Springer、EBSCO、ProQuest等订阅范围之内。如果通过上述直接获取、二道贩子两条途径都发现学校订阅没有涵盖所需内容,这个超星系统还提供一个超级实用但似乎有些小众的文献全文获取方式,“全国图书馆参考咨询服务平台”的文献传递。通过以上各种方法都找不到全文的文献,这个系统会在“获取”处提供“文献传递”功能,按提示填写必要信息留下邮箱,通常半天内会得到全文。我试过几次都是中午或者下午提出请求,晚上六七点钟收到全文,如果设备同时有学习通的登陆状态还会另存到学习通网盘。这个传递平台似乎需要在校内直接访问才有权限,但其公益互助的免费特性要比真正使用传统付费的线下文献传递(如CASHL)显然有效实用得多。 作为Taylor & Francis旗下期刊的审稿人,我还会在接受审稿时获得一个月的免费访问权限,需要用审稿邮箱注册平台登录使用。不过这一条在时间和涵盖范围方面就显得不够稳定,也不适用于学生或非审稿人,只是对本人获取全文的一种途径的记录。 外部渠道 如果以上学校提供的订阅支持都无法获得所需文献,则需要通过学校之外的方式获取。一种合规方式是通过搜索学术引擎(如Google Scholar)搜索文章标题或DOI信息,看是否有免费版本散落在互联网的共享资源中,如个人网站、大学存档、预印本等。另一种类似的合规方式是联系作者索要,这包括给通讯作者发邮件以及类似于ResearchGate的学术社交平台索要。类似的方式还有,联系你认识的其他学校的朋友,请他们在本单位图书资源使用管理规定的框架内适量帮忙下载。 此外,合规如果走投无路,最后还是可以采用盗版的方式。一个重要且便捷的来源是由哈萨克斯坦人Elbakyan发起的Sci-hub项目(https://sci-hub.se/),直接在搜索框中输入论文的DOI号、出版商链接或者标题等信息即可,可能偶尔出现域名解析或者访问不稳定的情况,而且由于持续受到各大出版商的起诉,近几年的文献可能收录完整度不高。 中文全文 上文在讨论访问方式的时候,提到飞院订阅了知网、维普、万方的数据库,这些平台基本涵盖了大部分可能用到的中文文献全文资源,界面也基本符合大家使用习惯,直接使用即可。一个可以支持的倡议是抵制知网,即如果有多个可用的文献来源则优先使用其他平台,因为知网把公共资源整合起来连年涨价贩售导致高校图书馆叫苦不迭,以及试图通过caj格式等方法阻碍文献便捷使用、向收录学位论文作者不支付授权费用或者提供优惠券形式的补偿(后两项近年来有所改善)。有些向作者收取版面费的开源期刊也有自建的官网,收录过刊内容可能比这些大平台更及时完整。此外,学位论文如果没有在知网公开,通常可以在毕业院校图书馆自建的数据库内找到,如飞院图书馆首页资源中心栏目的“特色资源”板块在学校内网上提供飞院学位论文库。
-
航路点数据整理
三月份完成基金申请之后,顺势指导整理了VHHK和CZYZ的航路点数据。来源是AIP HK (ENR 4.4)和CFS (Terminal & En-Route Data, Part C, Planning)。 四月份航路数据整理进度不彰,顺带聊聊加国的AIP。本次数据来源的CFS (Canadian Flight Supplement),封面上标明其属于AIP Canada (ICAO) Part 3 – Aerodromes (AD),这一部分的主要内容是机场概况(Aerodrome/Facility Directory),包括坐标、跑道、服务、灯光、通信频率、导航设施等信息和一幅简图。电子版PDF在线分省销售,单买一期安省价格C$16.5,但不管购买哪个省,都会附带全国的航路部分(General Pages),包含报告点和航路航线。奇怪的是,CAC (Canadian Airport Charts)是以全国一个PDF形式免费提供的,包含了中小机场的跑滑结构、大机场的滑行路线/机位等图,并没有AIP或ICAO的标识。 这次一并采购但暂时没有用上的是CAP (Canadian Air Pilot)的仪表程序(Instrument Procedure)篇,根据封面标注,它也属于AIP AD部分,包含了进近/进离场程序和机场图。最少的小机场有两个跑道端的进近图和机场图,而多伦多/皮尔逊的目录足足4页、航图超过200页。分省单期售价C$16。本次还有一份暂时没有用上的免费资料是DAH (Designated Airspace Handbook),它不属于AIP,而是由交通部以TP 1820的文号发布,含有导航台位置、定位点位置、飞行情报区/管制区/终端区等空域边界、低空航路航线、限制性空域等信息。 其实加国的AIP结构也是符合ICAO规定的总则、航路、机场三个部分的,只是关键信息处就会放上联系方式或者购买途径,而不是直接提供。除了上述提到的图之外,航路图也要单买,障碍物A型图需要联系(定制?),精密进近地形图不提供。