数字音乐学研究综述

来源:用户上传      作者:杨媛

　　【摘要】数字音乐学是数字时代音乐研究的重要发展方向。本文针对数字音乐学的发展历史、学科范围及研究现状进行了概况介绍，并从音乐表示研究、研究数据集建设、相关技术工具和音乐研究应用等方面对数字音乐学研究内容进行了系统的分析阐述。本文为研究者提供了数字音乐学的知识地图和相关研究实践所需的资源、工具和方法参考。
　　【关键词】数字音乐学;数字人文;数据集;音乐表示;音乐信息检索
　　【中图分类号】J623.3                      【文献标识码】A                      【文章编号】1002-767X（2020）01-0004-02
　　【本文著录格式】杨媛.数字音乐学研究综述[J].北方音乐，2020，01（02）：4-5，14.
　　引言
　　进入21世纪，计算机、数字、网络、人工智能等技术快速发展，各学科研究数据及数字化研究资料总量呈指数性增长，这些因素推动了人文学科向“数据密集型研究”为主要特征的科学研究的第四范式升级。在此背景下，数字、网络、语义网、人工智能、可视化、虚拟现实等技术和计算的方法深入应用于传统人文研究与教学，数字人文（Digital Humanities，DH）研究热潮自此兴起。“数字音乐学”（Digital Musicology，DM）作为DH的一个重要研究分支，为音乐研究提供了全新的研究方法和研究视角。
　　在我国，虽有关于音乐研究新方法、新技术的介绍或研究，但遗憾的是其缺乏E-Science背景下的整体定义和系统分析。另外，受技术、基础设施建设和跨學科交流不足等因素影响，国外DM的发展并未引起国内学者的充分关注。所以，本文希望通过对DM发展历史、研究内容的系统阐述，能够增进国内学者对DM的认识，为相关研究提供实践参考，助力我国DM研究发展。
　　一、概述
　　DH是20世纪40年代末人文计算（Humanities Computing，HC）实践的发展延伸，21世纪初，当“人文计算”已无法全面、准确描述领域研究内容与方法时，“数字人文”更名进程迅速开启并完成。
　　与之类似的是，“数字音乐学”的命名也是对音乐学领域中涉及计算机、数字技术的研究内容的重新梳理与定位。其实，早在20世纪50年代就出现了对音乐进行建模计算及模拟研究的音乐计算（Computational Musicology，CM）。最早的CM会在没有计算机辅助的环境下使用统计和数学的方法进行音乐分析，随着计算机数字技术与音乐学科交叉领域的不断扩展，到90年代，CM的研究内容已经包括了音乐理论分析、音乐机器可读格式编码和音乐数据库建设三大部分，远远超越了利用计算的手段对音乐理论进行研究的范畴。21世纪初，伴随着DH更名进程，“数字音乐学”这一称谓也获得了越来越广泛的认同和使用。2015年，在国际音乐图书馆、档案和文献协会下设国际音乐学学会 （IAML/IMS）召开的 “数字时代中的音乐研究”主题会议中宣布“DM己成为主流音乐学的一部分，生成了音乐研究的一个分支。”
　　目前，《Journal Of New Music Research》《Computer in Music Research》《Journal Of Mathematics And Music》等音乐研究期刊已成为DM研究成果的重要发布平台。斯坦福大学、伦敦玛丽女王大学、麦吉尔大学等纷纷开设了计算机辅助音乐研究的中心或实验室，从音频信息处理、音乐研究数据集建设、音乐资源语义化等方面对DM技术进行研究。另外，音乐学数字图书馆研讨会（DLfM）、国际音乐信息检索会议（ISMIR）、IAML/IMS等多个国际性会议都对DM背景下的数字资源建设、信息检索、知识组织等方面进行着持续关注。
　　现在，DM研究范围已涉及音乐理论、历史音乐学、认知音乐学、民族音乐学和与表演实践相关的研究，还包括了各种利用计算机技术进行的音乐表示、研究数据集建设和研究工具开发的研究，学科交叉范围已扩展到计算机科学、图书情报学、认知科学、声学等领域。
　　二、音乐表示
　　对于知识、信息形式化表示的研究一直是DH的重要基础性研究，而音乐表示研究主要围绕乐谱到符号表示、音乐音频到音频特征表示这两个主题展开，研究的目的就是将乐谱提供的图像信息和音频提供的听觉信息转化为机器可读可理解的编码文件或数据，使其成为算法、程序可以直接计算、比较、分析的研究语料。
　　音乐符号表示的转换过程需先将乐谱中包含的音乐意义元素和结构进行清晰、全面的定义，然后再以ASCII或XML等计算机编码、语言进行翻译转录，获得音乐符号表示即乐谱编码文件。在这里，对音乐信息的分层建模、音乐概念及结构的定义和对应的计算机语法、句法规则的制定是DM研究关注的重点。Humdrum、MEI、IEEE P15999等乐谱编码规则即是此类研究的重要成果，它们已经成为基于计算方法的音乐理论分析的重要格式支持，也是基于乐谱内容检索的实现基础。
　　在将音频文件中包含的音乐信息进行形式化转换的过程中，需广泛借助音乐信息检索（MIR）技术，如利用音频特征提取技术对音频文件（mp3、wav）进行的特征分析，再如利用机器学习技术对特征数据进一步分析获得人类可认知的或音乐学定义的音乐概念。MIR可实现音高和旋律、和弦和调性、节奏和速度、结构、乐器和音色、情感、流派等信息的自动提取、分析。利用音频分析语料，研究者可通过相似性分析、特征对比等手段，在表演者、作曲家、年代、地域等不同维度中进行研究发现。另外，音频特征数据还是基于音频的内容检索（如哼鸣检索）的实现基础。目前，MEPG-7标准中全面定义了音频特征提取及描述模式标准，并提供了对应的音频分析工具，这些都为基于音频的DM研究提供了有力支持。 　　三、研究数据、工具及技术
　　乐谱编码标准和MIR的发展推动了音乐研究数据集建设。在音乐符号表示方面，大量项目借助乐谱光学识别（OMR）技术对乐谱进行编码转录，如鲁特琴音乐电子语料库（ECOLM）、乐谱搜索分析单一接口项目（SIMSSA），它们都借助了OMR软件，对乐谱进行半自动编码（需人工校验），建成支持全文检索与分析的音乐符号表示数据集;在乐谱分析工具方面，Humdrum、Muxic21是两个较为常用的命令行工具，可实现乐句、旋律和节奏模式等音乐概念的分析定位。ELVIS项目在Muxic21和Pandas基础上开发出VIS软件框架（Python包），可更为灵活、简便地实现针对乐谱编码文件的分析程序编写，其对和声、旋律音程的表示方法在基于语料分析的音乐研究中起到了良好的示范作用。
　　在基于音频的数据集建设方面，已有马祖卡数据集、百万歌曲数据集（Million Song Dataset）等多个音频特征数据集，可为研究者提供包括调（key）、音符起始点（note onset）、速度（tempo）等基础信息。另外，还有一些数据集在音频特征数据基础上又进行了音乐概念标注。如SALAMI项目在对35万条表演音频进行特征分析后，又利用机器学习技术对曲式分析算法进行有监督的学习训练，并将最佳算法应用于特征数据的处理中，最后完成例如ABA 或 ABCB’A的曲式结构标注。目前，还有大量音频分析工具，可使研究者自主完成音频文件标注、实时数据获取、特征提取、模式识别和机器学习、音频特征或音频集合特征可视化等分析研究任务。
　　DM数据集的主要内容包括乐谱编码数据、音频特征数据，还有音乐资料、文献相关的结构性数据。在语义技术影响下，DM更关注于通过制定音乐领域本体和词表组织领域知识，借助RDF、OWL、SPAQL等语义网技术，将各类数据转化为RDF格式，相關实体、概念、属性相互关联，最终以知识图谱的形式完成知识网络的构建，MusicBrainz、BBC Music、MySpace等开放关联数据（LOD）方式发布的数据集是此类研究的代表。
　　四、音乐研究应用
　　研究对像的数据化、语义化和大量分析工具的出现为音乐研究进入数据密集型研究阶段创造了条件。DM的研究思想及方法应用到了音乐研究的各个领域：①在音乐理论分析（music theory and analysis）方面，DM围绕着基本音乐理论、术语（如音阶、和弦、调性等）的重新定义展开，如何让音乐理论概念与音乐作品的具体计算分析过程建立关联是其研究核心。如基于节拍光谱（beat spectrum）的节奏分析研究，利用编码语料库和机器学习技术对申克分析（Schenkerian analysis）理论进行的准确性分析等;②在历史音乐学（historical musicology）方面，各类音乐资料的机读格式升级全面展开，以音乐研究数据为基础，结合历史、地域、文化等大数据信息进行的数据驱动式研究为学者提供了更为广泛的研究素材和全新的研究视角;③在民族音乐学领域，MIR技术广泛应用于民歌的相似性分析、分类、溯源。与传统民族音乐学研究相比，能够集成更为丰富的语料，处理更为复杂的信息是DM的特点和优势。如将音高、乐曲整体旋律结构和乐句结构信息进行综合分析处理的民歌相似性计算模型研究，还有基于大量不同地域的民歌语料库的民歌比较研究;④在认知音乐学中，DM的研究方法深度应用于人对音乐感知的模拟分析中。如计算机建模结合大脑扫描方法解释了认知过程和记忆是如何在人类大脑中发生的，以及这些过程和记忆如何影响我们的音乐体验和演奏。认知音乐学对音乐理论与感知相关性的研究成果反向推动了DM技术发展，许多认知音乐结构的计算方法被应于MIR;⑤在音乐表演研究中，DM将音乐表演过程中的参数作为研究对象，其中包含了音量、演奏速度等乐谱不能涵盖的信息，为表演实践研究提供了新的研究维度。例如，就演奏者对乐曲的理解分析是否会对其最终演奏效果产生影响这一问题，DM提供了量化研究的技术与方法。再如，尼古拉斯·库克教授利用马祖卡数据集对乔伊斯·哈托唱片剽窃问题的权威研究。
　　DM在数据、工具、系统平台等方面的研究成果促进着音乐领域数字人文基础设施建设的日益完善，在此背景下，以数据为基础的形式化的音乐理论研究及表演实践研究日渐丰富，这些成果反向促进了DM技术和方法的升级，DM正进入良性互动的加速发展时期。
　　五、总结
　　DM将音乐研究素材从包含不完全音乐信息的乐谱升级为包含完全信息的音频，将研究方法从小规模的样本分析升级为大数据量级的统计研究分析，将算法、工具引入研究过程深度替代了人工，这些都推动了音乐研究的转型升级。DM对音乐研究者的知识结构提出了挑战，研究者在提升自身认知的同时，更要加强与计算机技术、图书情报等领域学者的交流合作，实现知识、资源、技术的紧密结合，才能在DM的研究与实践中获得成功。
　　参考文献
　　[1] Coutinho，E.，Gimenes，M.，Martins，J.M.，Miranda，E.R.Computational Musicology：An Artificial Life Approach[P]. Artificial intelligence，2005.epia 2005.portuguese conference on，2005.
　　[2] Inskip C.Digital Musicology：Mission Accomplished？[C]. 2015 IAML/IMS Congress：Music Research in the Digital Age， 2015.
　　[3] Cook N.Towards the compleat musicologist？Invited talk[C].Sixth International Conference on Music Information Retrieval.2005. 　　[4] Antila C.VIS Music Analysis Framework[EB/OL]. [2019-09-15].https：//vis-framework.readthedocs.io/en/v3.0.5/.
　　[5] About SALAMI Introduction and Background[EB/OL].[2019-09-15].https：//ddmal.music.mcgill.ca/research/SALAMI/background.
　　[6] Lidy T.IFS mir group Webservices[EB/OL].[2019-09-15].http：//www.ifs.tuwien.ac.at/mir/webservice/.
　　[7] Sonic Visualiser[EB/OL].[2019-09-15].https：//www.sonicvisualiser.org/.
　　[8] Foote J，Uchihashi S.The beat spectrum：A new approach to rhythm analysis[C]//IEEE International Conference on Multimedia and Expo，2001.ICME 2001.IEEE，2001：881-884.
　　[9] Kirlin P，Jensen D.Learning to Uncover Deep Musical Structure[C]//Twenty-Ninth AAAI Conference on Artificial Intelligence.2015.
　　[10] Tuppen S，Rose S，Drosopoulou L. Library catalogue records as a research resource： introducing’a big data history of music’[J].Fontes Artis Musicae，2016：67-88.
　　[11] Van Kranenburg P，Garbers J，Volk A，et al.Collaboration perspectives for folk song research and music information retrieval：The indispensable role of computational musicology[J]. jims，2010，2009：30.
　　[12] Juhász Z.A systematic comparison of different European folk music traditions using self-organizing maps[J]. Journal of New Music Research，2006，35（2）：95-112.
　　[13] Haumann N T.An Introduction to Cognitive Musicology：Historical-Scientific Presuppositions in the Psychology of Music[M].Danish Musicology Online.2015.
　　[14] Gingras B，McAdams S，Schubert P，et al.The Performer as Analyst.A Case Study of JS Bach’s Dorian Fugue BWV 538[M].na，2008.
　　[15] Cook N，Sapp C.Purely coincidental？joyce hatto and chopin’s mazurkas[J].Royal Holloway，Univ. of London， London，UK，2007.
　　作者簡介：杨媛（1984—），女，汉族，天津人，硕士，天津音乐学院图书馆，馆员，科员，研究方向：数字人文、数字音乐学。
转载注明来源:https://www.xzbu.com/1/view-15175139.htm