数字声音_2010.ppt
数字媒体概论影视声音2022/12/182nLiuShu-Chang,Ph.DTel:8610-62283595E-mail:ResearchInterestsDigitalAudioSignalProcessingContent-basedMultimediaParsingDigitalMediaTechnologiesArtificialIntelligenceandArtificialLife2022/12/183数字媒体技术概论n本课程从数字电影、视听语言、动画制作、影视合成、数字声音、电子游戏、人机交互等侧面阐述数字媒体的概念、原理、技术和应用，让学生逐步理解数字媒体技术专业的理论与实践相结合的课程体系、掌握艺术和技术相融合的创新思维，为后续的基础课和专业课的学习奠定坚实的基础。2022/12/1842022/12/185数字音频技术制作声学数字化短时信号处理 影视声音录音技术XXX音频降噪XXX后期制作XXX音频编码XX三维渲染XXX2022/12/186What?n艺术理论n基本原理n技术制作设备使用软件操作程序实现2022/12/187How?n涉及多个领域的应用技术影视制作、信号处理、计算机编程等n实践性、科研性、艺术性团队合作听、说、读、写勤于实践2022/12/188课程项目n分组（4-5人一组）n音频制作的整个流程创意、场景、录制（同期）、降噪、后期、编码、渲染、设备使用、软件操作和程序实现分组报告+文档+作品2010.06.24之前2022/12/189平时作业n影视作品声音分析每组两部（不同类型、不同区域）n音乐作品赏析发展阶段或者不同风格（流派）n同期录音实验、后期制作实验n音频属性的认知、录音和播放n音频处理/音频编码2022/12/18102006级影视作品分析n卧虎藏龙n海上钢琴师n燃情岁月n泰坦尼克号n指环王n海角七号n狮子王n西西里的美丽传说n千与千寻n理发师陶德n学生作品n2007级两个男朋友这就是战争世界杯主题曲n2006级一个人的战争邮气冲天求职风波n2005级全民齐唱健康歌2022/12/18112022/12/1812影视声音n影视录音基础n数字声音制作基础n数字音频综合实验n摄像与录音n短片创作、集体创作2022/12/1813影视录音基础n本课程让学生在掌握影视声音的基本知识和理论、声音制作的基本方法和技巧的基础上，通过研究分析各种影视作品，运用影视录音的原理和技术，进行影视声音制作并完成满意的录音作品。n声音属性、录音设备、影视声音、电影录音、艺术构思、同期录音与后期制作、艺术欣赏、创作实践。2022/12/1814数字声音制作基础n在掌握音频信号的采样量化、短时处理的基本技术的基础之上，逐步掌握录音、降噪、混录、剪辑、压缩编码、三维回放、音频合成等的技术实现原理，并进一步了解内容分析、版权保护的概念和应用。n采样量化、短时信号处理、音频质量评价、录音与播放、音频降噪、音频编辑、音频编码、音频合成、音频水印或音频分析。2022/12/1815数字音频综合实验n本课程在已掌握的声学基础理论、音频制作流程、音频编码与合成算法的基础上，基于声音录制系统、DSP音频信号处理平台，通过系列实验，加深对理论知识的理解和应用，并进一步搭建完整的应用系统（如音频智能管理、多模式人机接口、网络音频广播、VoIP网络电话等），让学生拓展音频分析与传输方面的原理和技术。2022/12/1816n基本概念n影视声音n影视录音课程提纲2022/12/1817声音和信息2022/12/1818声音和信息nHearingconfersanevolutionaryadvantageusefulinformation,complementsvision.atadistance,inthedark,aroundcornerslistenersarehighlyadaptedtonaturalsounds(includingspeech)inmovie(space,time,mood,)FritzKreisler2022/12/1819n爱之忧伤n爱之欢乐2022/12/1820Question!Ifatreefallsintheforestandnobodyistheretohearit,willitmakeasound?Sound provided by http:/ 2022/12/1821声音和信息nReceivedsoundreflectssource(s)pluseffectofenvironment(channel)(三个要素)2022/12/1822振动(vibration)n周期性和非周期性振动n简谐振动和复杂振动振幅、周期、相位n振动频率n固有频率n共振和共鸣2022/12/1823波(wave)nTherepeatingandperiodicdisturbancethattravelsfromonelocationtootherthroughamediumn波是信息的载体n波是振动状态(方向、相位、能量)的传播n形式:机械波和电磁波n传播方向:横波和纵波2022/12/1824HearingnSoundwaveswithfrequenciesbetween20Hzand20kHzarecalledtheaudiblefrequencies.nTherangeofhumanhearingfallsroughlywithinthisrange.nIftherapidvariationsinpressureoccurbetween20-20,000times/second,soundisaudible.2022/12/1825TermsrelatedtosoundnFrequencynWavelengthnVelocityofsoundinAir:v=f where,f=frequencyinHz=wavelengthinmetervelocityofsoundinair340 m/s2022/12/1826TermsrelatedtosoundnAstheearisapressuresensitivemechanism,itismostconvenienttousepressureasthemeasureofsoundmagnitude.2022/12/1827TermsrelatedtosoundBels nSoftestsoundthatcanbeheard-2010-6Pascals.nTheloudestsoundtolerablewithoutscreaminginpain-200PascalsnTheratio=10,000,000:1(Loudestsoundis10,000,000timesthatofsoftest)nRangeisbig.Bel is a small scale2022/12/1828SoundPressureLevel(SPL)SPL(Bels)=log10(p1/p0)21 dB=1 Bel/10SPL(dB)=10 log10(p1/p0)2=20 log10(p1/p0)2022/12/1829AdditionalinformationnTheunitsofthesoundlevelaredecibels(dB).nThethresholdofhearingisabout0db,nanormalconversationisabout50dB,napolicesirenisabout120dB.nThethresholdofpainisabout120dB.nSounds louder than this can cause damage to the ear.2022/12/1830声波传播n叠加性n干涉性n反射性n折射性n衍射性n独立传播性n多普勒效应2022/12/1831人类听觉系统2022/12/1832耳廓耳廓耳廓耳廓外耳道外耳道外耳道外耳道鼓膜鼓膜鼓膜鼓膜咽鼓管咽鼓管咽鼓管咽鼓管耳蜗耳蜗耳蜗耳蜗鼓室鼓室鼓室鼓室听小骨听小骨听小骨听小骨2022/12/1833外耳道外耳道耳廓耳廓鼓膜鼓膜外耳2022/12/1834中耳组成：组成：一、鼓一、鼓 室室二、咽鼓管二、咽鼓管三、乳突窦三、乳突窦 乳突小房乳突小房2022/12/1835内耳Cochlea 声音滤波为子带、机械能量转换为电能量经听觉神经传送到大脑2022/12/1836蜗螺旋管蜗螺旋管蜗轴蜗轴耳蜗:实为蜗螺旋管环绕蜗轴约两圈半形成。蜗轴为耳蜗中央的骨松质，呈圆锥形。2022/12/1837蜗管：的切面呈三角形，有上、外和下三个壁。上壁为蜗管前庭壁（前庭膜），将前庭阶和蜗管隔开；外侧壁较厚，下壁由骨螺旋板和蜗管鼓壁（螺旋膜）组成，并与鼓阶相隔。螺旋膜又称基底膜，其上有螺旋器又称Corti器，是听觉感受器。2022/12/1838Basilar Membrane2022/12/1839声波传导2022/12/1840音高n人类听觉系统对于声音频率的感知与实际频率的高低不成线性关系，而是近似对数关系对数刻度、Koening刻度和Mel刻度n音高（或音调，pitch）是人对声波频率的主观心理量，它首先和声波频率有关，同时也取决于声音刺激的强度2022/12/1841位置共振学说n解剖发现内耳基底膜上有24000条纤维，每一条纤维与特定的频率共振，进而使临近相应毛细胞兴奋，不同部位的纤维共振时，形成对不同的音频信号分析。2022/12/1842行波学说n当声音振动中耳听骨链振动卵圆窗振动前庭阶外淋巴+基底膜上下振动，以行波方式从蜗底向蜗顶传播,同时振幅也逐渐加大,到基底膜的某一部位,振幅达到最大,以后则很快衰减。基底膜的最大振幅区为兴奋区,该部位的毛细胞受到刺激而兴奋,从而引起不同音调的感觉。蜗底的基底膜窄与高频信号共振，蜗顶的基底膜宽与低频信号共振。2022/12/1843行波学说2022/12/1844音强n声场中的某一微小区域内，因声波的传播而使得某一时刻的大气压强由p0变为p1，那么这两个气压之差pp1p0就称为该点该时刻的瞬时声压n响度（或音强）（loudness）是人耳对于声音强度反应的主观心理量。2022/12/1845等响曲线2022/12/1846对音强(响度)的辩别n主要取决于基底膜的振幅大小n与毛细胞的敏感性和背景声音有关：背景声音：环境中的一般噪音基底膜处于轻微的振动毛细胞接受新的声音刺激时敏感性下降毛细胞的敏感性：听神经中的传出纤维也可控制毛细胞的兴奋性，所以当人集中注意力听时，往往可以听到较微弱的声音。2022/12/1847生物模式识别系统n人类生物模式识别系统高效、准确、善于处理不确定问题先验知识（常识）的重要性n人类生物模式识别系统的主观性、可塑性2022/12/1848n音色：音色是由于波形和泛音的不同所带来的一个声音属性。纯音:复音:由许多纯音组成，复音的频率用组成这个复音的基音频率表示；基音:是复音中频率最低部分的声音；泛音:在一个复音中，除去基音外，所有其余的纯音都是泛音。声音媒体具有三个要素声音媒体具有三个要素2022/12/1849空间感n瞬变现象和领先效应短暂的声音最适合定位（鼓声）我们依据第一个直达声的方向来定位n视觉对声音定位的作用出画效应n三维定位：水平、垂直和纵深人类在水平面上的定位能力最强n鸡尾酒会效应2022/12/1850用以分辨听觉对象的信息n音色n基频n振幅和频率的相关变化n声像定位侏罗纪公园恐龙声音情绪）使蒙太奇的性质也起了变化，视觉上时空不统一的段落可以用实际的声音统一起来。2022/12/1859ThePowersofSoundnSoundincinemaiscategorizedintothreetypes:SpeechMusicNoise(alsocalledsoundeffects)nSometimes,asoundmaycrosscategoriesandbeambiguous2022/12/1860声音的分类n语言语言语言包括：对白、同期声和解说词。影视中的语言起到叙述客观事实、交流思想、抒发感情、发表议论、推动情节等作用，特别是能够充分表现画面中蕴含的深层次的思想意义。元音和辅音、多语言2022/12/1861语言语言n人物的对话内容单纯、集中、有中心长短不拘，简短为主生活化而不平淡乏味，幽默有情趣个性化、动作性潜台词（配合音调、语气、节奏、目光、表情、姿势、手势等传达细微心理）2022/12/1862声音的分类n音响音响音响包括环境音响和背景人声。可以同期声效果音响录制和后期录制。音响是人类重要的信息源，它具有逼真性，在影视中的地位是不可替代的。2022/12/1863n音响是除语言和音乐之外电影中所有声音的统称（动作音响、自然音响、背景音响、机械音响、特殊音响）。n人声会引起观众特别的注意而忽略画面，音响却会加强画面的作用。nClip_05音响2022/12/1864声音的分类n音乐音乐有两种音乐，一种是声源来自画面中的客观音乐，即画面中的人物直接唱出的歌曲，或是画面中乐器直接奏出的声音。另一种是声来自画面之外，为烘托画面内容而配制的主观音乐，主要作用在于表达画面内容的情绪，渲染特定的环境气氛，刻画人物内心世界等。2022/12/1865n电影音乐的类型及作用：主主题题音音乐乐（一般多次出现，用变奏、展开、重复、对比等手法表现）抒情小品抒情小品（抒发情感渲染气氛）描绘性音乐描绘性音乐（描绘动作环境）剧剧作作元元素素（加强影片节奏感，或直接参与情节发展成为内容组成部分音乐）音乐2022/12/1866nClip_04_01nClip_04_02nClip_04_032022/12/1867声音的构成n语言表意、音响表真、音乐表情，三者之间既各自展示出自身的个性特征，又要互相配合，顺畅连惯，互为呼应，来表现人物感情，环境气氛及故事发展，构成完整统一的艺术化的听觉世界。2022/12/1868声音的艺术表现n声音的空间感环境感透视感（距离感、远近感或者纵深感）方向感（方位感）n声音的运动感nClip_02、Clip_032022/12/1869声画组合n声画组合是将画面和声音这两大类信息形成整体综合处理画面和声音，使画面和声音既有各自的表现特征，又达到声音协调、配合的高度统一，最终使影视成为一种相对完美的视听综合艺术。nClip_06_01、Clip_06_022022/12/1870n基本概念n影视声音n影视录音课程提纲2022/12/1871n基本概念n影视声音n影视录音机械录音、光学录音、磁性录音、语言录音、音乐录音、音响录音、前期录音、同期录音、后期录音、混合录音、多声道录音课程提纲2022/12/1872音频的定义n音频（Audio）是声音以电子或其它方式在媒介上的一种存在形式，并非声音本身。n声音（Sound）是用来表示声学能量的术语，而音频则适用于电子信号以及磁性或光学录音（Recoding）。n音轨与声道（trackandchannel）表现声音的音频信号在媒介上的存在空间用来描述信号的路径-Mono,Stereo,2022/12/1873a.k.a.“samplewordlength,”“bitdepth”Precisionofnumbersusedformeasurement:themorebits,thehighertheresolution.Example:16bitSamplingRateHowoftenanalogsignalismeasuredSamplingResolutionsamplespersecond,HzExample:44,100Hz2022/12/18742022/12/18752022/12/18762022/12/1877摄制组的成员与职责要求摄制组的成员与职责要求n编编剧剧（撰撰稿稿）：文文字字稿稿的的创创作作者者（一一般般由由现成作品改编）现成作品改编）具有某方面的具有某方面的专业知识专业知识和一定的文学和一定的文学写作能力写作能力掌掌握握电电影影特特性性和和规规律律，善善于于运运用用视视听听造造型型来来表表达事情（应学过编导知识）达事情（应学过编导知识）2022/12/1878摄制组的成员与职责要求摄制组的成员与职责要求n导导演演：负负责责全全部部影影视视创创作作工工作作（与与制制片片主主任构成领导核心）任构成领导核心）熟练掌握熟练掌握：视觉原理（景别、镜头运用视觉原理（景别、镜头运用），），镜头组接原理镜头组接原理（蒙太奇结构（蒙太奇结构）懂专业知识懂专业知识（拍摄内容的专业）（拍摄内容的专业）有指挥专业技术人员的水准和能力有指挥专业技术人员的水准和能力有一定的讲解、表演与示范能力有一定的讲解、表演与示范能力有一定组织能力、协作能力和应变能力有一定组织能力、协作能力和应变能力2022/12/1879摄制组的成员与职责要求摄制组的成员与职责要求n制片主任制片主任（制片人）（制片人）负责经营、人员、物资、交通、出版、发行等负责经营、人员、物资、交通、出版、发行等熟悉摄制工作，有一定的管理能力与摄制经验。熟悉摄制工作，有一定的管理能力与摄制经验。n摄像摄像（可配副摄像）（可配副摄像）丰厚的视觉造型知识丰厚的视觉造型知识（构图、色彩、用光等）（构图、色彩、用光等）熟练的摄像技术熟练的摄像技术（以及现场合成技术）（以及现场合成技术）善于理解导演意图，又能发挥自己的独创性。善于理解导演意图，又能发挥自己的独创性。熟悉蒙太奇组接原理熟悉蒙太奇组接原理（摄（摄编辑）编辑）2022/12/1880摄制组的成员与职责要求摄制组的成员与职责要求n美工美工（主创之一）（主创之一）场景设计、人物造型、道具陈设的设计场景设计、人物造型、道具陈设的设计指指导导服服装装、化化妆妆、道道具具、灯灯光光、烟烟火火部部门门的的工工作。作。（例：烟火（例：烟火）组组织织参参与与绘绘图图、字字幕幕、动动画画制制作作，了了解解计计算算机机视频技术。视频技术。n灯光灯光（技术工作）（技术工作）布光的实施布光的实施（与美工摄像配合），（与美工摄像配合），安全用电。安全用电。2022/12/1881摄制组的成员与职责要求摄制组的成员与职责要求n副导演副导演（导演的助手）（导演的助手）导演的助手导演的助手（徒弟（徒弟过渡角色）过渡角色）n场记场记（导演的主要助手）（导演的主要助手）紧跟导演紧跟导演分镜头拍摄分镜头拍摄“打板打板”填写场记表填写场记表重要工作重要工作（责任心要强，由实习导演担任）（责任心要强，由实习导演担任）2022/12/1882摄制组的成员与职责要求摄制组的成员与职责要求n录像录像（纯技术工作）（纯技术工作）摄摄录录的的技技术术保保证证，调调机机，充充电电，视视、音音频频记记录录，管带。管带。n编辑编辑（剪辑、剪接：后期合成工作）（剪辑、剪接：后期合成工作）善于运用蒙太奇技巧善于运用蒙太奇技巧保证编辑点的质量保证编辑点的质量（准确、指标高）（准确、指标高）n录音录音（音频制作）（音频制作）前期、同期录音、后期配音及混录前期、同期录音、后期配音及混录2022/12/1883n道具道具（管理、置景）（管理、置景）n化妆化妆（保持人物造型的连续性）（保持人物造型的连续性）n服装服装（设计、加工、购置、租借、保管）（设计、加工、购置、租借、保管）n剧务剧务（后勤保障）（后勤保障）n摄制组的成员与职责要求摄制组的成员与职责要求2022/12/18842022/12/18852022/12/18862022/12/18872022/12/18882022/12/18892022/12/18902022/12/18912022/12/18922022/12/18932022/12/18942022/12/18952022/12/18962022/12/18972022/12/18982022/12/18992022/12/181002022/12/181012022/12/181022022/12/18103同期录音n能使演员的表情，情绪等因素和语言对白达到绝对的统一和同步状态，相对于后期配音来说更加真实、生动。n决定同期录音声音的真实感的要素很多，能让观众有身临其境的感觉，必须特别注意-声音的距离感、空间感、环境感、运动感以及方位感。2022/12/181042022/12/18105同期录音套件nRODENTG3强制向电影级别话筒nRODEBlimp防风三件套n美国SoundDevice3路调音台n加拿大Cavi3米话筒杆nSONY经典7506监听耳机n5米/10米话筒线各一根2022/12/18106实验室设备nRDENTG-2n防风三件套RDEBlimpn话筒挑杆AKARAK440n5米/10米话筒线各一根n数字录音机RolandR-442022/12/181072022/12/181082022/12/181092022/12/181102022/12/181112022/12/181122022/12/181132022/12/18114系统连接(Interconnection)n转接头插头(plug)和插口(jack)转接头2022/12/181152022/12/181162022/12/18117传声器(Microphone)n适用最广泛的一种电声器件，作用是把人声和乐器声不失真地转换成电信号，送往调音台或放大器和处理器，最后从扬声器放出来。传声器是整个音响系统的第一环节，它的质量好坏和使用是否得当，对整个系统的电声指标有着十分重要的影响。在整个音响系统各个组成部分的对比中，对音质影响最大的首先是扬声器（包括音箱），它对音质质量的影响比重达到5060%，其次是传声器，占2030%。2022/12/18118MicrophoneDiaphragmnMostmicrophoneshaveadiaphragmofsomekind(lightweightplasticcoatedwithmetalparticles)nThisvibratesinsympathywithsoundvibrations2022/12/18119传声器2022/12/18120传声器n动圈式话筒是依据电磁感应原理制成的，接受声波的膜片发生受迫振动，带动处于恒定磁场内的线圈，从而形成变化着的电信号。n电容话筒是依据接收声波的膜片构成电容，受迫振动后，其电容量发生变化从而产生变化着的电信号。2022/12/18121话筒的指向性n话筒拾取音源方向的覆盖空间可以分成圆形、心形、超心形，双指向和强指向。2022/12/18122话筒的指向性n圆形：为乐队拾音用。n心形、超心形：为语言、歌声拾音用。n双指向形：录音棚等。n强指向形：拾取一定方向的音源，而将环境噪声排斥在拾取空间之外，新闻采访常用。2022/12/18123Multi-patternmicsnSomemicrophonesallowselectionofresponsepatternnEachresponsepatterncanberepresentedasapolarresponsegraph2022/12/18124话筒的附件话筒的附件n支架、减震架：坚固、牢靠灵活、抗震2022/12/18125话筒的附件话筒的附件n防风罩：室内近距离拾音时防止声源气流对振膜的瞬间强气流冲击2022/12/18126话筒的附件话筒的附件n防雨罩：室外雨雪天使用。n话筒车n2022/12/18127n灵敏度n频率响应n指向性n非线性失真n瞬态特性n.传声器的技术特性2022/12/18128录音控制室2022/12/18129录音控制室2022/12/18130录音室2022/12/18131电影音乐录音室2022/12/18132计算机游戏音频制作2022/12/18133TypicalstudioequipmentnAudiomixer(mixingdesk)nEffectsandequipmentinracksnSpeakers(monitors)nMicrophonesnAudiocablesnComputersnKeyboard(e.g.synthesizer)nVideomonitor/TV2022/12/18134Typicalstudioequipmentn数字调音台n数字音频卡n耳机分配器n监听音箱n效果器nCD卡座一体机n话筒放大器2022/12/18135Typicalstudioequipmentn麦克风n监听耳机n防喷罩n话筒支架n谱架n话筒万向架2022/12/181362022/12/18137立体声拾音方式nX-Y制nM-S制nA/B制n仿人头制n2022/12/18138立体声原理n立体声并不等于双声道，双声道只是重现立体声的一种方式。立体声双声道立体声环绕立体声2022/12/18139双声道立体声示意图S声象I声源LRI Y s2022/12/18140n当左右扬声器发出同样强度的声音时,声压PL=PR,则=0,即声象在两扬声器中间位置n当馈入两扬声器的电压不同,即UL=UR时,声象的方位角与两扬声器信号强度的和差比值成一定关系.I 双声道立体声示意图2022/12/18141立体声拾音制式n立体声拾音是把原声场中的立体声信号变成相应的电信号。n由于双声道立体声的信息存在于左右声道的声音差别之中（如强度差、时间差、相位差），因此，要得到反映这些差别的立体声电信号，必须依靠两个或两个以上的传声器来拾取。2022/12/18142X-Y制立体声nXY制：用两个传声器一上一下（或一左一右）紧靠的组成一对，两者的主轴形成一定角度，各方向声源传到两传声器的直达声几乎没有距离差，因而只有声级差而无时间差。2022/12/18143XYS45X-Y制立体声拾音的指向性2022/12/18144I1020304010203040503060YI sYI X-Y制的声象分布图2022/12/181452022/12/18146A-B制立体声nAB制：属于时间差拾音方式，使用灵敏度和指向性完全相同的两支传声器（常用心型）彼此相距1.52米（也可减小到几十厘米，视声源排列宽度而定），位于声源前方拾音，然后分别以左右声道信号输出。2022/12/18147DABA-B制立体声拾音指向性2022/12/181482022/12/181492022/12/18150
