据行业分析师预测,2019年苹果AirPods出货量将超过5000亿台,2021年有望突破1亿台!这款发布后被人嘲笑然后成功引领市场的产品,早已成为追赶和超越的对象。耳机行业近几十年没有发生大的变化,TWS耳机的出现会让整个市场在未来有数百亿美元的增长空间。
AirPods已经成为苹果增长最快的配件产品。随着手机销量的整体下滑,每个手机厂商都在寻找自己的突破点,如何重新夺回市场先机成为了尤为重要的关键。
AirPods这款TWS耳机不仅盘活了音频市场,也成为了苹果这样的手机厂商的救命稻草。AirPods的推出:语音交互、骨骼声纹识别支付、加入eSIM独立使用等。已经成为TWS耳机的下一个战场。
TWS耳机被称为2019年消费电子市场的最大亮点。智能语音识别的加入将继续扩大TWS耳机市场蛋糕,吸引五大玩家:
运营商:中国联通和中国移动,使得独立使用耳机产品成为可能;
互联网巨头抢占入口:亚马逊、谷歌、微软、百度;
电商和支付的加入:微信,支付宝,骨声纹识别,安全支付,从手机支付到骨声纹支付的转变。
手机厂商继续加码:苹果、华为、小米、三星、索尼、OPPO、荣耀、一加、魅族,都推出了自己的耳机产品。
内容紧随其后:QQ音乐、网易音乐、喜马拉雅FM,为TWS耳机提供源源不断的活力。
市场很久没有这么热闹了,仿佛回到了智能手机爆炸初期的繁华阶段。于是,八仙漂洋过海,各取所需,各显神通。
010-350000在上一轮的智能音箱争夺战中,我们看到了以苹果、谷歌、亚马逊、百度、阿里、腾讯、小米等为代表的先头部队。在这些巨头的参与下,中小企业只能选择站队,投靠各自阵营,获取内容、流量、补贴等资源。
通过我爱音频网的分析,智能耳机的风口会比音箱的风口更凶猛,更容易打通。今天我们就来讨论一下如何抢占智能耳机的风口。
第一,TWS耳机发展迅速,苹果凭借Airpods引领市场。
IDC近日发布了2019年第一季度全球智能手机市场研究报告。数据显示,全球智能手机出货量为3.108亿部,同比下降6.6%。其中,全球出货量前六的厂商大多处于同比下滑状态,苹果甚至下降了30%以上。
010-350000与手机市场的遇冷相比,TWS蓝牙耳机正以不可思议的速度发展。根据Counterpoint的数据,2018年第四季度,AirPods的出货量占市场的60%,达到1250万台。
根据上面的Avalon,最近三年AirPods在谷歌上的峰值搜索兴趣指数为100(代表最大的搜索兴趣)。2016年峰值为10,2017年峰值为20,2018年峰值为100,同比增长500%。这个增长速度真的很让人吃惊。
010-350000可见TWS耳机的市场容量是巨大的,音响和手机厂商也加入了这个领域,势必会从这个巨大的蛋糕上切下一块。
2019年3月20日,苹果推出了全新的TWS真无线蓝牙耳机——Airpods2。这一次,主控芯片换成了全新的H1。除了无线充电,它还有一个很重要的功能,就是语音唤醒。
二、TWS耳机语音唤醒方案的实现细节
Airpods的成功源于其高品质的体验,Airpods2这次升级了语音唤醒。语音唤醒是智能语音非常重要的一部分。手机早就支持比如iPhone的Hey Siri,小米9的萧艾同学,三星galaxy S10的Hi Bixby等等。
010-350000在耳机端,大量的耳机仍然使用触摸或者按键唤醒来激活语音助手。物理触摸或点击和语音激活的区别当然不言而喻。
苹果率先支持语音唤醒,那么其他厂商是否能跟上,如何实现。需要考虑哪些技术细节?
首先,TWS耳机本地唤醒词的应用由语音识别和假唤醒处理两部分组成:
1.唤醒词的语音识别(同样适用于本地语音命令)
唤醒词识别需要前端信号处理,增加用户语音与背景语音的信噪比,使唤醒词识别在不同应用场景下获得最高的唤醒率。我们列出唤醒词识别从麦克风采集用户的语音信息数据开始,到唤醒词识别结束。
按顺序完成唤醒词识别所需的算法安排如下:
MIC(LPSD或VAD)(BF)(NS或NR)(KWD)
算法名称和参考供应商
LPSD或VAD,lpsd(低功率声音检测),VAD(语音主动检测),参考供应商DSPC,赛耐瑞;
BF,BF(波束形成)指供应商DSPC;
或NS NR、NS(噪声抑制、降噪)参考供应商DSPC;
KWD、KWD(关键词检测)指供应商Sensory、Aispeech、Nuance、Cyberon。
目前有高通:QCC512x和QCC302x,能够真正提供足够的计算能力,将上述算法集成到单个蓝牙芯片中,实现低功耗的本地唤醒字功能。
推荐、睿宇、恒轩等芯片产品搭配QuickLogic、Ambiq Apollo2、Apollo3或Lou的IA-610、IA-611智能麦克风芯片,满足高计算能力、低功耗要求下的本地唤醒词功能。
所有的算法或芯片都必须以合法的方式获得使用权和各种必要的技术支持。在这些供应商中,Quicklogic的EOS S3率先与宇恒互动的OVVP算法进行了全面的系统集成,并应用于实际的客户产品中。S3芯片内部有891个可编程逻辑单元,设计非常独特,可以满足特殊硬件接口的需要。
2.错误唤醒和错误触发唤醒词或语音命令的处理
错误唤醒或错误触发的定义:
TW耳机用户,非用户本人说出唤醒词或语音指令时,语音助手无反应或语音指令不动作。他说出唤醒词后,就可以唤醒或运行耳机用户的语音助手或语音命令。
市场上几种不同方案的描述:
2-1、基础治疗
在一般唤醒词算法组中,BF可以在一定程度上降低误唤醒率,但与声源方向有关。当两个麦克风之间的距离足够远,并且产品结构的声学结构调试得当时,DSPC的BF算法可以达到3db~6db。
详情请咨询DSPC Sensation智能科技代理商。他们拥有非常专业的声学专家和实验室,可以为TWS耳机制造商提供充分的声学设计服务。
2-2,使用vpu骨传导传感器
见华为华为FreeBuds2 Pro应用vpu(语音峰值向上)。
严格来说,vpu是采用了一种压电材料技术的单轴加速度传感器(语音拾音传感器是引用自Sonion数据表描述的高性能加速度计)(因为无法从数据表中得知相关信息,只能从同类产品中推断)。主要用于感知声带运动,是Sonion(圣阳)公司的产品。
010-350000按照-25dbv/g的输出强度线,最大带宽可以完全覆盖人声频谱从100hz到8khz的范围,整个频谱的响应并不平坦(特别是3khz~5khz正好在人声的高频段),需要后期用高频负反馈的放大器拉平。
该传感器的另一个优点是其低功耗(当VDD=1.8V时仅55ua电流)。由于输出信号是模拟的,电平不足,如果用于VAD时A/D采样的分辨率足够,就有机会做一个没有运放的VAD,让一直开着的传感器在打开麦克风之前就能感知到人声,可以达到降低功耗的效果。但由于vpu是模拟输出,需要与芯片中的A/D转换器和算法相匹配,所以还是要做的。
这种单轴骨传导加速度传感器在产品结构中的放置点需要考虑用户使用后vpu输出声音信息强度下降的补偿问题
010-350000华为Huawei FreeBuds2 pro需要支持骨声纹支付,所以需要保证可以用于声纹识别的声音。在vpu不能保证足够动态范围的情况下,声音带宽范围的放大器是不可避免的,在功耗、器件数量、组装工艺、测试难度等方面都会有相当大的增加。
加入高频负反馈放大器后,低频提升,动态范围增大。同时人体运动的低频信号也升高,vpu的自然高通滤波效果再次变差。之后加入高通滤波算法,滤除人体运动引起的传感器机械瞬态变化产生的多次谐波干扰。此外,喇叭振动在通信和音乐应用场景中的串扰问题也不得不解决。
010-350000所以从我爱音频网拆解的华为Huawei FreeBuds2 pro板确认,有运算放大器,加了一个DA14195,处理各种算法和A/D接口。该产品使用唤醒字的灵敏度约为76db(在OVVP灵敏度规格范围内)。
但是唤醒词的误唤醒处理可以达到19db~22db(在OVVP的强音隔离屏蔽的规格范围内),已经相当不错了。使用加速度骨传导传感器感知声带振动和仅使用麦克风感知用户语音的区别在于,在说唤醒词或语音指令时,音量必须更大(相差7db左右)。这家工厂设计的产品还是很有代表性的。
010-350000另外,这款产品还有几个本地语音指令。科技感十足,充分发挥了vpu的优势。不像苹果,用户说话声音要大一点,但是假唤醒处理比苹果好多了,而且没有音源方向的限制。任何方向都可以。
而vpu是用来感知用户语音,辅助安全要求高的支付功能。不知道清音语音频谱的结构缺陷是否严重影响用户体验?
采用骨传导传感器,无清音补偿,Recode会听为码,奇为变,华为为阿伟,河流为鹅,祝福为无,金钱为言。
声音结构的改变会使人工智能语音识别出现严重错误。在知乎上看到很多关于这个的抱怨。用户故意大声说无法完成支付或声纹学习,似乎觉得这个问题没有解决好。当然也有可能是Freebuds2 pro中的文字识别引擎处理不好或者某种不好造成的。
010-350000从行业角度来看,华为领先苹果几个多月开了个好头,加快了TWS耳机的智能化步伐。几十年来除了关注耳机的音质和噪音水平,更是注入了智能语音应用的亮点和活水,教育了大众,活跃了行业,让行业再次扩张,开启新的浪潮成为可能。
2-3.使用MEMS加速度计的骨传导传感器(上行链路降噪)
AirPods,采用多种手段(LPSD、BF、骨传导降噪),在“不改变用户使用习惯”的情况下,唤醒词的假唤醒效果约为7db~9db(用户身后0.5m的环境噪声比BF和ns中只有唤醒词的开发板高45db)。
AirPods支持唤醒词(本地、云端或本地手机),所有语音命令都在云端。在云端的好处是词汇弹性无限大,只要所有语义近似都可以用,识别准确率更高,抗噪能力更强,占用本地芯片资源更少。缺点是联网不可用或联网质量差时,体验会迅速变差甚至不可用,响应速度慢。
市场上010-350000加速度计,可用于上游降噪。除了压电材料制成的vpu(模拟输出)之外,ST意法半导体采用MEMS技术制成的LIS25BA(TDM接口)是目前市场上唯一的产品。LIS25BA是一款全数字产品,具有A/D和TDM接口。相关信息可从ST意法半导体获取。
虽然市面上有传感器可用,但受限于苹果强大严密的维权覆盖专利和改变上行声音数据声音结构的技术难度。目前市场上还没有流通的专门降噪算法。DSPC、Sensory、高通等知名算法都没有发出明显的噪音,但国内一些MEMS麦克风厂商和一些国内算法公司都隐约听到了噪音。
下面,就骨传导向上降噪算法的难点提出一些看法。由于技术能力和知识范围有限,请大家对谬误之处提出意见。下面简单说说骨传导和麦克风融合的上行降噪技术。
在进入正题之前,我先介绍一下肖新华在2009年提出的一篇研究生论文,让大家对后面提到的TWS耳机语音算法的技术难度有个衡量的依据:
《国防科学技术大学研究生院工程硕士学位论文:面向骨传导语音消噪算法及硬件实现技术研究》
本文以NNSC(非负稀疏编码)为降噪核心,采用AMDF(平均幅度差函数)技术的VAD算法来消除风噪、枪声和摩擦声。
这不是苹果用的降噪技术,但是可以让你初步了解骨传导降噪或者VAD。本文以人的可懂度为测量对象,以骨传导传感器感知的声带振动为主要声源,以一个传统的麦克风为噪声拾取源,通过算法做降噪处理。
但是现在可懂度不仅仅是由人来衡量,也由机器(语音识别算法)来衡量,而机器对可懂度的要求要比人高得多,因为机器对于语音识别的整体智能远不如人。
这里编制了一个对照表。以苹果的TWS耳机为参考标准,比较了如果两个完全不同的声音传感器感应到的声音信息数据与降噪后一个声音传感器感应到的声音信息数据相等,可能会面临多少问题和挑战。
010-350000这里根据上表,以叙述的方式整理问题:
1)双麦上行降噪算法技术的终极目标:只留下用户的语音,可以最大程度的消除或抑制。非用户
我声带运动发出的所有声音,但降噪处理后的上行声音信息数据必须和传统麦克风一样。
风拾取的用户的原始语音信息数据是完全相等的。
2)算法采用加速度骨传导传感,改变过去通过空气介质传导的声能,推动某种材料使之产生。
膜转化为电能,换成软骨、肌肉、皮肤介质传导声音,但算法还是用两种空气介质传导声音。
麦克风用于弥补加速度骨传导传感器无法感知清音的缺陷,气导稳定性高,变量少,多
应用对它有透彻的了解,声音通过软骨、肌肉、皮肤介质的传递与不稳定变量有关。
应用还在积累壁垒的过程中,全球应用经验最多的非苹果公司莫属。
3)下面我们列出了算法需要完成的几个等式:
-1、加速度骨传导传感器双麦克风=双麦克风
-2,(软骨、肌肉、皮肤汗液、油污、灰尘媒介传递变量)空气温度和湿度媒介传递变量=空气温度和湿度
媒介转移变量
-3、单独浊音(浊音清音)=浊音清音
-4.产品结构和耳廓结构严重影响产品结构影响=产品结构影响
-5.人体运动严重影响人体运动但不=人体运动不。
-6.人工算法用于对两种不同的材料、不同的导电介质结构、不同的响应相位和低频调制进行融合和拼接补偿。
系统=完美契合。
4)关于麦克风上行信息数据,这些信息数据用于收听、存储和传输信息,它们是具有广泛应用和再应用的声音信息数据,它们需要满足市场上现有的数千种声音应用软件和硬件的需求。
项目决策者必须谨慎,慢慢规划项目两步,然后系统地观察和
苹果公司开始研发。并于2012年9月28日提交了第13/631,716号专利,于2014年4月3日提交了第WO 2014/051969 A1号专利。Airpods于2016年9月8日上市,Airpods II于2019年3月20日上市。
这么大的龙头企业,八年积累,不要小看这个技术。更何况国内市场的这些可能的算法供应商也不可能有苹果这么长时间的积累,能否实现弯道超车还有待观察。
010-350000从这里可以合理推测,苹果在W1或者H1芯片中的上游降噪技术,可能是一个使用了最大计算能力的程序,H1芯片估计预留了部分计算能力资源,用于未来下游环境的降噪。
目前市场上的TWS耳机蓝牙芯片产品需要在低功耗的要求下满足这种算法的计算能力要求。在亚功耗的限制下,高通最高阶QCC512x的DSP需要不断努力才能实现。
5)加速度骨传导传感器增加了机械瞬态变化和环境应力老化的各种物理特性。许多声学应用信息技术和算法模型需要更系统地探索。其中,补偿清音和拼接融合两个不同传感器感知的声音信息数据所引起的声学谐波的结构变化,对现有云语音语义识别算法的可懂度影响较大。它需要仔细的测试和评估。人耳难以听到的变化对语音识别算法来说可能是致命的。
Airpods 1上市后的这几年,DSPC、Sensory等大咖算法提供商都没有下一步动作。这是一个高回报的市场,对算法的需求很大,这些供应商沉默背后的原因值得仔细思考和探讨。
7)算法需要解决非用户语音的相位失真、总谐波失真抑制、信噪比保证、噪声判断转换抑制比(纯浊音和纯清音)、算法延时、不同情绪和音量条件下骨传导音和麦克风音的自适应或权重变化曲线融合、人体运动信息的低频调制和多谐波抑制、清音和清音响应状态、降噪后声音谐波结构变化、耳机松开后音量频响包络补偿。
8)算法要解决加速度骨传导传感器感知的浊音声带运动与两个麦克风感知的浊音清音在不同情绪和音量条件下实时同步、重叠、拼接、融合而引起的谐波失真的修复、平滑、滤波或抑制问题。
9)上行降噪最重要的应用场景是在通话场景。使用骨传导和麦克风融合降噪技术,就像在高音量通话场景下,把一个扬声器的麦克风贴在扬声器上。相移不足可能会造成严重的串扰,不能只着眼于降噪。
对于器件密度极高的TWS耳机来说,应用骨传导传感器感知整个人声是最大的问题,还需要麦克风声音信息数据来补偿清音的声音缺陷信息数据。
在通话场景中关闭降噪算法或者降低融合权重,进行伪骨传导降噪或者用户可以从厂商获得苹果50%降噪功能的算法产品,但是要承担100%的侵权风险!
喇叭引起的串扰图
0)为了稳定获取用户最完整的声带运动信息数据,如何优化耳机结构设计,找到加速度骨传导传感器的位置,合理使用导声材料,单轴vpu对位置、导声材料、产品结构、运动松动、耳廓结构、制作工艺的影响远大于三轴LIS25BA,这是苹果使用三轴加速度计的可能原因。
11)使用不同音量的纯清音,如/s/、/sh/、/f/、/he /…….来自不同的人,并由两个麦克风单独拾取,比较融合后的骨传导声音信息和麦克风声音信息降噪算法的处理效果,并验证自适应权重调整的傅
所以,如果唤醒词、语音指令或者云语音识别服务器、手机语音输入法、翻译、语音转文字APP的识别效果大打折扣,在解决这个问题之前,使用亚马逊、谷歌、微软、百度、阿里、腾讯、科大讯飞语音助手的云语音识别产品,会有很大的风险。
R & amp;amp;有许多微妙的参数。d、骨传导上行降噪在实际产品成型前的制作和测试,需要较长的时间。你可以从iFixit上拆下Airpods,用大量的胶黏剂固定,这样你就可以看到它为了满足测试,保持性能指标,组装工艺的巨大难度。一款骨传导向上降噪的产品,在相关技术确定成熟的情况下,从外观策划到出货估计需要一年的时间,可能远远不够。
2-4.使用ST LIS2DW12(SPI接口)的加速度传感器(骨声纹用户语音识别)的OVVP算法
传感器选择:OVVP算法对传感器内部的噪声密度、分辨率、带宽、ODR、高低通滤波器都有一定的限制和要求,所以需要分配性价比最高的ST LIS2DW12传感器。
OVVP算法与电话声纹识别3360的比较
这是我们的客户以前提到过的一个有代表性的问题。使用OVVP算法看起来类似于在手机上使用声纹识别。何必呢?下面我们来做个对比:
1)声纹识别需要对特定的单词进行学习和训练;不使用OVVP
2)声纹识别只能局部保护用户训练的单词,OVVP全局保护每个单词。
3)声纹识别的安全级别远高于OVVP;
4)声纹识别容易受用户环境、情绪、声音嘶哑的影响,而OVVP不能;
5)声纹识别只能对用户训练的单词产生强隔离效果,而OVVP可以对每个单词进行强隔离;
6)OVVP算法使用用户现有的加速度传感器,就像声纹识别一样,不需要额外的硬件成本;
7)OVVP算法可以和双击、计步、心率等算法共存。但声纹识别与之无关;
8)声纹识别中没有伴音标记,OVVP的伴音标记可以用于两个R & ampd .延期申请;
利用音标和手机语音应用app提升用户体验;
伴随标记是加速度传感器感测到的用户说话时的声带运动。经过OVVP算法处理后,用用户所说的话生成的信息数据,最大的特点就是只有当戴耳机的用户“说话”时才会生成这些信息。当戴耳机的用户旁边的人的声音小于强语音隔离屏蔽时,就无法生成这个信息数据。我们客户的产品,强音隔离屏蔽,可以达到50cm 100db的水平。
伴音符号的用法:
伴随标记(如下)与麦克风声音数据一起通过蓝牙传输到手机。两者同步后,可以互相参考,知道用户什么时候说了什么。
很多人都用过翻译软件,尤其是Google Translate,相当好用。翻译软件选择好翻译的语言后,在说话之前,需要先按下屏幕上的麦克风按钮,然后说一句话,然后停下来等它被翻译成另一种语言,再从手机扬声器里播出来。按下屏幕上的麦克风按钮可以由伴随的声音标记来代替。
只要用户说话,就会自动按下屏幕上的麦克风按钮。当他停止说话时,他会把它翻译成另一种语言,通过扬声器播放出来。不按麦克风键翻译软件是不是更自然方便?
用户带有伴音标记的语音,可以让语音识别算法在近场拾取用户自己的语音,快速得到语音的起始点。停止点这三个重要信息可以有效优化语音识别算法的应用体验。
除了翻译软件,还有很多这样的语音应用,比如微信语音短信、录音机、语音输入法、语音助手、语言学习、手机驾驶模式、语音转文字等。
然而,与伴音标志同时存在的强隔音屏蔽使用户生活在拥挤嘈杂的环境中。语音识别算法不需要考虑远场拾音问题,可以实现最低的相互影响。当然,如果能有骨传导降低噪音的能力,那肯定是一件美好的事情,那就完美了。
010-350000附随音标可通过蓝牙发送至手机,配合麦克风信息数据,用于语音助手、自动录音、自动翻译、微信语音信息自动发送、语音输入法、驾驶模式、游戏等各种语音相关应用。
OVVP应用的相关技术:
OVVP(Own Voice Vibration Peak-up)技术在应用中坚持最大的原则,即不改变任何原有语音处理路径的信息数据参数结构,因为这些都是多年经验和技术积累的结晶,任何改变都会有机会造成不可收拾的风险,触动很多人的利益。所以我们另辟蹊径,以辅助角色为客户的TWS耳机,在人工智能语音应用区块,以最完整的专利支持零风险的。
以下是TWS耳机OVVP的操作框架图:
010-350000OVVP算法技术细节简介
1)算法涉及卡尔曼滤波、FFT窄带声谱区域分割计算和曲线拟合。为了不打扰蓝牙芯片的原厂,算法可以直接用在蓝牙芯片的应用层。通过泛化、降维、查表、不断优化降低整体延迟时间、使用内存资源、功耗和计算能力,算法用了一年多才逐渐成熟,更不用说骨传导的向上降噪了。
2)加速度传感器感测所感测的X、Y、Z三轴声带运动信息数据,其中还涉及X、Y、Z三轴信息以及互相关和归一化。
3)如何在极窄带区间的频率响应至少受到影响的情况下,有效区分和抑制加速度传感器感知的声带运动信息数据与用户自身运动引起的多次谐波和扬声器串扰。
三。各公司专利保护语音算法重点分析
苹果的专利在完整性和保护范围上是完美的。这两个专利,WO2014051969A1,201380046944.6,包含了从算法芯片的应用、解决方案、模块、产品到销售的全链条。
知名上市公司需要格外小心对待。对于提供骨传导降噪或者使用传感器的VAD应用的,需要了解是否有足够的专利进行保护或者要求对方提出规避苹果专利的具体对策,签署不侵权保证书,并给出被起诉后承担损失的承诺。项目负责人简单地询问解决方案提供商是否有任何专利问题。
另外,对于使用vpu作为VAD,当然需要查看确认华为的201811199154.2专利。需要特别提醒的是,苹果的两项专利同样涵盖了vpu。基本上耳机用的任何加速度骨传导传感器的上游降噪或VAD都包含在内。
当然,使用MEMS加速度传感器作为VAD宇恒公司的200910190129.2,201810437831.3也需要特别注意。
在专利侵权的判定中,很多人(尤其是工程师或技术人员)会很容易遇到认知误区,认为所使用的技术多于权利要求的技术特征,方法不完全相同,因此不存在侵权。
侵权的判定其实就是,只要专利证书有效合法,满足了权力要求范围内的所有技术特征或技术框架,不管上面叠加了多少技术,也不管你对这种技术或应用技能了解多久,在专利无效之前,侵权就成立了。
另外,对技术特征或技术框架的判断是相同(相同)和等价(相似)。这里的“相当”允许有一定的模糊空间。如有争议,可以从专利说明书中补充,或者从其他行业资料中举证。
以前业界很少提起专利侵权诉讼或经常败诉的原因是c
然而,整体知识产权保护环境发生了结构性变化。即使短时间内不能在法院得到胜诉判决,也能迅速切断侵权人在电商渠道的利益,损失大量商誉和市场份额。
特别是TWS耳机AirPods已经成为苹果营收增长的最重要机会,该公司将实施更严厉的方式来应对侵权。
上市公司或知名企业的项目负责人需要小心翼翼,避免对所在企业造成巨大伤害,而解决专利侵权的唯一办法就是提前布局创新,或者合法取得授权,购买专有产品,除此之外别无他法。
过去一年国内专利保护的主要变化如下:
1.2019年1月1日实施的电子商务法(41 ~45条相关法律)。
2.三十八个部门和单位联合发布了《知识产权(专利)领域严重失信主体联合惩戒办法》
合作备忘录
3.深圳经济特区知识产权保护条例(经市六届人大常委会第二十九次会议批准)
2018年12月27日通过,2019年3月1日起施行。相关文章19~27、43~46)
新增仲裁单位和诉讼法庭:个。
3-1.中国(深圳)知识产权保护中心成立于2018年12月25日
3-2.广州互联网法院于2018年7月28日在琶洲世贸中心成立
3-3.2018年9月9日,北京互联网法院成立。
四。专利侵权分析
1.苹果专利201380046944.6
利用专利摘要、专利说明书和个人音频设备的技术特征进行分析。专利中使用了一个模糊的词,骨传导拾音换能器。规范的第[0005]条末尾也提到了加速度计。这项专利适用于TWS耳机制造商。只要使用了骨传导拾音换能器(包括MEMS加速度计和vpu)并且使用了专利中20项权利要求中的一项,基本都会导致侵权。
重点是用“软性材料”填充外壳,提高声带振动产生声波的效果。这是声学研究者要特别注意的,是声学从业者最常用的手段。下图是TWS耳机厂商可能使用骨传导拾音换能器做六个功能,都在苹果专利保护范围内。
010-350000苹果专利WO2014051969A1
通过使用专利摘要和权利要求2.5中的技术特征,本专利使用了37项权利要求来主要保护VAD、噪声抑制和浊音/清音整合的应用。基本上只用加速度计(MEMS,vpu)和麦克风来满足权利要求的技术特征,其中权利要求5对麦克风阵列进行了补充。
所以看到这些权利,可以明确的说,骨传导向上降噪算法的提供者使用MEMS还是vpu加速度传感器加麦克风(无论一个还是多个)都是侵权行为。
当然,如果你不使用麦克风或加速度传感器等任何一种传感器,你就有机会躲过这项专利。更好的办法是拥有比苹果更早的专利进行保护。这个专利的长处是判断侵权非常简单,不需要找专业的鉴定单位就可以做出明确的侵权判断。
目前推测苹果有两种选择:
方法1:
翻出电商法,通过各电商平台的维权渠道投诉,侵权产品可以快速下架。判断方法是先看产品说明书或功能介绍中是否有VAD。如果有噪声抑制功能,那就看产品里有没有加速度计(MEMS或者vpu)。如果有,就是侵权。
去电商平台投诉通道,买一个侵权产品,拆开,拍照,写侵权对比书,上传。15天内,被诉商家拿不出反诉或相应的不侵权证据,侵权产品就会下架,这样既省钱又有效。
方法2:
直接从市场上取证,鉴定,去法院起诉,交溢价,封仓。
华为华为、VIVO、OPPO、联想、小米等知名品牌厂商与苹果重叠面积较大,苹果更重视。
关于华强北的市场,由于客户群与苹果不重叠,投诉主体太小,可以帮助苹果未来培养潜在客户。
这个专利非常严格,需要市场上的同行小心规避。
2.华为专利201811199154.2
通过分析专利摘要和方法专有权14和权利要求15中的技术特征,华为的专利可谓残忍。之前的系统独占权1和权利要求2-13基本都是片上处理或者算法软件,取证和鉴定比较困难,但是方法独占权14和权利要求15一样严格,容易涉及侵权。
重点是利用骨骼振动传感器控制拾音设备启动拾音。这一声明符合TWS耳机行业极其关键的低功耗要求。华为在专利说明书[0047]中提到了Sonion的骨传导传感器,就是vpu。
所以华为专利侵权很容易判断。先确定有没有vpu,再通过物理耳机测量电流来确认。可以比较说话前后电流的差异和麦克风拾音的时机。
所以估计用vpu做VAD降低功耗的方案不太容易实现。另外,本专利的权利要求2-13都是算法或功能软件。华为把这些算法或者功能软件一个个拆解成权利要求,也方便他日后利用专利维权打击对手。
3.宇恒公司专利200910190129.2
利用专利摘要和两项专有权的技术特征进行分析。加速度传感器用于感应声带、双击或计步。经算法计算后,发现(判断、比较)是否落在预设的阈值范围内,得出用户“何时发言”的判断结果,有助于决定是否将语音助手的键码或何时发言(命令字)的判断结果通过蓝牙传输到手机。
只要根据加速度传感器获得用户声带运动的VAD,就被视为“是否传输语音助手键码的参考或何时说话的判断结果”,无论其是否具有上行降噪功能,都被视为侵权。这个专利的申请时间落在2009年,是一个可以攻防一体的专利。
宇公司专利201010224769.3,201010224780。x,201010224803.7,201010230464.3,
201010243048.7、201120374763.4,包括加速度计、陀螺仪、磁强计、气压计等各种惯性传感器的应用来感知声音。应用时间为2010-2011年,可以在传感器VAD的应用中起到很好的防御作用。
对于有兴趣做骨传导上行降噪算法的团队或公司,宇恒互动有兴趣提供专利,共同研究如何利用这些专利组合找出方法。至少首先会突破苹果在中国的专利封锁,增加谈判筹码,降低自身和未来客户的风险。
宇恒公司的专利201810437831.3使用了专利摘要和权利要求16中的技术特征进行分析。使用一个或两个单轴或多轴模拟或数字加速度传感器感知声带振动和/或人体面部皮肤肌肉和肢体运动,产生VAD传感器的控制信号,无论是否使用MEMS或vpu加速度传感器,均视为侵权。
当MEMS或vpu加速度计用于VAD或上行降噪应用时,在考虑专利风险后,再看这些应用能否满足功能要求,很难实现对声音结构变化的系统全面测试。
国内外知名人工智能语音应用巨头,在了解OVVP算法的过程中,都非常强调专利规范。显然,这个问题对这类企业影响很大。
摘要
随着旗舰手机为了实现轻薄化的趋势逐渐取消3.5mm接口,续航、传输、音质、价格等痛点得到了改善,这给整个TWS耳机市场的体量带来了巨大的增长空间。
GFK数据显示,2016年无线耳机出货量仅为918万,市场规模不足20亿元。到2018年,无线耳机的出货量将同比增长41%,市场规模将达到美元
智研咨询预测,2018-2020年TWS耳机将在全球实现快速增长,出货量分别达到6500万台、1亿台和1.5亿台,年复合增长率为51.9%。预计随着无线耳机音质和功能的不断提升,以及与人工智能语音APP应用的深度拓展和连接,未来无线耳机的普及率有望继续提升。
这种巨大的销售增长空间,让每一个想进入市场的厂商都有可能抓住商机,腾飞。