张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

95zz44

新智元 2019-04-08 08:46 次阅读

获取用户在虚拟屏幕上的文本输入,需要克服两个难题:首先是通过声音判断敲击的位置;其次是消除噪音干扰。剑桥大学的研究人员设计了一个AI“偷听”算法,可以通过监听手指敲击屏幕的声音窃取手机密码。

盗取密码,只要听听你敲键盘的声音就够了。

曾经,通过键盘记录程序来盗取密码就已经非常可怕了;然而,现在更骇人听闻的黑科技诞生了!

剑桥大学的研究人员设计了一个AI“偷听”算法,只需要通过监听手指敲击屏幕的声音,就能够窃取到手机密码:

论文地址:

https://arxiv.org/pdf/1903.11137.pdf

这个新颖的攻击方法的原理是将手指敲击屏幕所产生的声音,在虚拟键盘上恢复成对应的输入字符

论文作者表示:

敲击屏幕的声波可以通过设备的麦克风进行恢复,就像“听到”了手指的触摸一样,虚拟屏幕上声波的失真的这一特征便是敲击键盘的位置。因此,只需要通过内置麦克风录下声音,恶意程序就可以在用户输入时推断出对应的字符。

实验原理

针对键盘的声学攻击并不新鲜。

利用麦克风,根据键盘独特的物理特性或缺陷来识别物理按键的方法已经很成熟了,但是在虚拟键盘的识别上存在着很大的困难。因为虚拟键盘上的点击发生在同一个表面上,需要通过一些特殊的方法来确定手指敲击的位置。

剑桥大学的研究团队开发了一款app,可以复原敲击的声音,并将其与击键联系起来。该程序使用的机器学习算法是离线训练的,并针对特定的智能手机或平板电脑模型进行调整。

这个算法需要克服一个重大的工程挑战在于:如何解释敲击时,指尖所产生的干扰振动。事实上,当用手指敲击屏幕的时候,声波不仅在空气中传播,更重要的是在设备本身之间传播。敲击会导致屏幕震动,而这种震动模式,可以被多麦克风捕获并进行区分。

实际应用场景中,噪声会极大的影响麦克风对敲击声的探测。为了解决这一问题,研究人员将反馈声音与振动反馈进行交叉关联,消除振动反馈的歧义,同时除去了振动数据。

结果显示,对于平板电脑,在20次尝试中回收了200个4位pin码中的61%,即使模型没有使用受害者的数据进行训练;对于智能手机,恢复了9个大小为7-13个字母的单词,在一个常见的侧通道攻击基准中尝试了50次。

实验设计

实验设置

剑桥研究团队开发了一个 Android 应用程序,参与者分别使用全键盘和9宫格数字键盘输入单词、任意数字或4位数字(PIN码),横屏或者竖屏都可以。该app应用程序通过内置麦克风收集音频

9宫格数字键盘的尺寸和形态是固定的,因此只需要在智能手机上测试竖屏状态下的数字输入即可。而全键盘则需要在手机和平板上,对横屏和竖屏状态分别进行测试。

参与测试的志愿者在三个不同的地方完成了这项任务,分别是

公共休息室。背景中有人在聊天,偶尔会有一台咖啡机做咖啡的吵声

阅览室。背景中人们要么在电脑上打字,要么用很轻的声音说话

图书馆。都很安静,但是附近的笔记本电脑持续发出咔哒咔哒的声音

这三个地方都开着窗户,因此室外的噪音也掺杂其中。

空气中声音的速度取决于温度,因此数据只在白天室内收集,温度在22-25摄氏度之间。实验设备关闭了所有运行中的其他app,只打开实验用的app。

实验使用的设备Nexus 5和Nexus 9,尺寸分别为137.84mm×69.17mm×8.59mm和228.2mm×153.7mm×8mm。两款设备都有两个麦克风,拥有标准的采样率。Nexus 5的主麦克风位于设备底部,副麦克风位于顶部。Nexus 9一个在底部,另一个在右侧。两台设备均基于Android  5.1.1 Lollipop系统,该系统目前市场占有率约20%。

Nexus 5

Nexus 9

由于Android 5.1.1禁止对PIN输入使用反馈机制,所以只对文本输入进行了测试。值得注意的是:由于该方式比较新颖,缺乏标准的基准测试,读者可以自行评估以下两个结论:

对小型虚拟键盘的攻击与对大型物理键盘的攻击效果差不多

尽管面对噪音这一强干扰项,该方式仍然能够获得同使用其他探测器类似的效果

数据收集

实验共有45名参与者,其中21位女性、24位男性;实验共获得30个小时的音频数据。实验分为4个部分:

第一组测试者每人随机敲击9宫格数字键盘10次,每次1个数字

第二组测试者每人敲击9宫格键盘200次,每次4个数字

第三组测试者随机敲击全键盘上的字母

第四组测试者敲击全键盘,输入NPS聊天语料库中的5个字母的单词

表1  所有字母和单词输入实验的摘要

单个数字推断

第一次尝试进行单一数字分类时的训练、测试和与主题无关(即LOSO)的准确性如表2所示。

表2  Nexus 5智能手机的个位数分类精度

对于与主题无关的情况(LOSO),标准偏差更高。

在最坏的情况下,仅使用底部麦克风,预测数字会比随机猜测略好;但在最好的情况下,几乎一半的数字在第一次尝试时被正确预测。 顶部麦克风的结果仍然较高,在最差情况下为两倍,在最佳情况下为85%。 使用两个麦克风,正确预测在最坏情况下比随机猜测好3倍;和100%的数字在最好的情况下。

当一个数字预测不正确时,分类器会快速纠正它(根据分类器生成的预测的置信值对猜测进行排序)。例如,使用两个麦克风(如上图所示),30%的错误预测在第一次尝试后被修正,另外20%在第二次尝试时被修正。固定的速度然后变得平缓。这意味着,在三次尝试中,分类器正确地预测了80%以上的数字。

4位数字推断

4位PIN的预测结果如下图所示。

使用单个麦克风,10次尝试后可以恢复54%的PIN。通和先前工作进行了比较发现,在很多情况下往往表现的更好,在其他方面也不输给先前工作。例如,使用两个麦克风,只需20次尝试就可以恢复91/150个PIN码,并不需要知道PIN码的分布情况,也不需要知道后续点击之间的时间间隔。

字母和单词推断

全键盘的预测结果,如表3所示。

表3  单字符分类精度为26类

如果同时使用一个麦克风进行LOSO和测试,要比随机猜测高出三倍。顶部麦克风捕获的声音,比来底部麦克风产生更好的效果。

实验还发现,在手机上竖屏要比横屏效果更好;而平板上则没有太大区别。

实验结果表明,依靠TrustZone等隔离机制来保护用户输入并不总是足够的。 

移动设备可能需要更丰富的功能模型,更加用户友好的传感器使用通知系统以及对底层硬件泄漏的信息的更全面评估。

原文标题:剑桥大学AI“偷听”算法:按屏幕听声音,手机密码不保

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

高通低调宣布,国内手机厂商却是集体沸腾

一呼百应,国产手机厂商集体躁动,但可惜,引领者却不是中国企业!
的头像 WPR 发表于 07-22 11:55 132次 阅读
高通低调宣布,国内手机厂商却是集体沸腾

手机品牌厂商如何保证MEMS麦克风质量?

从可穿戴设备到家庭助理,为了满足语音交互场景,麦克风几乎被安装到了所有的智能硬件上。
的头像 芯智讯 发表于 07-22 11:50 80次 阅读
手机品牌厂商如何保证MEMS麦克风质量?

索尼 Xperia 1 和苹果 iPhone XS Max强力对决

今天的对决,属于师徒间的对话。早年的索尼教会了苹果如何做好产品,而自立门户的苹果,在对索尼进行扬弃的....
的头像 ZEALER订阅号 发表于 07-22 11:20 83次 阅读
索尼 Xperia 1 和苹果 iPhone XS Max强力对决

中国手机拓荒非洲

在全球主要市场都在走衰的情况下,非洲市场表现依然坚挺。
的头像 砺石商业评论 发表于 07-22 11:10 63次 阅读
中国手机拓荒非洲

LG申请了一项名为LG M10的新商标将在印度市场推出一系列新智能手机

LG是在2019年7月8日提交了这项新商标的申请,有消息认为这是LG正在开发的一款不同于W系列的新手....
发表于 07-22 10:41 14次 阅读
LG申请了一项名为LG M10的新商标将在印度市场推出一系列新智能手机

AI如何助力药物研究

人工智能的介入,能够为马拉松式的药物研发找到新的突破点。
发表于 07-22 10:25 17次 阅读
AI如何助力药物研究

2021年5G千元机有望面世!

华勤通讯技术有限公司副董事长崔国鹏在发言中表示,预计后年中期,将有5G千元机推向市场。
的头像 MCA手机 发表于 07-22 10:10 120次 阅读
2021年5G千元机有望面世!

智能产业知识产权如何保护

人工智能技术日新月异,智能产业发展风起云涌。
发表于 07-22 10:03 18次 阅读
智能产业知识产权如何保护

新iPhone的研发进度和备货信息

产业链也表示,今年苹果在三款新机的备货数量上市要低于2018款,但前期备货依然在千万台以上,预计备货....
的头像 第一手机界 发表于 07-22 10:00 101次 阅读
新iPhone的研发进度和备货信息

首款5G手机 中兴AXON10 Pro 即将亮相

不过,早在上个月,中兴就宣布了自家的4G新机天机AXON10 Pro 5G版将在7月份正式推出。如今....
的头像 科技美学 发表于 07-22 09:56 101次 阅读
首款5G手机 中兴AXON10 Pro 即将亮相

中国5g技术又有新消息,美国彻底慌了

北京传来大消息!除了华为已经研发了4款5g手机以外 ,一加、中兴、vivo,oppo 也已经研发出来....
的头像 通信圈 发表于 07-22 09:41 221次 阅读
中国5g技术又有新消息,美国彻底慌了

5G新玩法赋能音乐盛典沉浸式体验

作为5G网络全覆盖、5G真4K全程直播的原创音乐盛典,当晚通过咪咕音乐、咪咕视频、咪咕直播、咪视通、....
发表于 07-22 09:37 21次 阅读
5G新玩法赋能音乐盛典沉浸式体验

5G时代手机仅是众多智能终端之一,毫米波产业将会更迎来多机会

集微网消息,7月19日,2019集微半导体峰会在厦门海沧举行,在上午举行的5G主题论坛《5G给产业带....
的头像 MCA手机 发表于 07-22 09:20 136次 阅读
5G时代手机仅是众多智能终端之一,毫米波产业将会更迎来多机会

任正非:拒绝华为是美国落后的开始 华为今年手机出货预计2.7亿

任正非还表示,华为今年的手机出货量将会突破2.7亿台,要知道去年华为手机的出货量也只是刚刚突破2亿台....
发表于 07-22 08:59 203次 阅读
任正非:拒绝华为是美国落后的开始 华为今年手机出货预计2.7亿

行业 | 两种不同设计,OPPO升降相机模块专利曝光

Find Y或采用
的头像 摄像头观察 发表于 07-22 08:58 85次 阅读
行业 | 两种不同设计,OPPO升降相机模块专利曝光

98%都认错,AI视觉系统真的没救了?

AI:“臣妾认不出啊!”
的头像 新智元 发表于 07-22 08:37 122次 阅读
98%都认错,AI视觉系统真的没救了?

前十的AI专利拥有者中美国占一半,无中国企业

排名前十的人工智能专利拥有者中有5家美国公司,2家日本公司,1家韩国公司,1家德国公司和1家荷兰公司....
的头像 Blue5 发表于 07-21 18:36 788次 阅读
前十的AI专利拥有者中美国占一半,无中国企业

Q2欧美市场销售份额iOS下降,Android增长

iPhone XR在第二季度是美国最畅销的智能手机,但苹果iOS设备在美国和主要欧洲市场的销售份额似....
的头像 Blue5 发表于 07-21 17:18 616次 阅读
Q2欧美市场销售份额iOS下降,Android增长

小米推出多款新品,主打AI概念

近日,小米有品众筹上架了一位新成员“多亲AI助手”,界面简单易用,结合智能语音识别技术,可控制家居家....
的头像 芯智讯 发表于 07-21 11:18 654次 阅读
小米推出多款新品,主打AI概念

AI在医疗领域有哪些应用?

近日,中国科学院深圳先进技术研究院医药所计算机辅助药物设计中心的袁曙光课题组,在 Cell 子刊 T....
的头像 机器人技术与应用 发表于 07-21 10:55 362次 阅读
AI在医疗领域有哪些应用?

AI革命,智能机器人将进入我们生活中的那些领域?

正在进行的人工智能革命将改变几乎所有的工作,创造巨大的社会和经济机遇和挑战。有些人认为,智能电脑会将....
的头像 传感器技术 发表于 07-21 09:55 437次 阅读
AI革命,智能机器人将进入我们生活中的那些领域?

停牌27个月,酷派于7月19日复牌,收盘于0.385港元

停牌27个月,酷派集团(02369.HK)于7月19日复牌,开盘价为0.28港元,跌61%,收盘于0....
的头像 第一手机界 发表于 07-21 09:50 286次 阅读
停牌27个月,酷派于7月19日复牌,收盘于0.385港元

小米有品众筹又一位多亲AI新成员,能结合智能语音识别也可控制家居家电

近日,小米有品众筹上架了一位新成员“多亲AI助手”,界面简单易用,结合智能语音识别技术,可控制家居家....
的头像 第一手机界 发表于 07-21 09:48 492次 阅读
小米有品众筹又一位多亲AI新成员,能结合智能语音识别也可控制家居家电

一亿多条政府真实数据的比赛你见识过吗?

本次大赛面向的是内地和港澳地区高等院校、专业研究机构、数据分析公司、开发者等举办的大型数据创新类竞赛....
的头像 新智元 发表于 07-21 07:35 243次 阅读
一亿多条政府真实数据的比赛你见识过吗?

马斯克:脑机技术是避免人类成为AI奴隶的唯一方法

Neuralink项目由马斯克与其他8人成立于2016年7月。而这8名联合创始人都是一些知名度极高的....
的头像 VR陀螺 发表于 07-21 07:27 209次 阅读
马斯克:脑机技术是避免人类成为AI奴隶的唯一方法

iPhone 5G折叠概念新机你期待吗?

其实从手机的性能和功能来看,这几年手机的发展确实很快,其运算速度和性能表现,基本上要感受电脑,尤其是....
的头像 iPhone频道 发表于 07-20 10:40 336次 阅读
iPhone 5G折叠概念新机你期待吗?

央视网AI布局迈入加速度有何意义

AI时代已经到来,一场抢占“智能+”制高点的攻坚战役,正在各行各业如火如荼地上演。
发表于 07-20 09:19 86次 阅读
央视网AI布局迈入加速度有何意义

大胆预测未来工厂里有哪些新科技?

人工智能、深度学习、边缘计算、数字孪生、Factory 2.0……热词频现,数字化技术与各行业的交汇....
的头像 ABB中国 发表于 07-19 17:54 509次 阅读
大胆预测未来工厂里有哪些新科技?

AI正在悄悄听懂你的话

实际上无声语音识别是一项典型的“美好而无用”的AI技术,它既完美体现了一系列技术的排列组合。
发表于 07-19 16:43 49次 阅读
AI正在悄悄听懂你的话

智能协作能为人类做到什么

把人类的动作当做“棋谱”大量输入给神经网络,让神经网络自行挖掘动作和实现目标之间的关系。
发表于 07-19 16:36 34次 阅读
智能协作能为人类做到什么

人工智能如何影响网络安全

人工智能的攻防之战不断展开,在网络上关于它的负面评论也渐渐浮现。
发表于 07-19 16:25 44次 阅读
人工智能如何影响网络安全

如何从难以普及的数据增强技术

虽然数据驱动不是AI算法训练的唯一途径,但在产业中已经出现了很明显的趋势。
发表于 07-19 16:19 53次 阅读
如何从难以普及的数据增强技术

为AI加上安全锁有没有可能

然而随着AI的发展与应用,这门新技术所暴露出来的危险与不确定性确实也渐渐浮出水面。
发表于 07-19 16:15 33次 阅读
为AI加上安全锁有没有可能

如何让AI赋能智慧电力和智慧城市建设

谈到如何赋能智慧电力建设,常向魁说,大华智慧电力解决方案以人工智能、物联网、大数据等技术为核心,在传....
发表于 07-19 16:11 94次 阅读
如何让AI赋能智慧电力和智慧城市建设

华为将在意大利投资31亿美元,还有哪些你不知道的科技投资

7月16日消息,据国外媒体报道,华为表示,未来三年将在意大利投资31亿美元。该中国电信巨头呼吁意大利....
的头像 电子发烧友网 发表于 07-19 15:43 330次 阅读
华为将在意大利投资31亿美元,还有哪些你不知道的科技投资

人工智能时代,它是下一个机器人明星产品

在本届峰会上,深圳未来科技有限公司展示的儿童智能机器人通过语言识别、人脸识别、语音唤醒等技术,搭建了....
的头像 机器人峰会 发表于 07-19 15:34 145次 阅读
人工智能时代,它是下一个机器人明星产品

新人工智能模型提高预测乳癌准确度达87%

新的AI模型能以良好的准确度来预测患者恶性乳癌一年内的发展,以减少进行不必要测试的女性患者人数。
发表于 07-19 15:29 47次 阅读
新人工智能模型提高预测乳癌准确度达87%

中国有哪些品牌的5G手机获认证?

台湾媒体报道称,截至7月16日晚,中国大陆质量认证中心显示已经有7款5G手机取得3C认证。其中,华为....
的头像 PCB行业工程师技术交流 发表于 07-19 15:08 359次 阅读
中国有哪些品牌的5G手机获认证?

中国云端智能机器人募资 5 亿美元,准备赴美上市

近日,云端智能机器人运营商达闼科技(CloudMinds)正式向其递交招股书,准备在纽交所上市,据悉....
的头像 DeepTech深科技 发表于 07-19 15:02 304次 阅读
中国云端智能机器人募资 5 亿美元,准备赴美上市

达摩院“机器智能实验室”成型,阿里AI芯片会怎样?

随着达摩院这两年的成长,在AI 布局的深度与应用的广度又更上一层楼,现在其机器智能实验室已经是整个阿....
的头像 满天芯 发表于 07-19 14:55 135次 阅读
达摩院“机器智能实验室”成型,阿里AI芯片会怎样?

AI智能教育,从小培养孩子兴趣

7月17日,上书院联合瓦力工厂举办的“机器人编程课程”暑期研学活动于瓦力工厂公主坟校区顺利举行。
的头像 瓦力工厂机器人 发表于 07-19 11:52 335次 阅读
AI智能教育,从小培养孩子兴趣

NVIDIA GPU解决方案亮相 推进专业视听产业升级

亚太专业视听和交互体验式通信技术交流的平台会议InfoComm China 2019在北京启幕,作为....
发表于 07-19 10:58 98次 阅读
NVIDIA GPU解决方案亮相 推进专业视听产业升级

AI加持下的互联网反欺诈

针对互联网乱象纷飞的欺诈行为,芯盾时代一直秉持着零容忍的态度,在虚假交易、薅羊毛、信息泄露、信用欺诈....
的头像 芯盾时代 发表于 07-19 10:09 368次 阅读
AI加持下的互联网反欺诈

DOCOMO在推动5G发展方面的一些举措介绍

在5G方面,DOCOMO会在两个月以后9月份在世界橄榄球大会上正式开展预商用,在明年的春天会开始5G....
发表于 07-19 10:08 41次 阅读
DOCOMO在推动5G发展方面的一些举措介绍

加入AI自主学习后会发生什么事

软件升级包括分区清洁、自主学习。
发表于 07-19 09:55 39次 阅读
加入AI自主学习后会发生什么事

如何让AI能力延伸至边缘

人工智能技术的复兴,主要归功于过去几年以来以IT为代表的计算能力的显着提升。
发表于 07-19 09:50 43次 阅读
如何让AI能力延伸至边缘

科技如何避免成为黑产帮凶

科技的发展推动了社会进步,同时也带来很多风险和隐患。
发表于 07-19 09:48 43次 阅读
科技如何避免成为黑产帮凶

人工智能(AI)对于当今生活的现实意义有什么

人工智能绝对是现代生产力变革的巨大动力,和不远的将来,和你和我都息息相关,现如今它已经在不远的将来向....
发表于 07-19 09:43 44次 阅读
人工智能(AI)对于当今生活的现实意义有什么

来看看中国机器人的发展现状

新的视觉技术、机器人的认知、灵巧性的追求、高投资回报、机械手的开发等都在不断吸引着协作机器人新兴入局....
的头像 高工机器人 发表于 07-19 09:35 159次 阅读
来看看中国机器人的发展现状

国产机器人跟进口机器人的差别在哪里?

近年来,在人口红利逐步消退及科技进步的背景下,中国制造业企业自动化升级、机器换人的需求逐年攀升。拥有....
的头像 工业机器人前沿 发表于 07-19 09:31 149次 阅读
国产机器人跟进口机器人的差别在哪里?

高速USB系列产品和大功率功放在智能手机中的具体应用阐述

近年来,便携式产品越来越多地采用多源设计,诸如手机和其它便携产品要求加入更多功能,如图像、视频、电子邮件、短信以及互联网...
发表于 07-19 07:52 24次 阅读
高速USB系列产品和大功率功放在智能手机中的具体应用阐述

自动对焦在智能手机的应用

作者:高级产品经理Jason Whetstone 当今最想要的智能手机特性 对于许多用户,相机性能已成为一台智能手机最重要的方面。...
发表于 07-16 08:50 417次 阅读
自动对焦在智能手机的应用

微波通信网络的两种扩容方法

随着需要大量带宽的智能手机和无线平板电脑变得越来越普及,微波网路的扩容就变得必不可少了。 进一步说,运营商必须考虑在无线...
发表于 07-11 08:26 182次 阅读
微波通信网络的两种扩容方法

智能手机的待机功耗

  在智能手机、平板电脑、数码相机等消费电子产品中,待机功耗一直是一个关键设计难点。此外,这些产品需要无缝的功率管理和电池...
发表于 07-05 06:50 163次 阅读
智能手机的待机功耗

智能手机拆解及核心硬件分析

发表于 06-28 17:25 289次 阅读
智能手机拆解及核心硬件分析

智能手机复杂接口设计

支持网络的多媒体智能电话改变了消费者使用手机的方式。在这些电话中,特别受欢迎的是液晶触摸屏接口,用户通过它来使用各种应用...
发表于 06-21 05:00 86次 阅读
智能手机复杂接口设计

32 W Type-C接口QC-3.0适配器解决方案设计说明

DN05099 / D,Design Note描述了一个36瓦的Type-C接口QC-3.0,通用交流输入,用于智能手机的恒压电...
发表于 06-19 08:10 187次 阅读
32 W Type-C接口QC-3.0适配器解决方案设计说明

基于NFC技术的智能手机设计

智能手机已成为终端厂商最关注的IT产品之一,如何以最有效率的方式推出各种不同新机型,满足客户及市场需求,已成为最重要...
发表于 06-19 06:30 89次 阅读
基于NFC技术的智能手机设计

可重构波束天线技术在增加网络容量应用

  随着数据服务用户数量的不断增加和单位用户流量的增加,全球市场上的无线数据流量正以指数级的趋势不断增加。由于其增大的容...
发表于 06-11 07:31 118次 阅读
可重构波束天线技术在增加网络容量应用

智能手机射频前端控制协议如何调试和测试

近年来智能手机的发展,使射频前端设备的需求量大幅增加,而要兼容所有这些设备非常困难。目前MIPI制定了一套RFFE标...
发表于 06-10 08:09 109次 阅读
智能手机射频前端控制协议如何调试和测试

九五至尊娱乐官网