中国电子标准协会培训中心

  
培训课程筛选
 首页 >> 资讯中心 >> 正文

微型化是机器学习应用的一条出路

作者:不详 ; 发布时间:2018-6-14 7:19:47 ; 来源:互联网  点击:

数据科学家,Jetpac 公司CTO Pete Warden发表了一篇博文,详细阐述了微型化是机器学习应用的一条出路,并且相信机器学习可以在微小的、低功耗的芯片上运行,利用深度学习可以做到非常高的能源利用率。谷歌大脑负责人Jeff Dean也转发这篇博文,并且也强调了其技术可行性。

     当Azeem邀请我到CogX做演讲时,他希望我能把核心集中于引导用户思考的某一个点上。前几年,我的首要任务是让人们相信,深度学习是一场真正的革命,而不仅仅是一时的风尚,目前已经有足够多的例子可以证明这个观点。我之所以知道这个观点是正确的,并不是因为我是一个预言家,而是因为我有机会可以花时间去亲自动手操作这项技术。所以我非常相信深度学习的价值,因为我亲眼见到了这些效果,并且知道,阻止它从实验室走向工业界的唯一屏障,仅仅在于更广泛的应用场景需要投入更多的研究时间。

今天,我将谈论另一种鲜为人知的,但我确信无疑的趋势。那就是我相信机器学习可以在微小的、低功耗的芯片上运行,这种技术将解决目前方案中的瓶颈问题,这就是我在CogX上要讲的。

微型电脑已经足够便宜,且非常普及

因为市场过于分散,以至于很难得到确切的数字,但最好的估计是今年将有超过400亿的微控制器售出,考虑到他们所使用的产品的持久性,可能会有数千亿个微控制器在使用。微控制器(或MCUs)包含一个小CPU,仅仅只有几千字节的RAM,并且被嵌入到消费者、医疗、汽车和工业设备中。它们的设计目的是为了得到低功耗、低成本的产品,预计这一产品今年的平均价格将低于50美分。

它们并没有得到太多的关注,因为它们经常被用来取代旧的电动机械系统在汽车、洗衣机或遥控器上的功能。这些设备的控制逻辑和以前使用的模拟电路和继电器几乎没有什么区别,除了可能有一些可编程功能的微小改变。对于制造商来说,最大的好处是,标准的控制器可以用软件来编程,而不是去定制电子设备,这样可以降低制造过程的成本,也更容易生产。

能源是限制因素

任何需要电源的设备都面临着布线问题的限制,而且一旦开始布线也有可能引来其他新的问题,例如,在手术室中与工厂的地板上。为了将电源电压从输电电压转换到设备可用电压是非常昂贵且浪费的。甚至是像手机或笔记本电脑这种便携式设备也需要非常频繁的充电。

几乎任何智能产品的终极目标都是为了让设备可以部署在任何地方,而不需要什么维护手段。为了实现这一目标,最大的障碍是:大多数的电子系统都需要使用能源。下面是一些基于智能手机能耗数据的常见组件的粗略数字(更多细节请参阅我的以前的博文 【1】):

一个显示器可能需要400毫瓦。

有源电池收音机可能使用800毫瓦。

蓝牙可能使用100毫瓦。

加速度计是21毫瓦。

陀螺仪是130毫瓦。

GPS是176毫瓦。

一个微控制器本身可能只使用1毫瓦或者更少,但外设可能会使用更多的电能,一枚硬币电池可以提供2500焦耳的能量,所以电池即使要给1毫瓦的设备供电,也只能维持一个月左右,当然,目前大多数的产品都使用了轮转和睡眠,以避免经常开机,但即便如此,问题仍未的到解决。

CPU和传感器几乎不使用电源,而收音机和显示器使用的电量很多

一般来说处理器、传感器可以将电力成本降低到微瓦级别,但显示器、无线电等设备需要更多的电力成本,甚至是低功耗、蓝牙等设备也需要几十毫瓦。数据移动的过程导致了更大的能量开销,似乎有这样一条规则,一个操作所需要的能量与发送数据的距离成正比。CPU和传感器发送的距离只有几毫米,而且非常便宜,而无线电发送的距离很远,并且价格昂贵。我认为即使技术上有所改善,这种差距仍然会进一步扩大。

我们获取的传感器数据比我们使用的多

几年前,我和一些研究卫星摄像的工程师交谈过。他们的问题是,他们使用手机摄像头已经可以拍摄高清的视频,但卫星上只有少量内存来存储结果,每几个小时,需要通过有限的带宽下载到地球上的基站中。我才突然发现,几乎所有的传感器场景都面临着同样的问题。即使是家里的摄像头也受到wifi和宽带连接带宽的限制。我的一个朋友,他12月份的ISP使用率大大超出今年的限额,当他逐层分析后,发现主要原因居然是因为屋里闪烁的圣诞灯导致视频流压缩比急剧下降。

还有很多这样的例子,我们的可穿戴设备和手机上的所有加速器都只是用来检测可能唤醒设备的事件,或者是基本的步骤计数,所有可能的更复杂的活动检测都无法涉及。

这对机器学习意味着什么?

如果你接受上面的所有观点,那么很明显,有一个巨大的尚未开发的市场等待着用正确的技术来开启。我们需要一种能在廉价的微控制器上工作的东西,它只需要很少的能量,它依赖于计算而不是无线电,它能把我们所有浪费的传感器数据变成有用的东西。这就是机器学习,尤其是深度学习所填补的空白。

深度学习在已有的微控制器上是计算密集且可用的

在深度学习实现方面,它们几乎都是受计算限制的。这一点很重要,因为我所研究的其他问题几乎都是受到访问大量内存的速度限制。相比之下,神经网络把大部分事件都花在了大矩阵相乘上,同样的数字在不同的组合中可以重复使用,这意味着CPU大部分时间都花在计算两个缓存的数字相乘上,而从内存中获取新值的时间要少得多。

这很重要,因为从内存中获取数据需要更大的能量开销(这可能是距离-能量的一个明显例子——因为内存比寄存器更远)。相对较低的内存需求意味着低功耗的SRAM或闪存可以用于存储,这使得深度学习应用程序非常适合于微控制器,尤其是当使用8位计算而不是浮点数时,因为MCUs通常已经有类似dsp的指令,非常适合。这一想法并不是特别新颖,因为谷歌和苹果已经开始有所行动,在这些芯片上进行语音识别,但在ML或嵌入式世界中,似乎没有多少人意识到深度学习和MCUs的结合价值。

深度学习可以做到非常高的能源利用率

我花了很多时间去思考焦耳/运算(picojoules per op.,CPU算数单元的能量开销)的问题。因为这样我可以得出一个大概的估计,知道一个神经网络大概要消耗多少能量。例如,MobileNetV2图像分类网络在最小的版本中要2200万个操作,如果知道每个操作需要5微微焦的能量,那么他就需要110微瓦的能量,如果我们每秒分析一帧,那么只有110微瓦,一枚硬币电池可以持续使用一年。这些数字在目前的dsp元件中是非常有竞争力的。

深度学习能够感知传感器的数据

在过去几年,利用神经网络接收图像、音频、加速度等噪声信号,并从中提取出价值这一难题,突然变得可能。因为我们可以在微控制器中运行这些模型,而传感器本身只需要很少的电量,所以我们可以从传感器数据中获取更多的价值。例如,我希望让所有设备都有一个简单的语音交互能力。用于理解短语,或可以使用图像传感器完成目标检测,这样可以不依赖按钮来完成很多操作。希望这种语音交互组件可以在50美分硬币电池下运行一年,并且这在我们当前的技术上是可行的。

另一个例子是,我想要一个小型电池驱动的图像传感器,我可以对它进行编程,以查找特定的作物害虫或杂草,并在被发现时发出警报。它们可以分散在农田周围,以一种更环保的方式指导诸如除草或杀虫剂等干预措施。

让我印象深刻的一个工业例子是一个工厂的经营者对“Hans”的描述。他是一个资深工程师,每天都要沿着一排机器走,并把手放在每一个机器上,听着,然后告诉工头哪些机器需要离线维修,这些都是基于经验和直觉的。如果你能在每台机器上安装一个电池驱动的加速度计和麦克风(一个“Cyber-Hans”),倘若出现异常,这些机器将提前给工厂警告。

类似的想法还有很多,但最让我兴奋地是,我不知道这些设备将如何使用,但背后的技术是如此迷人,这将建立我无法想象的全新应用程序。对我来说,就像80年代家用电脑出现时的样子。我不知道它们会变成什么,当时大多数人都用它来玩游戏或存储地址簿,但我知道这种设备将为世界带来太多的可能性。

召开会议而不是发送文件的唯一理由是为了传达信息之外的情感。我想和CogX观众分享的是我对ML在小型设备上的应用前景。我不知道未来会出现什么细节,但我知道可用于机器学习微型化、廉价化的电池驱动芯片即将问世,它将带来一批无法想象的新应用。

 
推荐公开课
[江苏回流焊和通孔回流焊(THD)的SMT
[广东NPI新产品导入
[江苏PCBA的可制造性设计(DFM)实施
[广东光学镜头测试培训
[广东在软件开发流程中构筑软件质量-软件测
[广东嵌入式软件可靠性设计培训
[广东电路设计中器件选型及工程计算培训课程
[上海面向可制造性的设计与工艺优化
[江苏ESD检验员职业资格(防静电系统高级
[广东硬件测试管理
推荐内训课
[广东SMT核心工艺技术、质量控制与案例解
[广东“倒装焊器件(BGA\WLP\QFN
[广东照相模组的设计工艺、组装技术和失效分
[河北硬件测试技术及信号完整性分析
[山西电子产品实用可靠性设计和试验技术高级
[广东SMT组装中的实用可制造性(DFM)
[上海电磁兼容设计与整改对策及经典案例分析
[广东板级电磁兼容设计与整改对策分析培训
[广东非财务经理的财务管理必修课
[广东电路设计中器件选型及工程计算
资讯中心
·微软收购AI创企Bonsai 将与Azu
·中兴紧急澄清:美参议院恢复处罚投票非美国
·华为已成美国新目标,称华为可能对美国的国
·英特尔CEO科在奇闪电辞职 CFO接任临
·什么是中端红外接收器芯片?进一步的芯片开
·中天中标国家电网1.33亿元储能示范项目
·快充电动汽车全面分析——2018年快充汽
·锂电市场化成分容设备企业的真实写照
·MLCC又涨!村田和客户端协商涨价两到三
·Qualcomm为生态系统赋能:天线技术
·人工智能技术在肺癌诊疗方向的前景巨大
·三星的进步给了苹果很大的压力

 

中国电子标准协会培训中心专业提供可靠性设计、热设计、SMT工艺、电路设计、架构设计、硬件测试、研发管理、嵌入式软件测试、EMC培训、软件技术等课程及服务。
欢迎来电来函咨询:
0755-26506757 13798472936
martin@ways.org.cn
http://www.ways.org.cn

中国电子标准协会培训中心(深圳市威硕企业管理咨询有限公司)成立于2006年,经过十多年的发展,在国内外业界技术顾问及广大客户的支持下,我培训中心已成为一家专业的电子技术、研发、管理、企业资格及电子标准培训服务提供商,致力为各企业提供成熟的企业技术、管理及标准培训服务。借鉴国际先进的电子技术应用与管理理念,让协会整合以“技术”为核心的企业资源体系,解决企业运营过程中的技术难题,提升生产、运作与工作效率,增强企业核心能力,赢得竞争优势,最终实现企业长期追求的使命与愿景。
经典课程:可靠性设计各种设计技术(包括可靠性降额设计、硬件测试、可靠性余度设计、可靠性动态设计、电路设计、可靠性环境防护设计、EMC培训、热设计、硬件测试、可靠性安全设计、缓冲减振设计、静电防护设计等)、SMT技术管理培训、EMC培训、硬件测试、IPC标准(IPC-A-610E标准、IPC-A-7711/21标准、IPC-A-620A标准、IPC-A-600H标准、IPC J-STD-001标准)、电路设计、硬件测试、ESD防静电防护、ESD设计、硬件测试、EMC培训、电路设计、硬件测试技术及信号完整性分析、硬件测试、DFM电子可制造性设计、机械结构设计、加速试验和筛选技术和模拟仿真技术、硬件测试、EMC培训、失效分析、EMC培训、电路设计、EMC培训、故障模式影响及危害性(FMEA、FMECA)和故障树分析(FTA)、元器件可靠性设计、硬件测试、电路设计、软件可靠性设计、硬件测试、软件测试(黑盒和白盒)、电路设计、可靠性设计各种试验技术(环境应力筛选试验、EMC培训、硬件测试、可靠性工程试验、可靠性统计试验等)以及可靠性管理是我协会的强项;软件类:架构设计、EMC培训、硬件测试、C语言、电路设计、UI设计、硬件测试、需求分析、电路设计、软件项目管理、硬件测试、电路设计、Oracle、软件敏捷、.NET、EMC培训、硬件测试、Android、硬件测试、软件配置管理、Linux、硬件测试、CMMI、软件重构、C++等等

服务热线:0755-33558698 26506757 传真:0755-33119039 电子邮件:martin@ways.org.cn
客服 QQ:52630255 751959468 1305933375 385326049
中国电子标准协会培训中心(http://www.ways.org.cn)网站 ICP注册号:ICP备257378787号