在 WAIC 2021 AI 开发者论坛上，肖嵘揭晓主题演讲《创「芯」时代 打造自进化城市智能体》，在演讲中，他主要介绍了自进化城市智能体，并介绍了k豆钱包最新研究效果及乐成案例。
以下为肖嵘在 WAIC 2021 AI 开发者论坛上的演讲内容，机械之心举行了不改变原意的编辑、、、整理：：：
现在，人工智能快速应用的历程中会遇到大宗的长尾应用算法，许多开发者忙着做调参，现在有许多新的调参要领，使调参这件事情得越来越简朴、、、利便。另外尚有标注问题，做新场景、、、新场景顺应模子等都面临许多难题。在这些情形下，人工智能整个应用研发最后会酿成什么？？？是大宗标注数据、、、调参吗？？？显然不是。未来智能怎样开展？？？可以说未来整个智能的开展是往自学习、、、自进化方面举行的。我今天演讲的主要内容是关于自进化城市智能体的相关内容。
智慧城市的开展与面临问题
首先智慧城市的开展可分为几个阶段，2008 年 IBM 提出智慧城市的看法，同时提出了一些行业解决方案，可是其时整个网络、、、算力都有问题，智慧城市还处于初级阶段，即理念上的看法；；2.0 看法约莫最先于 2012 年，云的看法最先开展，例如阿里云最先有云上贵州这样的平台，这一阶段主要是平台的解决方案；；真正的智能开展着实是 2015、、、2016 年，其时标记性事务，例如 AlphaGo 击败人类，研究者对智能掀起了很大的热情。现实上智能也解决了许多问题，其时阿里在智慧交通这一块做了许多事情。
到现在为止，时间已经已往了 5 年，在这已往的 5 年当中，人工智能应用越来越多，但同时带来的问题也随之增添，现在主要面临三个主要问题，别的尚有硬件方面问题。三个应用方面问题当中，主要是需求多样，以及两个大的应用安排问题。
首先就地景爆发转变时，人工智能模子可能不事情。别的相似的场景、、、相似的需求许多，例现在天要去检测路上有没有积水，明天要去检测垃圾桶有没有满，这种类似的检测问题许多、、、识别问题也许多，现在像这种长尾需求不可获得很好知足。以至于到厥后各人发明，所有的公司都在招 AI 人才，由于 AI 应用规模太广。市场上所有人工智能企业最痛苦的事情就是招不到人，人才招聘也是一个逆境。第二是可靠性问题，现在许多应用都是在云端安排的，若是端侧网络泛起问题，那么用户服务体验就会泛起很大问题�；Ｉ杏芯褪乔寰残晕侍�，若是架构都在云端安排，未来所有的数据、、、端侧的海量数据往云端传，这样就会带来清静性问题。另外，尚有数据网络有用性问题，海量数据往云端传，数据流量会不会特殊大？？？别的，尚有一个问题，就是端侧是不是真具有这么大的智能，能不可用端侧智能把这些问题解决掉，这同样也是一个很大的问题。端侧智能还保存安排难等问题。
AI 的普适性
虽然有这么多问题，可是我们可以看到智能的开展趋势基本上照旧在往自进化城市智能体开展，原因在哪？？？首先自进化城市智能体应该具备两个要素：：：
第一是 AI 的普适性，普适性就是 AI 像电力一样无处不在；；
第二是 AI 整个应用的研发和安排环节，一定是自学习、、、自进化，可以自主地演化。
关于普适性问题，相对的就是盘算无处不在的问题。普适盘算这个看法讲了许多年，它背后的隐藏逻辑是算力的快速提升。以 1999-2020 年的 GeForce256 显卡到最新的 RTX3090 为例，算力提升了约 400 倍。CPU 的性能提升很大，网络速率提升也很是显着。2000 年时各人还在用 ADSL，而现在较量快的 5G 网络已抵达 20Gb/s 了。以此为配景，应用研发也爆发了很大转变，最早单机盘算、、、网络盘算、、、云盘算、、、雾盘算，别的尚有边沿盘算，盘算着实已经最先从云向雾普及。
端侧智能
智能在云端已经很是普及，未来智能往端侧开展会遇到什么挑战？？？现在来看已经万事俱备，以最经典的 AlexNet 网络为例，AlexNet 约莫在 2012 年被提出，精度抵达 60% 左右，同样的 EfficientNet 模子精度可以提升 1.37 倍，而模子尺寸差未几缩小了 71 倍。从中我们可以得出模子越来越小、、、效率却越来越高。
在端侧应用方面，硬件速率提升也很是大，以英伟达端侧芯片为例，2011 年芯片速率跟 2020 年芯片速率举行较量，速率提升了三百多倍。�？？梢运刀瞬嗾鲇τ猛蚴戮惚�。
与端侧智能相比照的是云端智能，云端智能面临的问题是高时延、、、网络的低可靠性，数据中心大、、、欠好扩充，保存清静隐患以及隐私隐患。而端侧智能优势很大，可以很好地解决这些问题，端侧智能可以实时会见、、、举行智能的数据筛选和过滤，数据隐私�；；さ囊埠芎�。
现在端侧智能普及还面临一些问题、、、一些挑战，可总结为四个方面：：：芯片指令级效率还需要继续持续提升，不敷高效；；芯片架构不敷无邪；；处理工具链不易用，例如端侧异构性、、、工具不统一；；算法研发周期长、、、安排难题。
k豆钱包端侧结构
k豆钱包的端侧结构以算法芯片化结构为例，包括算法连系场景，打造一系列开下班具链，以及开放的架构和高效指令集。这些可扩展的指令集、、、软件可界说的盘算架构等使得端侧智能研发和安排周期大幅度提升。
k豆钱包产品结构从第一代的 NNP100 已经研发到第三代芯片，从最早 22 纳米芯片到 14 纳米芯片，同时算力的提升也很是大。现在k豆钱包在端、、、边、、、云都有产品安排，并将产品直接应用到结构化端边装备，好比抓拍机、、、监控相机；；边沿端有智能网关、、、智能盒子；；云端有高性能的推理卡等，k豆钱包已经最先周全的端、、、边、、、云产品结构。
城市边沿智能平台
关于长尾算法和城市治理问题，我们以城市治理为例，可以看到有很是重大的长尾应用：：：
城市治理方面，包括重点车辆的监控、、、游滩小贩等；；
清静生产方面，包括是否切合工艺流程、、、是否切合防疫标准、、、是否有非法职员进入等；；
综合治理方面，包括是否有人群群集、、、是否有水涝、、、无邪车有没有违停等；；
生态情形方面，包括可以审查水上有没有漂浮物等。
这样重大的情形，使得研发很是难题，同时尚有场景适配性问题。
k豆钱包提出了城市边沿智能平台看法，主要包括三个偏向的结构：：：自动学习；；半监视、、、弱监视学习；；超大规模预训练模子。从这三个结构可以看到，人工智能程度越来越高，人工加入就会越来越低。
以自动学习为例，在举行机械学习时，我们都知道数据应该是越多越好，若是各人学习过统计学理论就会相识，以分类为例，越位于分类边沿的样本越有信息量，反而那些很容易举行分类的样本，着实对分类孝顺不大。
自动学习的看法就是在无监视样本中，自动寻找对分类最有资助的样本，就犹如人看一些工具、、、去学习一些单词，各人背单词都会接纳自动学习的看法，若是背的很熟的单词就不必再去温习了，更多的是去温习似是而非、、、记不住的单词。自动学习可以显著通过少量人工加入，快速完成模子迭代。
关于弱监视、、、半监视学习而言，当有大宗无标注样本时，是否可以学到无标注样天职类特征，我们可以自动的引入到学习当中去，这样一来就不需要去标注这些数据。
我们发明真正在城市治理当中处理的是视频数据，视频流中隐含了很是多的信息。举例来说，视频具有时空一致性，若是用分类模子做预测，各人会视察到什么？？？若是对人的衣着做分类判断，相信在相邻帧的统一个人，他的衣着爆发转变的概率很低，可以以为他的衣着是一致的。若是模子预测相邻的二十帧当中，发明有十帧是一样的，尚有十帧预测的很是欠好，可能这是有问题的样本，我们把这个样本拿出来，判断是否将这种样本引入，去举行学习。通过这类引入样本的要体会自动找到有问题样本，甚至可以打上伪标签直接用来学习，这是很是有用率的要领。另外空间运动也保存一致性，在追踪当中看到一个人，从东往西走，若是当中有一帧预测是运动轨迹反过来的，就说明运动预测有问题，一致性也可以用来资助研究者自动矫正模子。在弱监视、、、半监视的学习当中，通过视频有许多事情可以做。
另外k豆钱包正在做大规模视频预训练模子。从 2020 年最先，Open AI 推出了许多主要研究，好比 GPT-3 等大规模自然语言预训练模子的宣布，k豆钱包提出的大规模视频预训练模子，也是很是有价值的。视频当中有很是富厚的信息，一个人在移动的时间，若是是静态相机，我们就可以知道哪是配景、、、哪是远景，云云就不需要人工做详细标注，例如这个人在哪、、、边沿在哪。我们都知道，在做视频支解时要标出物体的每个边沿，标注量很大，通过视频大规模学习，我们就可以自动学习支解模子，甚至能找出物体的运动逻辑，这是我们着力研究的偏向。
k豆钱包大规模自学习应用
k豆钱包大规模自学习应用，以龙岗区 12345 政府便民热线为例，市民向市政府部分求助的时间会拨打 12345，接通之后，接线职员会将拨打电话的市民分发到合适部分举行处理。可是这个事情有一定的难题，一般的二级处理单位可能有八百多个处理单位，关于人来说，很难将用户精准的分配到准确的位置，人工分配的准确率可能有 60% 多。模子上线后，在持续迭代历程中，好比电话打错、、、用户分发差池等信息，这些反馈信息都是很是有价值的，凭证这些反馈信息重新优化这个模子，经由短期迭代，模子性能凌驾 80%。
另外，k豆钱包在龙华区加入了城市治理的项目，约莫有 20 多个项目场景，笼罩 78 类算法，其中k豆钱包整个平台完成了算法调理、、、治理、、、智能运维，可以在重大长尾应用当中快速的举行落地。
k豆钱包算法平台基于四个准则：：：平台开放、、、算法开源、、、标准开放、、、效果共享。现在k豆钱包生态情形已有许多生态同伴一起相助，一起协同构建城市的智能赋能底座。
提交乐成！！！
请您耐心期待！！！