近日，美国著名研究型风险投资公司Loup Ventures分析师Gene Munster和Will Thompson测试了四个智能音箱的IQ：Amazon Echo (Alexa)、Google Home(Google Assistant)、HomePod (Siri)和Invoke (Cortana)，分别询问了它们800个问题。
智能音箱的IQ主要通过内置的语音助手来体现。测试结果为：Google Assistant能够正确回答88％，占据第一位，紧随其后的是Siri，问题正确率为75％，排名第二，而万众瞩目的Alexa仅为73％，排名第三，Cortana为63％，排名第四。
相比去年，四款智能音箱IQ排名依旧没变，但是，IQ总体水平有所提高。
在去年，Google Assistant能够正确回答81％，Siri为52％，Alexa为64％，Cortana为56％。
Loup Ventures是一家研究型风险投资工资，主要投资前沿科技公司，并建立新的体验方式，为了更好地理解人工智能的实际使用案例以及语音作为计算输入的出现，Loup Ventures正在进行的工作的一部分是，定期测试最常见的语音助理和智能音箱。
虽然底层技术类似，但智能音箱的语音助手和智能手机上的语音助手在使用场景和用户体验差别很大，应该分别测试。
这次，他们测试了智能音箱Amazon Echo (Alexa)、Google Home(Google Assistant)、HomePod (Siri)和Invoke (Cortana)。
测试方法
向每个智能音箱询问了相同的800个问题，并对两个指标进行了评分：1、它是否理解所说的内容？2、它是否提供了正确的答案？问题旨在全面测试智能音箱的能力和效用，问题分为5类：
当地 – 最近的咖啡店在哪里？
商务 – 你能给我提供更多纸巾吗？
导航 – 我如何乘坐公共汽车去市区？
信息 – 双胞胎今晚有谁参加比赛？
命令 – 提醒我今天下午2点打电话给史蒂夫。
智能音箱型号
第二代Amazon Echo，Google Home Mini，Apple HomePod和Harman Kardon Invoke
测试结果与分析
Google Home继续表现优异，正确回答了86％并理解了所有问题。HomePod正确回答了75％并且只误解了3个问题，Echo正确回答了73％并且误解了8个问题，而Cortana正确地回答了63％并误解了5个问题。
值得注意的是，几乎每个被误解的问题都涉及一个专有名词，通常是当地城镇或餐馆的名称。
语音助手的语音识别和自然语言处理都得到了改善，在合理的范围内，他们会理解你所说的一切。
Google Home在五个类别中有四个处于领先地位，但在命令类别中不及Siri。HomePod在这方面的领先地位可能是因为HomePod把所有的Siri请求（比如短信、列表等）传送到与智能音箱配对的IOS设备上。而iPhone上的Siri与我们的命令类别中的电子邮件、日历、消息传递和其他重点领域进行了深度集成。
我们的问题集还包含大量与音乐相关的查询，这是HomePod擅长的。
最大的差异存在于商业领域，传统观点认为Alexa将占主导地位。但是，Google Assistant可以正确回答更多关于产品信息和在哪里购买某些商品的问题，Google Express在实际购买商品或重新进货方面与Amazon一样强大。
基于对消费者的调查以及我们使用语音助手的经验，通过语音命令进行购买商品的消费者数量微不足道。与商业相关的查询更倾向于产品研究和本地商业发现。
Alexa令人惊讶的商业评分解释了这一点。
问题：“美甲会花多少钱？”
Alexa：“美甲的最佳搜索结果是Beurer Electric Manicure＆Pedicure Kit。亚马逊上的售价为59美元。想买吗？”
Google Assistant：“平均而言，基本美甲将花费你大约20美元。然而，特殊类型的美甲，如丙烯酸、凝胶、紫胶和无芯片的价格从20美元到50美元不等，具体取决于沙龙。”
由于有专有地图数据的集成，HomePod和Google Home在本地和导航部分都遥遥领先于其他智能音箱。
在我们的测试中，我们经常询问当地企业、公交车站、城镇名称等。这些数据对Siri和Google语音助手来说具有潜在的长期优势。
每个语音助手都可以播放给定的歌曲或告诉你天气情况，但是，对于情境感知的理解将产生真正的差异。
如果你问，“我的日历上有什么？”一个真正有用的答案可能是，“20分钟后，在十二大道上的星巴克有一个会议。开车需要8分钟，乘坐巴士需要15分钟。我会在你的手机上提示方向。”
需要注意的是，HomePod在许多领域的表现不佳是因为与iPhone相比，Siri在HomePod上的能力有限。许多信息和商业问题都得到了“我在HomePod上找不到答案”回答。
苹果显然把HomePod定位为一个家庭音箱，而不是一个“智能音箱”。
智能音箱的进步
在12个月的时间里，Google Home提高了7个百分点，Echo提高了9个百分点，Siri（9个月）提高了22个百分点，而Cortana提高了7个百分点。
下面的图表显示了我们过去测试的结果。导航或商务类别问题正确率连续下降是由于我们对问题集进行了更改，以反映不断变化的能力，并确保我们的测试是详尽的。
除了HomePod在过去一年中由于启用更多域名而增加了22个百分点点，Alexa还有明显的进步。最大的进步来自信息部分，其中Alexa更有能力回答后续问题并提供诸如股票报价之类的东西，而无需启用技能。
我们也相信我们可能会看到新的Alexa Answers计划的早期结果，该计划允许人们对Alexa目前没有答案的问题进行众包答案。例如，这一轮，Alexa正确回答了，“托马斯杰斐逊与谁有暧昧关系？”和“直径为21的圆周长是多少？”
我们还注意到，之前未正确回答的一些特定生产力问题的改进。例如，Google Assistant和Alexa都可以联系Delta客户支持并查看在线订单的状态。除了HomePod之外的所有智能音箱，都可以根据要求播放一个特定的广播电台，而且都可以阅读睡前故事。
这些有形的案例对于智能音箱来说是重要的，我们希望看到智能音箱功能的全面改进，这些改进将语音的用途从音乐和天气等简单的事情推向了更广阔的领域。
分数接近80-90％，这就引出了一个问题，这些语音助手最终是否能够回答我们提出的所有问题？答案可能是否定的，但持续改进将使越来越多的功能由我们的声音控制。这通常意味着更多的设备间连接（例如，控制电视或智能家居设备）以及对电子邮件、消息传递或日历等功能的更多控制。
