NextMind正在构建一个实时大脑计算机接口，以399美元的价格推出开发套件

 
NextMind正在开发一种大脑计算机接口，该接口可将视觉皮层的信号转换为数字命令。我们试用了NextMind的设备，该设备可让您在视觉上将命令输入到计算机和AR / VR耳机中。最终，这家位于巴黎的创业公司希望让您用自己的视觉想象力做同样的事情。在CES 2020之前，我们与NextMind首席执行官Sid Kouider进行了交谈，他的公司在本月公布了开发工具包，本月将以399美元的价格向精选的开发商和合作伙伴发货。在抢先体验期之后，第二套限量版开发工具包(候补清单)将在2020年第二季度开始发货。
NextMind是越来越多的初创公司的一部分，这些初创公司依靠机器学习算法来构建无创神经接口。 2019年9月，Facebook收购了Ctrl-labs，后者正在开发一种肌电腕带，可将肌肉神经信号转换为机器可解释的命令。 NextMind也正在开发一种非侵入式设备，但它是一种戴在脑后视觉皮层的头后脑电图(EEG)。
“我们真的直接专注于皮层，”库伊德告诉VentureBeat。 “我们非侵入式地解码皮层中的神经活动。目标是通过直接使用大脑来实现实时交互。”
两条轨道
NextMind的设备要求您必须一直在注视着某些东西，因为那样一来，某些东西就会进入您的视觉皮层。您感知到的任何物体都会在您的视觉皮层中引起特定的反应。这种神经反应反映为脑电图的独特波动。您的视觉皮层不仅会从您的眼睛接收输入，还会放大您有意参加的功能的神经元放电。 NextMind目前由15名成员组成，涉及软件，机器学习，硬件和游戏开发。
“我们对大脑的运作方式非常了解，尤其是视觉意识，知觉和注意力的运作方式。这就是让我们发明这种称为数字神经同步的新方法的原因。我们使用您自上而下的注意力作为控制者。因此，当您以不同的方式专注于某件事时，您会引起注意。我们本身不解码意图，但是我们解码意图的输出。”
当您环顾四周并更多地关注某个对象时，“您的决定输出将是放大这些信息，” Kouider继续说道。 “然后我们知道您想移动该特定内容或激活该特定视觉内容。物体与大脑之间存在神经共鸣。他们之间有共鸣。您越集中注意力，越会增加共鸣，并且机器学习解码也会越多。然后，我们有充分的证据表明这是您要移动的那个。”
这就是为什么Kouider不想让您将他的设备称为眼动仪。眼动仪无法衡量意图。库伊德举起杯子。当我看着他时，他无法分辨我是在看着他的脸还是在看着杯子。但是，如果我使用NextMind设备，可以。
“我们正在解码您周围看到的东西，但这并不像眼动仪。就像您的视觉焦点一样。我们正在将我们的第一个产品推向市场，这是第一个实时大脑计算机接口。”
闭上眼睛，NextMind的设备无法使用，但以后的版本将可用。 NextMind正在并行处理两个轨道。视觉意图只是第一步。
“第二条轨道是解码视觉想象力，”库伊德说。 “事实证明，视觉皮层既是您从外部世界获得的输入的区域，又是您的记忆，想象力和梦想的输出。视觉皮层中为您提供视觉意识的神经元就是用来处理外界信息的神经元。”
Kouider声称，这不需要其他设备。这两个音轨将在同一硬件上串联使用。不同的软件和算法将仅处理不同的任务。
他继续说：“在这两种极端之间，即信息的接收和想象力的吸引，视觉上的关注。” “事实上，您可以自上而下地控制自己是看着这个，还是看着我，还是看着我。您可以从我的脸部特定的其他神经元中增强一些特定于此的神经元。视觉注意力确实是自上而下的。因此它受到其他大脑区域(例如前额叶皮层)的控制。它曾经用来增强一些选择性神经元，这就是我们在这里解码的内容。”
在2017年9月创立NextMind之前，Kouider是认知神经科学教授。他在《科学与自然》上发表了有关视觉意识和大脑的论文。他的工作主要针对无法说或无法表达自己想法的人群。他的实验室表明，婴儿意识到周围的事物，人们可以在入睡时通过听觉内容学习。在积累了无创地解码神经信号的专业知识之后，Kouider希望开发一种可以实时完成所有工作的产品。
“当我们做科学时，我们在许多试验中平均。我们离线进行分析。” “ NextMind的目标实际上是做同样的事情-从视觉皮层解码视觉意识，但要实时完成。通过实时进行，我们可以进行脑机交互。我们的目标确实是使它民主化，从某种意义上说，我们希望能够使用来自皮质的信息，对其进行解码，并让您将其与任何显示器进行交互使用。”
NextMind的设备重约60克，具有八个可测量大脑活动的电极。该创业公司选择了八个电极，因为这是最小的电极，不会冒任何潜在数据丢失的风险。佩戴电极并不十分舒适，但已经开始着手设计较小的设计，电极数量可能更少。真正的突破是电极本身用来为机器学习算法捕获更多数据的材料。
“在这里，我们真的面临着机器学习的问题，”库伊德说。 “这促使我们首先对这种具有更高灵敏度的新材料进行创新。它基本上就像一个EEG，但是除了避免使用任何凝胶外，它还使我们的SNR比临床EEG改善了约4倍。如果您在医院有脑电图，则需要凝胶。在每个电极上都有一个微芯片。我们直接处理模拟信息。”
电极的形状像梳子，因此它们可以穿过您的头发并到达头皮以获得良好的信号。 (秃头的库耶德(Kouider)在开始NextMind之后不久就剃了光头。)
Kouider说：“应该可以立即使用它，但是就像第一次使用鼠标一样。” “因此，您需要慢慢学习以感知动作中的大脑。”
在使用连接到笔记本电脑的设备之前，我必须将其固定，以使NextMind的软件确定它正在接收高质量的信号。然后，我必须进行一次校准和培训课程，以建立我的神经特征的模型。这主要包括集中于三个更靠近在一起形成三角形的绿线。该三角形将出现在屏幕上的不同对象上。几分钟后，NextMind已经生成了大约1到10兆字节的数据，这些数据代表了我的神经特征。在校准过程中，我被要求保持静止不说话，以得到一个好的模型。否则，演示将不会很有趣。
演示版
我尝试的第一个用例是NextMind之前显示的电视演示(请参见上面的视频)。使用NextMind的设备，我可以通过集中控制自定义电视用户界面各个区域中的绿色三角形来控制电视。我可以更改频道，播放或暂停内容，以及使声音静音或取消静音。我通过将注意力集中在相应的绿色三角形上来完成了所有这些工作。
第二个演示是一个平台游戏，其中我控制了一个小立方体。 (我没有视频，但可以想象一个简单的平台游戏。)我有一个操纵杆可以移动和跳跃，但是我可以通过集中注意力来射击敌人并推动物体。每当屏幕上出现一个绿色三角形时，我都会将注意力集中在该三角形上，以执行自己的操作。
第三个演示让我注意输入一个四位数的数字。专注于每个数字的过程很缓慢(Kouider后来证明，由于他有更多的练习，他可以更快地做到这一点。)
第四个演示是经典游戏Duck Hunt的修改版。使用我的视觉注意力比使用喷枪控制器容易得多。实际上，这是如此容易，以至于我试图通过将注意力集中在眼睛角落之外的鸭子上来使其变得更加困难。 “只要它最终进入您的视觉皮层，原则上就应该是可解码的，” Kouider说。速度较慢，但​​仍然有效。
我摘下眼镜。我看不到任何鸭子上的绿色三角形。 “当然，不仅仅是三角形。”库伊德说。 “三角形只是焦点。”戴上我的眼镜，有时会弄错一只鸭子。这是因为系统使用证据累加器工作。有时它太宽松了，可以断定您专注于错误的对象。
到目前为止，最有趣的是第五个演示，我可以在其中更改灯的颜色。但是首先，这需要进行一些重新校准。在培训课程中，我不得不专注于一个色块，然后通过关注每个相应的色块，可以实时切换灯的颜色。
可以很容易地想象到如何在第二轨道中工作。开发人员可以为灯拍照，在其上投上着色器，然后对图像进行操作(例如更改物理灯的光色。)有一天，NextMind设备的所有者可以自己完成此操作然后简单地想象他们拍摄的照片。软件将负责其余的工作。
一切如何运作
诀窍在于，NextMind的设备不仅可以检测颜色差异，还可以检测代表每种颜色的小块。您在视频中看不到的是，每个块都有不同的样式。这就是设备在我的视觉皮层中解码的内容。因此，色盲人员理论上也可以进行此演示。 “视觉皮层包含有关形状，方向，边界，颜色和运动的信息，” Kouider解释说。
电视应用程序也是如此。每个用户界面按钮的背景中都有小颗粒，绿色三角形显示在其中。引脚垫演示也是如此。这些颗粒以不同的频率缓慢出现和消失。每个数字都有不同的时间模式。 Kouider说：“我们知道您的大脑与五个而不是六个或四个同步，因为基本上它会优先响应该特定模式。”
“我相信很快就会到来，我们甚至能够自行解码形状。您不需要颜色，几乎不需要图案。”
为什么勉强? “这种模式正在帮助我们。我的意思是，你的大脑做到了。它可以区分五个和四个。 [数字]不必稍微闪烁。因此，如果您的大脑能够做到，那就意味着信息就在那里。”
简而言之，NextMind将保持模式不变，以便证据收集器可以更快地建立起来。最终，柯伊德希望，您可以随意进出。
“也许不是使用SDK版本1，但您可以集中精力，也可以决定不做任何事情。您可以决定要按下多少。有点像将手指放在键盘上但不按。”
演示绝不是完美的，但我认为该技术确实毫无疑问。话虽如此，NextMind仍在努力解决问题，并致力于改善其硬件，软件和机器学习。
“我们改进了硬件。我们改进了机器学习，例如我们正在使用的深度神经网络。这与改善认知能力息息相关，例如如何更好地集中注意力，需要注意哪种信息，如果要忽悠忽悠，大脑的优先频率是多少?这些事情。”
Kouider说，他的团队花费了大量时间和精力来开发可利用的认知技巧。建立更快，更高效的机器学习是其中的一部分，但是找出创新的方法和捷径以获得预期的结果也是如此。但是这两个都不是最大的障碍。
“目前的硬件是主要限制。但这不仅是我们的问题，还涉及任何成像问题。您不希望对周围的人进行MRI检查，因为它的分辨率更高，但时间分辨率却很差。”
就像任何机器学习创业公司都会告诉您的一样-最终，您的数据会限制您的学习范围。
VR演示
NextMind设计了其设备，因此您可以将其简单地夹在Oculus VR耳机的背面。如此出色的表现使其在本周的CES 2020上获得了两项大奖：“ VR / AR最佳创新奖”和“可穿戴技术中的Honoree”。根据我尝试的演示，这些胜利并不令我感到惊讶。
Oculus VR耳机上的NextMind设备
我必须参加另一个VR演示培训课程，其中涉及专注于外星人大脑的中心以使其爆炸。同样，在校准过程中不要讲话。校准最终应该会花费更少的时间，因为系统会实时估计模型的置信度，并在模型满意时停止。
Kouider指出，在VR中，分辨率不是很高，因此您可以通过集中视觉注意力来采取行动的对象必须更大。就像在Duck Hunt游戏中一样，有时我会看着一个敌人，而另一个会爆炸。当分辨率较差并且屏幕上有多个敌人时，证据收集器的工作很棘手。这次没有绿色三角形，但是有很多闪烁。
“眨眼本身并不重要，”库伊德说。 “显示必须有所变化。例如，可能是颜色变化。您的大脑必须处理新信息。我们需要产生神经反应。”
我可以爆炸的另一个物体是木桶，但它的形状与外星人的大脑不同。但是它在眨眼。 Kouider暗示，随着游戏的发展，某种形式的迁移学习正在发生。
Kouider说：“不要将其视为独立设备。” “这是一种形式。对于想要进行增强现实或虚拟现实的人们来说，这是一种额外的方式。”
杀手级用例
同样，NextMind的所有演示都可以正常工作。您觉得自己处于控制之中。 “还没有完全控制，”库伊德说。 “这就是我们正在努力的方向。这很快就会实现。”
到目前为止，这里还没有什么东西可以帮助您更快地动手或使用其他设备。寻找杀手级用例的过程正在进行中。因此，公司之所以会提供开发套件，有两个原因。首先是获得更多数据以改善其机器学习算法。第二个是NextMind希望开发人员尝试新的用例。
Kouider列出了一些与开发商，投资者和潜在合作伙伴进行讨论的结果。最大的惊喜是，NextMind引起了自动驾驶汽车制造商的兴趣。他们设想将电极直接插入汽车座椅。如果没有方向盘并且您不必将手放在任何地方，也许乘客可以向后靠在座椅上来控制汽车的功能。无需将手放在任何地方或穿任何特别的衣服。
然后是增强现实。 VR还在前进，因此从那里开始很有意义。但是，如果可以将这种EEG技术内置到一副眼镜后面的表带中呢? “ AR眼镜来了，”库伊德说。 “因此，如果使用较小的版本，它将成为一个潜在的用例。再说一次，这是一种额外的方式。您可以将其与手势配合使用，也可以将其与眼动追踪配合使用。”
Kouider提到的另一个用例是神经监测。假设您是一名飞行员，并且闹钟响起，表明出了点问题。您没有看到它，没有注意它，也没有对其进行处理。如果设备在五秒钟内检测到您尚未确认警报，则它可以调整警报-例如，使其更明显。神经监测可用于验证某人正在注意一组说明。
“但是对我们而言，重要的是进行控制而不是监视，因为我们希望尽可能快地推动算法。”另外，神经监视并不能衡量意图，这可能更有趣。
“真正的主要成就是第一次实现实时的大脑互动，” Kouider说。 “但是我真的认为，从现在起的三四年内，我将能够闭上眼睛，思考一下我的妻子或孩子们[在屏幕上显示他们的照片]。即将到来。因为从理论上讲，它是有效的，所以这只是信号问题。因为我们知道这在大脑中是如何工作的，但是要实时进行，所以这真的很难。”