【首先声明,本文仅用于对通用学习机有真诚兴趣的朋友之间的交流】
前几天写了一个短文
“究竟深度学习在干什么?”
(文章的微信链接:
本微信公众号历史中2017年11月15日专题文章或
http://www.sohu.com/a/205257734_680233
)。发表后,很多朋友参与了讨论。谢谢大家。文中提到了展望比深度学习更高效的机器学习——通用学习机。现在我们来对通用学习机做一些更具体的展望。
············
什么是通用学习机
通俗地讲,通用学习机就是可以自主学习任何东西的机器。这样讲当然对。但是,究竟不是精准的定义。完全精准的定义,请参考我的英文原文,链接在这里。
http://arxiv.org/pdf/1706.00066.pdf
也请参考中文翻译,链接在这里:(
详见
本微信公众号历史中2017年11月15日专题文章或
http://www.sohu.com/a/205257734_680233
)
不过,我们可以不失精确但又比较通俗地说:
通用学习机就是这样一个计算机系统,它不需要人工的干预,只要有数据,就可以高效能学习,学会数据里面隐含的东西。尤其,不需要像深度学习那样,需要预先人工搭好一个模型,才能学习。
我们将采用这个比较通俗的说法。但是,我们还是要附加一句:
有对空间图式(如指纹)学习的,有对时序图式(如语言)学习的。最初阶段,集中精力做对空间图式的学习机更有利一些。
············
为什么要考虑通用学习机
那么为什么要考虑通用学习机呢?深度学习不是也是这样的吗?只要有数据,就可以学会数据里面隐含的东西?
这个问题问得非常好。的确,我们需要首先解答这个问题。
但是,这个问题也好解答:明确说,现有的深度学习框架并不能做到
:“这样一个计算机系统,它不需要人工的干预,只要有数据,就可以高效能学会数据里面隐含的东西,尤其,不需要预先人工搭好一个特定的模型,就能学习”。
正因为深度学习做不到,我们才要展望通用学习机。
············
通用学习机和现有深度学习的区别
那么究竟深度学习和通用学习机有什么根本的区别呢?
1. 通用学习机获得并将继续获得更多的理论指导,而现有的深度学习的理论指导严重不足。
2. 深度学习没有一个明确的内部表征空间,使得不能清晰简明地表达X-形式。而通用学习机有一个清晰简明的内部表征空间。
3. 因为没有明确的内部表征空间,深度学习很难做动态结构调整。如果采用人工干预,当然是可以调整结构的。但是那样就又有了许多困难。相反,通用学习机从一开始就是可以自动地动态调整内部结构的。
因为这些区别,使得通用学习机具备若干优势,这里对这些优势做一些简单的描述,可能很不全面:
1. 因为具备良好的表征空间,可以对通用学习机的行为作出完全的解释和达到完全的控制(即所谓的XAI,这是急迫需求)。
2. 通用学习机本身具备很强的信息处理能力,而且这种能力既可以用编程来赋予,也可以用学习的方法来赋予,更可混合赋予。深度学习很难做到。
3. 可以采用多种学习策略和学习方法,完全可以采取和现有深度学习相同的方法(即嵌入巨大参数空间,并且导入求极值的动力学),也可以采取现在无法企及的方法(如,在充足支持的数据驱动下,逐级提取抽象),还可以采用教学灌输的学习方法。
4. 可以很自然容纳5种不同的学习方式一起使用(即:逻辑推导或者符号方式,连接主义方式,概率方式,进化论方式,联想方式),深度学习很难达到这样的自然容纳。因此可以比较有效地做无监督学习。可以用较少的数据学到较多的东西。
5. 可以比较有效地利用以前的学习结果,缩短学习的时间和需要的数据。不需要于人工预设一个模型,然后才能学习。
6. 完全有条件做到低功耗,低计算资源消耗,因此做到嵌入系统中去。
7. 具备很强的拓展潜力。综合而言,有潜力成为把信息处理和学习集成为一体的新一代计算的基本框架。
根据这些优势,通用学习机就比深度学习更高一个层次。
············
能够做出通用学习机吗?
通用学习机很好,但是,能够做出吗?我们明确回答
能
。但是为什么呢?
我们的回答是:首先,通用学习机的确存在于世界上,在生物世界里面就有很多,我们不用怀疑其存在,需要的是用电子计算把存在的复制出来。其次,我们已经证明了一些定理,说明能够构建通用学习机。请参考文章:http://arxiv.org/pdf/1706.00066.pdf 也请参考中文翻译,链接在这里:
本微信公众号历史中2017年11月15日专题文章或
http://www.sohu.com/a/205257734_680233
那么应该怎样来构建通用学习机呢?
············
怎样做通用学习机?
从比较广泛意义上讲,我们需要做这些事情:
1. 研究X-形式的数学理论,以及相关的理论,让我们有更坚实的理论基础。对此,我们已经做了一些初步研究。这些初步结果已经产生了重要作用,例如规定了数据充足性,使得我们对数据有了比较清楚的认识。X-形式是一个大研究领域,需要更多的人来参与。
2. 研究和发明通用学习机的策略和方法。我们已经发明了一些学习策略,可以做来做通用学习机。还需要开发更多的策略,以及各种学习方法。
3. 具体实现通用学习机。实现通用学习机的一个核心就是发明实现内部表征空间的方法。我们预估这样的方法肯定不唯一,肯定可以有多种方法。我们已经发明了一种方法,并且申请了专利。欢迎大家一起来发明。具体实现的方法,可以是软件的,也可以是硬件的,当然也可以软硬件结合。如果有硬件的通用学习机,应该可以更好做低功耗的学习。
4. 应用到具体的问题。我们需要把通用学习机用到具体的问题中,产生好的效果。例如,可以做机器视觉的问题。通用学习机,因为具备通用性,完全可以做出一些通用的视觉模块(如察觉边界),而把这些模块让其他的程序使用,这样就有了一些具备极高商业价值的项目。
5. 向高价值的商业场景进展。通用学习机不仅和学术相关,更是具备高度商业价值的项目。在通用学习机初步成功的基础上,自然会向商业场景发展。这样的进展也将帮助通用学习机走向更广阔的空间。
上面的这些方面,都需要有人来做。一个关键点是在3,就是利用已经有了理论和方法,来做出有效的通用学习机。
············
通用学习机的用途
现在发散思维一下,说说对于通用学习机的用途的一些想法。通用学习机肯定可以用于非常多的领域。我们相信,如下是可以比较快的应用起来的领域:
1. 各种模式识别,如在卫星图中自动识别某种模式,又如虹膜识别,等等
2. 大数据分析,不需要预先的设定就可以进行大数据分析,而且分析结果可以有良好充分的解释
3. 无监督学习,以及用较少的数据得到更好的结果
4. 把机器视觉和自然语言处理推向更高的境界
5. 低能耗的学习机(如自动驾驶,机器人)
6. 利用以往的学习结果而继续学习。因此可以产生一个新的产业领域,即销售学习机模块,这些模块已经学习过,具备某种特定功能。这样,其他的学习机,在配备了这样的模块后,学习效率就极大提高了。
但是,我们认为,还有更多的领域:
1. 在相当多的领域内(如机器人控制,自动驾驶,大型控制软件,等等),逐渐用对机器进行教学的方式来取代编程。
2. 和更高层次的人工智能(如AGI)做良好的联系,并且成为这些领域的重要工具。
3. 向上联系到哲学层次的工作,如机器认识论,各种逻辑,等等,并且与之共同发展。
4. 用于各种科学领域,成为这些领域内的科学家的探索工具,乃至于思考工具(不仅仅是资料准备,数据计算和呈现,而是的的确确参与思考,成为他们思考的有机组成部分)。
我们相信,随着工作的深入,我们将看到更多的用途。
·········
通用学习机目前的状况
通用学习机建立在机械式学习的理论基础上,建立自己的独到的表征空间,并且建立自己的学习策略和学习方法,已经从理论上证明,通用学习机可以学习任何外界图式(pattern),不用人工干预,仅通过外界提供适当数据,不必是大数据,仅是足够数据,就可以促使通用学习机学会对特定信息的处理能力。
通用学习机尚在发展的最初期。对未来我们未必就完全清楚。但是我们有充分的理由来相信,通用学习机将和上个世纪40年代的通用计算机(即冯·诺依曼提出的计算机,也是现在所有计算机的基本框架)一样,有远大的前途,甚至于,通用学习机将成为新一代计算的基本框架。对这样新一代的计算系统,其处理信息能力既可以通过编程来赋予,更可以通过学习来赋予。这样的新一代计算系统,将最终超越现有的计算系统。
通 用学习机可以有多样的具体实现方式。我们已经发明了一种具体的实现通用学习机的方式。
请查看中国国家知识产权局的专利申请号:
201710298481.2
。这个具体发明中设计的表征空间,具备实现极低功耗的特征,因此有可能引入新的硬件的发展。
通用学习机需要更多的工作,需要更多的发明。欢迎有更多的朋友一起来探索理论,发明方法,构建系统,促进应用。欢迎对通用学习机有真诚兴趣的朋友的反馈,特别是数学高手和底层程序编程高手。
我的微信号为:
niuyuelaoxiong,请联系。谢谢大家。
深度学习取得了巨大的成功,这是无容置疑的。对此,我们不必再多说什么。但是,其理论基础仍然有很大的空白。例如:究竟深度学习在做什么?为什么可以学习很多东西?这些问题极为重要。但是直到现在,仍然众说纷纭,没有定论。
我最近写了一篇文章来讨论这个事情。文章题目是:
What Realy is Deep Learning Doing?
翻译成中文就是:
究竟深度学习在干什么?
英文原文的链接(请大家查阅):
https://arxiv.org/pdf/1711.03577.pdf ;中文链接是:
本微信公众号历史中2017年11月15日专题文章或
http://www.sohu.com/a/205257734_680233
这里是我在一个微信上写的短文,用中文把原文的想法从新写一遍,希望更容易理解一些。由于这里写数学公式不方便,就尽量不采用数学公式,仅用文字说明。请有兴趣的读者查看原文。欢迎大家联系做更深入讨论。
我的微信号是:niuyuelaoxiong,欢迎联系!