论文详情

深度学习:本质与理念

178 3  
关注“壹学者”微信 >>
第一作者认领本论文 邀请作者认领本论文

第一作者:郭元祥

作者简介:郭元祥,华中师范大学教育学院教授、博士生导师,教育部华中师范大学基础教育课程研究中心主任,中国基础教育质量监测协同创新中心华中分中心常务副主任,中国教育学会教育学分会副理事长,2014年国家级教学成果奖一等奖获得者。2007年发起“海峡两岸能力生根计划”,在中国大陆率先倡导“深度教学”理念,并在江苏、湖北、湖南、广东、河南五省开展深度教学实验研究

人大复印:《中小学教育》2017 年 09 期

原发期刊:《新教师》2017 年第 20177 期 第 11-14 页

近十年来国际上最先进的教学理论其实根本不是国内疯传的“翻转课堂”等技术性的策略,而是源于人工智能和脑科学的深度学习理论。深度学习注重让学生沉浸于知识的情境和学习的情境,强调批判性思维,注重实现知识的内在价值。理解深度学习理论对深化我国的教学改革具有重要的意义。

一、深度学习概念的提出

深度学习的概念,源于30多年来计算机科学、人工神经网络和人工智能的研究。上世纪八九十年代,人们提出了一系列机器学习模型,应用最为广泛的包括支持向量机(Support Vector Machine,SVM)和逻辑回归(Logistic Regression,LR),这两种模型分别可以看作包含1个隐藏层和没有隐藏层的浅层模型。计算机面对较为复杂的问题解决训练时,可以利用反向传播算法计算梯度,再用梯度下降方法在参数空间中寻找最优解。浅层模型往往具有凸代价函数,理论分析相对简单,训练方法也容易掌握,应用取得了很多成功。①随着人工智能的发展,计算机和智能网络如何基于算法革新,模拟人脑抽象认知和思维,准确且高清晰度地进行声音处理、图像传播甚至更为复杂的数据处理和问题解决等,在21世纪来临的时候成为摆在人工智能领域的关键问题。

30多年来,加拿大多伦多大学计算机系辛顿教授(Hinton,G.)一直从事机器学习模型、神经网络与人工智能等问题的相关研究,并在机器学习模型特别是突破浅层学习模型,实现计算机抽象认知方面取得了突破性的进展。2006年,他在《Science》上发表了《利用神经网络刻画数据维度》(Reducing the Dimensionality of Data with Neural Networks)一文,探讨了应用人工神经网络刻画数据的学习模型,首先提出了深度学习(Deep Learning)的概念和计算机深度学习模型,掀起了深度学习在人工智能领域的新高潮。这篇文章的两个主要观点是:第一,多隐藏层的人工神经网络具有优异的特征学习能力,学习到的特征对数据有更本质的刻画,从而有利于可视化或分类;第二,深度神经网络可以通过“逐层初始化”(Layer-wise Pre-training)来有效克服训练和优解的难度,无监督的逐层初始化方法有助于突破浅层学习模型。②基于深度置信网络(DBN)提出非监督逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。③2012年,辛顿又带领学生在目前最大的图像数据库ImageNet上,对分类问题取得了惊人的结果,将计算机处理图像数据问题时排名前五的错误率(即Top5错误率),由最高26%大幅降低至15%,大大提高了人工智能图像数据处理的准确性和清晰度,这是早先计算机仅仅依赖数学模型的表层学习和单层学习根本无法实现的水平。

在人工智能领域,深度学习其实是一种算法思维,其核心是对人脑思维深层次学习的模拟,通过模拟人脑的深层次抽象认知过程,实现计算机对数据的复杂运算和优化。深度学习采用的模型是深层神经网络(Deep Neural Networks,DNN)模型,即包含多个隐藏层(Hidden Layer,也称隐含层)的神经网络(Neural Networks,NN)。深度学习利用模型中的隐藏层,通过特征组合的方式,逐层将原始输入转化为浅层特征、中层特征、高层特征直至最终的任务目标。深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深层模型是包含多个隐藏层的人工神经网络,多层非线性结构使其具备强大的特征表达能力和对复杂任务的建模能力。训练深层模型是长期以来的难题,近年来以层次化、逐层初始化为代表的一系列方法的提出,为训练深层模型带来了希望,并在多个应用领域获得了成功。

人工智能学者们认为计算机和智能网络的这一深层的自动编码与解码过程,是一个从数据刻画、抽象认知到优选方案的深度学习的过程。由于人脑具有深度结构,认知过程是一个复杂的脑活动过程,因而计算机和人工智能网络模拟从符号接受、符号解码、意义建立再到优化方案的学习过程也是有结构的;同时,认知过程是逐层进行、逐步抽象的,人工智能不是纯粹依赖于数学模型的产物,而是对人脑、人脑神经网络及抽象认知和思维过程进行模拟的产物。应该说,到目前为止,深度学习是计算机和智能网络最接近人脑的智能学习方法。近几年来,深度学习进一步尝试直接解决抽象认知的难题,并取得了突破性的进展,AlphaGo的问世,便是证明。2013年4月,《麻省理工学院技术评论》(MIT Technology Review)杂志将深度学习列为2013年十大突破性技术之首。④深度学习引爆的这场革命,将人工智能带上了一个新的台阶,不仅学术意义巨大,而且实用性很强,工业界也开始了大规模的投入,一大批产品将从中获益。二十世纪八九十年代以来,随着学习科学的不断发展,深度学习的概念和思想不断在教育中得到应用。

二、深度学习在教育中的兴起与发展

来自脑科学、人工智能和学习科学领域的新成就,必然引起教育领域研究者的深刻反省。计算机、人工智能尚且能够模拟人脑的深层结构和抽象认知,通过神经网络的建立开展深度学习,那人对知识的学习过程究竟应该是怎样的一个脑活动过程和学习过程?学生的学习有表层和深层等层次之分吗?从作为符号的公共知识到作为个人意义的个人知识究竟是怎样建立起来的?知识学习过程究竟是一个怎样的抽

下一篇

*非会员只能阅读30%的内容,您可以单篇购买,也可以订购全年电子版,或成为壹学者高级会员,畅用壹学者站内优质学术资源和服务。

近期0位学者阅读过本论文

回应区(0条)

确定

回应