一种面向程序设计语言课程个性化学习效果分析系统及方法与流程

本发明涉及一种面向程序设计语言课程个性化学习效果分析系统及方法，属于计算机应用技术领域。

背景技术：

教育性的数据挖掘和学习分析可以更好的了解学生的行为和知识状态，学生的学习效果研究一直是教育学一个重要的环节。准确评判学生的认知能力，不仅可以更加准确的给出学生更加公正的评分，还可以指示教师找到学生存在的知识薄弱部分；能够及时向学生个性化反馈学习过程中知识不扎实的地方，以促进学生加强此方向的练习。

随着在线教育与在线考试机构的不断发展，日益增大的学生、课程规模以及课程复杂度的加深给当前的教育领域的数据分析和模型学习工作带来机遇和挑战。然而大部分机构侧重于单一的测量分析，课程数量也较为简单与单一特性，远不能满足对学生全面的学习效果和能力评价。程序设计语言不仅是专业人员的入门必备的基础，也是越来越多的非专业人员必须要掌握的一门技能，同时程序设计语言课程的学习也是掌握其他计算机技术的基石。但准确判定一个学生程序设计语言的掌握情况，不仅需要判定其知识点认知能力，也要考虑实践应用能力。然而，现如今的教育测评机制已经不适用需要判定学生实践能力的课程，这对如何正确判定学生的实践能力，在传授知识的同时强化实践能力的培养提出新的要求。

目前的学习效果分析系统主要分为基于智能教学系统的经典教育数据分析和基于慕课(mooc)的学习效果分析。这两大类的学习效果分析依然存在如下的不足之处：(1)当前学习效果分析系统尚未把学习者的认知轨迹、教学内容的知识体系和软件项目实践活动进行时空维度的关联和融合，造成片面反映学习规律；(2)当前系统未有特定的面向程序设计语言课程知识点粒度的微观学习效果评价体系；(3)当前系统忽视了学生和题目之间的差异化，未能针对学生个体提供个性化反馈信息。

技术实现要素：

本发明技术解决问题：克服现有技术的不足，提供一种面向程序设计语言课程个性化学习效果分析系统及方法，立足于探索研究学生的认知能力与实践能力的结合比较，挖掘学生的学习特点和模式，追踪学生学习状态轨迹变化，提高评判学生的认知与实践学习效果的准确性，建立起学生对整个程序设计语言课程的从认知能力到实践能力双重方向的评价体系，并实现个性化学习轨迹效果的展示以及学生学习规律的揭示。

本发明技术解决方案：一种面向程序设计语言课程个性化学习效果分析系统，包括：认知能力评估、实践能力评估模块、反馈模块；其中：

认知能力评估模块，通过项目反应理论模型训练出的学生参数和项目参数，作为先验数据对学生的普通作业答题表现进行个性化处理，实现个性化知识跟踪模型，再通过模型训练和推断过程，获取学生的面向程序设计语言课程的认知能力水平数据；

实践能力评估模块，根据基于sfl技术的学生实践能力评估算法(sfl-basedpracticalabilityassessmentalgorithm,简称sfl-paa算法)对学生的程序作业语句集进行处理，利用获得的单元识点分布作为部分观察变量建立多知识点追踪模型对学生程序作业的答题表现进行进一步处理，后根据模型训练和推断过程，获得学生最终的实践能力水平；

反馈模块，针对学生的双重能力值分布做出分析，即对认知能力评估模块得到学生的认知能力水平和实践能力评估模块得到的实践能力进行分析，将实践能力不足的知识点反馈给学生；可视化学生的认知能力轨迹和实践能力轨迹，实现个性化学习轨迹展示，描绘各知识点二维能力分布图，并根据此图分析学生学习特点。

所述认知能力评估模块的项目反应理论模型具体实现步骤如下：

(1)依据学生在普通作业的答题表现，设学生i在项目j上的答题表现为yij，答题正确的概率为p(yij)，d为常数，k为循环次数下标，k的初始值为1，设待求的参数为每个学生的能力参数θi以及每个项目参数βj＝(aj,bj,cj)，其中aj表示区分度、bj表示难度、cj为猜测系数)，待求参数与答题正确概率的关系公式如下：

(2)求第k次循环的学生参数θ^k，首先从正态分布qθ中随机抽样θ^*～qθ(θ^k-1，θ)，当满足接受率的范围之内时，则接受此次采样，令θ^k＝θ^*，否则θ^k＝θ^k-1；

(3)求第k次循环的项目参数β^k，从正态分布qβ中随机抽样β^*～qβ(β^k-1,β)，当满足接受率时，则接受此次采样令β^k＝β^*，否则β^k＝β^k-1；

(4)令k＝k+1，重复执行步骤(2)和(3)，获得采样样本θ^b,θ^b+1,…,θ^t；β^b,β^b+1,…,β^t；其中设达到抽样稳定条件的下限为b＝900，上限t＝1000，根据大数定律，取样本的均值作参数的估计值，获得学生i的参数值为项目j的参数值为

(5)应用五折交叉验证法，更换训练集和测试集，重复执行步骤(2)～(4)，选择最优的学生参数和项目参数作为最后所求结果。

所述d的取值为1.7。

所述认知能力评估模块的个性化知识跟踪模型具体实现步骤如下：

(1)基于可观察的学生的普通作业答题序列信息，将学生参数和项目参数作为先验数据应用到期望最大化算法中，个性化地训练出知识跟踪模型的学习参数：初始知识水平p(l0)、学习转化率p(t)以及表现参数：猜对概率p(g)、失误概率p(s)；

(2)设回答第i题后的知识状态后验概率为p(li|evidencei)，p(li)为回答第i道题前的知识状态先验概率，为1-p(li)，为没有失误的概率，为猜错概率，i初始值为0。若第i题回答正确，知识状态后验概率回答错误则

(3)设在回答第i+1题前的知识状态先验概率为p(li+1)，则根据回答第i题后的知识状态后验概率推导可得获得回答第i+1题前的知识状态先验概率p(li+1)为：

(4)重复执行步骤(2)和(3)，获得学生答完最后一道题目的知识状态后验概率，将其作为学生认知能力水平数据；

(5)对比模型预测率，选择最佳的学习训练模型；

(6)将最佳的学生认知能力水平估计值存储在系统的数据库中。

所述实践能力评估模块中的基于错误定位技术实现学生实践能力评估具体实现步骤如下：

(1)利用基于程序谱的错误定位技术对学生的程序作业语句集进行错误定位：执行测试用例并收集代码覆盖信息，根据覆盖信息计算各覆盖元素可疑度，根据可疑度从大到小将各覆盖元素排序，逐个排查出错位置进行错误定位；

(2)用定位效率作为测试标准验证sfl技术的有效性，若有效则进入步骤(3)，若无效则回步骤(1)调整可疑度计算方法；

(3)根据错误知识点标注规范人工标注步骤(1)得出的错误定位排序结果，收集单元知识点分布；

(4)通过sfl-paa算法估计学生实践能力水平：根据人工标注的结果，将学生在一单元中知识点被标注错误的频数除以该单元程序作业数目作为该生未能在这单元正确实践应用知识点的概率估计，知识点被标注到的频数越高，说明学生在这个知识点上实践犯错的概率越大，真实的实践能力值就越低，把上述概率估计值的补数作为学生在这一单元的实践能力水平估计值。

所述实践能力评估模块的多知识点追踪模型的具体实现步骤如下：

(1)将单元知识点分布作为观察变量构建(logisticregression-dynamicbayesiannetwork,lr-dbn)模型；

(2)基于学生程序作业的答题表现，应用期望最大化算法计算出知识点j的模型参数：初始状态水平p(l0,j)、学习转化率p(tj)、猜对概率p(gj)、失误概率p(sj)；

(3)设回答第t道程序作业题目后在知识点j上的实践能力状态后验概率为pposterior(kj,t)，t初始值为0，若第t道程序作业题目回答正确，则该道题目所含的知识点j的实践能力状态后验概率若第t道程序作业题回答错误，则

(4)设回答第t+1道程序作业题前在知识点j上的实践能力状态先验概率为p(kj,t+1)，根据步骤(3)所得的pposterior(kj,t)，求得实践能力状态先验概率p(kj,t+1)公式如下：

p(kj,t+1)＝pposterior(kj,t)+(1-pposterior(kj,t))*p(tj)

(5)重复执行步骤(3)和步骤(4)，获得学生答完最后一道程序作业题目的知识状态后验概率，将其作为学生在知识点j上的实践能力水平数据；

(6)对比模型预测率，根据分知识点场景进行出最佳模型学习效果，并获得最佳的学生实践能力水平评估数据；

(7)将最佳的学生实践能力水平估计值存储在系统的数据库中。

所述反馈模块实现步骤如下：

(1)将学生的能力值分布看作是正态随机变量，设认知能力评估模块所获得的学生认知能力水平为随机变量x1，设实践能力评估模块所得的学生实践能力水平为随机变量x2，对两个随机变量进行相关性分析，求得各知识点的pearson系数，公式如下式，ρ介于-1到1之间，绝对值越大相关性越强，ρ>0正相关，ρ＜0为负相关；

(2)反馈实践能力不足的知识点，设定实践能力临界阈值δ，若学生的实践能力小于该临界阈值δ，则判定该生存在实践能力不足的现象，应及时向学生反馈不足之处；

(3)应用作图工具，可视化显示学生的认知能力轨迹和实践能力轨迹，实现个性化学习轨迹图示；

(4)展示各知识点的二维能力分布图，并根据分布图分类学生的学习规律。

根据大量试验和经验数据，δ设定范围为0.5～0.6。

一种面向程序设计语言课程个性化学习效果分析方法，步骤如下：

(1)通过项目反应理论建立被测者项目反应与项目参数、被测者能力水平之间的非线性学习效果模型，设计合理的项目反应理论模型，采用吉布斯采样参数估计方法，估计出项目参数以及被测试者个人的能力水平；

(2)利用学生普通作业的答题序列信息建立知识跟踪模型，并通过期望最大化算法求得模型学习参数和表现参数，后利用概率推断获得学生的认知能力水平数据；

(3)个性化知识跟踪模型，利用项目反应理论模型学习出的参数作为知识跟踪模型的先验数据实现个性化学生和个性化题目处理，以期得到更高学生认知能力评估的预测准确率；

(4)利用sfl技术实现各程序语句的错误可疑度排序，对学生程序作业错误进行定位，对可疑度排序结果人工标注错误知识点，后应用sfl-paa算法评估学生的实践能力水平；

(5)通过sfl-paa算法得到各单元知识点分布，再将其作为观察变量构建lr-dbn模型分析学生程序作业表现信息，利用期望最大化算法对lr-dbn模型进行参数学习后根据概率推断获得实践能力估计值，将lr-dbn模型与sfl-paa算法应用到相应的场景中实现模型选择，最终判定学生的实践能力；

(6)对学生各知识点认知能力分布和实践能力分布做相关性分析，比较实践能力值低于经验阈值的知识点，将实践能力不足的知识点反馈给学生，可视化学生的认知能力轨迹和实践能力轨迹，实现个性化学习轨迹以及各知识点的二维能力分布图的展示，后根据学生二维能力分布图，分类学生的学习规律。

本发明与现有技术相比的优点在于：本发明针对当前的学习效果模型在面向程序设计语言课程方面的认知与实践双重方向的知识点粒度建模以及个性化学习研究的缺乏，通过项目反应理论模型和知识跟踪模型的训练学习，以及将项目反应理论模型的参数结果作为先验数据去个性化知识跟踪模型以获得更加准确的认知能力评估，通过程序错误定位模型结合人工标注提出学生对各知识点实践能力的估计算法，再建立多知识点追踪模型来分析学生程序作业表现数据，判定学生最终的实践能力，个性化反馈学生实践能力不足的知识点，展示学生学习轨迹。

本发明与现有技术相比的优点在于：

(1)由于现有的技术尚未把学习者的认知轨迹、教学内容的知识体系和软件项目实践活动进行时空维度的关联和融合，造成片面反映学习规律。本发明的实践能力评估模块中的sfl-paa算法以及lr-dbn模型对学生的实践能力进行估计，使得学生不仅限于了解知识点认知能力水平，更加全面的了解自己的学习效果以及规律。同时本发明的反馈模块中实现学生的认知轨迹展示，有助于将学生学习知识体系与实践轨迹活动进行关联和融合，反映出更加全面的学习规律；

(2)现有技术未有特定的面向程序设计语言课程知识点粒度的微观学习效果评价体系，而本发明将研究对象划分出细粒度的知识点，针对每一个知识点进行认知能力评估和实践能力评估，双向建立微观学习效果评价体系，更加细致全面体现学生学习效果知识体系。

(3)现有技术忽视了学生和题目之间的差异化，未能针对学生个体提供个性化反馈信息。本发明通过提供先验数据分别实现个性化学生知识跟踪模型和个性化题目知识跟踪模型，针对学习效果的评估情况，及时个性化反馈学习信息，指示学生加强薄弱知识点的学习，能够个性化提高学生学习体验。

附图说明

图1为本发明系统组成框图；

图2为本发明中的认知能力评估模块的实现流程图；

图3为个性化学生知识跟踪模型图；

图4为个性化题目知识跟踪模型图；

图5为本发明中的实践能力评估模块的实现流程图；

图6为基于程序谱的错误定位技术流程图；

图7为基于错误定位技术实现学生实践能力估计流程图

图8为lr-dbn模型图；

具体实施方式

为了使本发明的目的、技术方案和发明优势更加清楚明白，以下对本发明的实施方式做具体介绍。

本发明基于项目反应理论、知识跟踪模型、错误定位技术、多知识点追踪、数据统计等技术，充分利用学生的程序设计语言课程的作业数据以及表现信息，对学生进行各知识点的认知能力以及实践能力评估，并向学生个性化反馈学习效果信息。最终实现面向程序设计语言课程个性化学习效果分析。如图1所示，本发明系统组成包括：认知能力评估模块、实践能力评估模块、反馈模块；其中：

1.认知能力评估模块

认知能力评估模块的实现流程图如图2所示，在整个认知能力评估模块设计中，主要是两种模型的训练和验证测试，从中选择最优的模型进行最终认知能力估计值的判定，并形成个人知识点认知轨迹。

训练阶段：项目反应理论模型采用吉布斯采样算法训练求得学生参数和题目参数；知识跟踪模型使用期望最大化算法进行学习，结合项目反应理论模型的参数进行个性化设置。

验证测试阶段：项目反应理论模型采用五折交叉验证法，选择最合适的模型参数。知识跟踪模型通过概率推断获得认知能力估计值。对两类模型做预测正确率的比较，选择正确率最高的模型。最后将最佳的认知能力估计值存储在系统的数据库中。

其中认知能力评估模块分为项目反应理论分析模块和个性化知识跟踪模型模块：

1.1项目反应理论分析模块

项目反应理论分析的具体步骤如下：

(1)依据学生在普通作业的答题表现，设学生i在项目j上的答题表现为yij，答题正确的概率为p(yij)，d为常数(一般情况下取值1.7)，k为循环次数下标，k的初始值为1。设待求的参数为每个学生的能力参数θi以及每个项目参数βj＝(aj,bj,cj)，其中aj表示区分度、bj表示难度、cj为猜测系数)，待求参数与答题正确概率的关系公式如下：

(2)求第k次循环的学生参数θ^k，首先从正态分布qθ中随机抽样θ^*～qθ(θ^k-1,θ)，当满足接受率的范围之内时，则接受此次采样，令θ^k＝θ^*，否则θ^k＝θ^k-1；

(3)求第k次循环的项目参数β^k，从正态分布qβ中随机抽样β^*～qβ(β^k-1,β)，当满足接受率时，则接受此次采样令β^k＝β^*，否则β^k＝β^k-1；

(4)令k＝k+1，重复执行步骤(2)和(3)，获得采样样本θ^b,θ^b+1,…,θ^t；β^b,β^b+1,…,β^t；其中设达到抽样稳定条件的下限为b＝900，上限t＝1000，根据大数定律，取样本的均值作参数的估计值，获得学生i的参数值为项目j的参数值为

(5)应用五折交叉验证法，更换训练集和测试集，重复执行步骤(2)～(4)，选择最优的学生参数和项目参数作为最后所求结果。

1.2个性化知识跟踪模型模块

个性化知识跟踪模型模块的具体步骤如下：

(1)构造个性化学生知识跟踪模型(图3)和个性化题目知识跟踪模型(图4)；

(2)基于可观察的学生的普通作业答题序列信息，将学生参数和项目参数作为先验数据应用到期望最大化算法中，个性化地训练出知识跟踪模型的学习参数：初始知识水平p(l0)、学习转化率p(t)以及表现参数：猜对概率p(g)、失误概率p(s)；

(3)设回答第i题后的知识状态后验概率为p(li|evidencei)，p(li)为回答第i道题前的知识状态先验概率，为1-p(li)，为没有失误的概率，为猜错概率，i初始值为0。若第i题回答正确，知识状态后验概率回答错误则

(4)设在回答第i+1题前的知识状态先验概率为p(li+1)，则根据回答第i题后的知识状态后验概率推导可得获得回答第i+1题前的知识状态先验概率p(li+1)为：

(5)重复执行步骤(3)和(4)，获得学生答完最后一道题目的知识状态后验概率，将其作为学生认知能力水平数据；

(6)对比模型预测率，选择最佳的学习训练模型；

(7)将最佳的学生认知能力估计值存储在系统的数据库中。

2.实践能力评估模块

实践能力评估模块的实现流程图如图5所示，整个实践能力评估模块设计中，主要也为两种模型的训练和验证测试过程，从中选择适合各种场景的最优模型进行最终学生知识点实践能力估计值的判定，并形成个人知识点实践轨迹。

训练阶段：基于程序谱的错误定位模型的实现流程图如图6所示，模型需要进行有效性验证方可进行下一步人工标注实验，如无效则要进行计算方法调整；将人工标注产生的单元知识点分布作观察变量建立lr-dbn模型并采用期望最大化算法进行参数学习。

测试阶段：人工标注后用sfl-paa算法获得学生的实践能力估计值并预测期末程序作业正确率；lr-dbn模型通过概率推断后获得实践能力估计值并与sfl-paa算法预测结果做比较，根据各知识点场景进行模型选择出最佳的评估模型，后存储最佳的实践能力估计值在系统的数据库中。

实践能力评估模块分为基于程序谱的错误定位技术、基于错误定位技术实现学生实践能力评估模块、多知识点追踪模型模块：

2.1基于程序谱的错误定位技术

基于程序谱的错误定位模型的实现流程图如图6所示，其具体的实现步骤如下所示：

(1)执行程序测试用例应用gcov工具收集代码覆盖信息；

(2)根据覆盖信息应用tarantula和ochiai算法计算各覆盖元素可疑度；

(3)根据可疑度从大到小将各覆盖元素排序，逐个排查出错位置进行错误定位。

2.2基于错误定位技术实现学生实践能力评估模块

基于错误定位技术实现学生实践能力估计流程图如图7所示，其具体的实现步骤如下所示：

(1)利用基于程序谱的错误定位技术对学生的程序作业语句集进行错误定位：执行测试用例并收集代码覆盖信息，根据覆盖信息计算各覆盖元素可疑度，根据可疑度从大到小将各覆盖元素排序，逐个排查出错位置进行错误定位；

(2)用定位效率作为测试标准验证sfl技术的有效性，若有效则进入步骤(3)，若无效则回步骤(1)调整可疑度计算方法；

(3)根据错误知识点标注规范人工标注步骤(1)得出的错误定位排序结果，收集单元知识点分布；

(4)通过sfl-paa算法估计学生实践能力水平：根据人工标注的结果，将学生在一单元中知识点被标注错误的频数除以该单元程序作业数目作为该生未能在这单元正确实践应用知识点的概率估计，知识点被标注到的频数越高，说明学生在这个知识点上实践犯错的概率越大，真实的实践能力值就越低，因此把上述概率估计值的补数作为学生在这一单元的实践能力估计值。

2.3多知识点追踪模型模块

多知识点追踪模型模块的具体实现步骤如下：

(1)将单元知识点分布作为观察变量构建(logisticregression-dynamicbayesiannetwork,lr-dbn)模型如图8所示，深色的点表示观察变量，白色的点表示隐藏变量，s表示子节点标识符，k表示实践能力状态，y表示程序题答题表现；

(2)基于学生程序作业的答题表现，应用期望最大化算法计算出知识点j的模型参数：初始状态水平p(l0,j)、学习转化率p(tj)、猜对概率p(gj)、失误概率p(sj)；

(3)设回答第t道程序作业题目后在知识点j上的实践能力状态后验概率为pposterior(kj,t)，t初始值为0。若第t道程序作业题目回答正确，则该道题目所含的知识点j的实践能力状态后验概率若第t道程序作业题回答错误，则

(4)设回答第t+1道程序作业题前在知识点j上的实践能力状态先验概率为p(kj,t+1)，根据步骤(3)所得的pposterior(kj,t)，求得实践能力状态先验概率p(kj,t+1)公式推导如下：

p(kj,t+1)＝pposterior(kj,t)+(1-pposterior(kj,t))*p(tj)

(5)重复执行步骤(3)和步骤(4)，获得学生答完最后一道程序作业题目的知识状态后验概率，将其作为学生在知识点j上的实践能力水平数据；

(6)对比模型预测率，根据分知识点场景进行出最佳模型学习效果，并获得最佳的学生实践能力评估数据；

(7)将最佳的学生实践能力水平估计值存储在系统的数据库中。

3.反馈模块

反馈模块的具体实现步骤如下所示：

(1)将学生的能力值分布看作是正态随机变量，设认知能力评估模块所获得的学生认知能力水平为随机变量x1，设实践能力评估模块所得的学生实践能力水平为随机变量x2。对两个随机变量进行相关性分析，求得各知识点的pearson系数，公式如下表示。ρ介于-1到1之间，绝对值越大相关性越强，ρ>0正相关，ρ＜0为负相关；

(2)反馈实践能力不足的知识点，设定实践能力临界阈值δ，若学生的实践能力小于该临界阈值，则判定该生存在实践能力不足的现象，系统应及时向学生反馈不足之处，阈值的设定，根据经验数据，δ设定在0.5～0.6之间；

(3)应用作图工具，可视化显示学生的认知能力轨迹和实践能力轨迹，实现个性化学习轨迹图示；

(4)展示各知识点的二维能力分布图，并根据分布图分类学生的学习规律。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。