SeqDynamics: Visual Analytics for Evaluating Online Problem-solving Dynamics
论文传送门
视频42’36’’
作者
香港科技大学
- Meng Xia
- Min Xu
- Chuan-en Lin
- Ta Ying Cheng
- Huamin Qu
- Xiaojuan Ma
摘要
解决问题的动态是指随着时间的推移解决一系列问题的过程,从中可以推断出学生的认知技能以及非认知特质和行为。例如,我们可以根据所解决问题的难度水平的变化得出学生的学习曲线(认知技能的指标),或者基于随时间推移解决问题的频率得出学生的自我调节模式(非认知特质和行为的一个例子)。很少有研究通过展开问题解决过程来提供这两方面的综合概述。在本文中,我们提出了一个名为SeqDynamics的可视分析系统,该系统从认知和非认知的角度评估学生的解决问题的动态。该系统通过一套新颖的视觉设计和协调的上下文视图,可视化学习者解决问题行为的时间顺序,使用户能够在多个尺度上比较和评估解决问题的动态。我们提供了三种方案来证明SeqDynamics在包含数千个问题解决轨迹的真实数据集上的有用性。我们还进行了五次专家访谈,以表明SeqDynamics增强了领域专家对学习行为序列的理解,并帮助他们有效完成评估任务。
Introduction
对学生认知技能和非认知特征及行为的评估为设计学生招聘政策和个性化辅导教学提供了重要的启示。认知技能指的是大脑用来思考、阅读、学习、记忆、推理和注意力的核心技能,而非认知特征和行为指的是特定的特征,如动机、责任心、毅力、自我调节和协作。
在本文中,我们将随着时间的推移解决一系列问题的过程和进展定义为问题解决动力学,从中可以推断出学生的认知技能和非认知特征和行为。
然而,评估学习者解决问题的能力是有挑战性的。
- 每个学习者的问题解决动态都是多维时间序列数据,如何用有意义的语义来表示和解释这些数据,以反映认知和非认知的特征和行为是非常重要的。
- 评价过程通常涉及大量学习者问题解决顺序的比较。用不同层次的细节总结学生解决问题的动态,以方便比较,这可能很困难。
- “好的”问题解决动态的标准定义的缺乏阻碍了学生学习行为的自动测量。
在本文中,我们介绍了 SeqDynamics,一个交互式的虚拟分析系统,供教师全面检查和评估学习者的问题解决动态。
SeqDynamics 自动从三个细节层次总结和分析问题解决动态:学习者排名、问题解决的概要特征(解决的问题数量、解决的难题百分比、问题类型的多样性、提交的数量、开始尝试困难问题的时间和活跃天数的百分比),以及这些特征随时间的变化。
提供了多个视图来表示分析结果,供教师在三个级别进行评估和比较:
- ranking view (the macro level)
- projection view (the meso level)
- evolution view and comparison/cooperation view (the micro level)
新颖的视觉设计:
- 一种glyph,从认知和非认知的角度来显示学习者的概要性问题解决技能.
- 具有类似热图视图的双向堆叠图,可放大随时间推移而展开的问题解决序列的细节
贡献:
- Interactive System:一个交互式视觉分析系统,供教师评估学习者解决问题的能力,并在多个尺度(宏观-中观-微观)上选择候选人。
- Visualization Designs:一套新颖的视觉设计,从认知和非认知两个方面再现问题解决的动态,以促进对问题解决顺序的理解和比较。
- Evaluation:三个场景展示了 SeqDynamics 在真实数据集上的实用性,五个专家访谈显示 SeqDynamics 增强了他们的评估流程。
Related Work
- Problem-Solving Behavior Analysis
- Visual Analytics of Learning Sequences
- Time-series Data Visualization and Comparison
System Overview
设计要求:
- 对学生的整体表现有一个清晰的概述。
- 随着时间的推移,从不同的角度理解解决问题的动态。
- 比较/综合不同尺度下的问题解决能力。
- 支持互动和定制的评估探索。
系统模块:
- 数据收集和预处理模块
- 分析模块
- 可视化模块
- 交互
Problem-Solving Dynamics Analysis
我们从认知和非认知的角度建立解决问题的属性。
我们考虑三个学习属性来评估个体的认知技能:
- 解决的问题数量(l1)
- 解决的难题的百分比(l2)
- 解决的问题的多样性(l3)
此外,我们考虑与非认知特征和行为相关的三个学习属性:
- 勤奋(提交的总数(l4))
- 愿意接受挑战(开始解决难题的时间(l5))
- 坚持不懈(#(活跃天数)/ #(注册后天数) (I6))
ELO排名算法
pi=11+a(ri−rp)/bpp=11+a(rp−ri)/bp_{i}=\frac{1}{1+a^{\left(r_{i}-r_{p}\right) / b}} \quad p_{p}=\frac{1}{1+a^{\left(r_{p}-r_{i}\right) / b}}pi=1+a(ri−rp)/b1pp=1+a(rp−ri)/b1
ri=ri+k(si−pi)rp=rp+k(sp−pp)r_{i}=r_{i}+k\left(s_{i}-p_{i}\right) \quad r_{p}=r_{p}+k\left(s_{p}-p_{p}\right)ri=ri+k(si−pi)rp=rp+k(sp−pp)
Dh=∑lnteraction ScoreNumber of LearnersD_{h}=\frac{\sum \text {lnteraction} \text { Score}}{\text {Number of Learners}}Dh=Number of Learners∑lnteraction Score
Design Task
- 显示学习者解决问题的总体表现分布
- 从认知和非认知方面直观地解释了学生的主要学习属性
- 根据学生解决问题的主要特点,促进学生之间的比较
- 详细分析学生解决问题的时间序列动力学
- 促进问题解决动态的详细比较和互补
- 通过调整属性权重从不同角度检查候选人
Visual Design
- Ranking View
- Projection View and Correlation Panel
- Evolution View
- Comparison/Cooperation View
Evaluation
- Elite Selection
- Personal Training
- Team Formation
- Team Formation
Expert Interview
Discussion
System Limitation:
- Scalability
- Degree of flexibility
- Data issue
Conclusion and Future Work
在这篇论文中,我们提出了 SeqDynamics,一个视觉分析系统,帮助教师从认知和非认知的角度探索和评估学习者的问题解决动态。该系统有助于在多种尺度上用多种视图进行评估:
- 排名视图显示学习者排名的总体分布
- 带有相关面板的投影视图使用户能够选择一个分类子集,并使用字形对它们进行比较
- 演化视图随着时间的推移扩展了问题解决的细节
- 比较/合作视图显示了两个问题解决序列之间的明确比较,并展示了团队中所选学习者的互补性。
它还提供了一组丰富的交互,用于交互式地评估问题解决的动态性。在未来,我们计划探索更多的方法来减少字形重叠,将我们的系统扩展到涉及竞争的领域(例如,电子竞技、体育),并通过更多的任务来增强它(例如,性能预测)。
SeqDynamics: Visual Analytics for Evaluating Online Problem-solving Dynamics相关推荐
- 论文阅读 :A survey of visual analytics techniques for machine learning
题目:A survey of visual analytics techniques for machine learning A survey of visual analytics techniq ...
- SmartAdP: Visual Analytics of Large-scale Taxi Trajectories for Selecting Billboard Locations
论文 视频 作者 香港科技大学 Dongyu Liu Huamin Qu 浙江大学CAD&CG国家重点实验室 Di Weng Yingcai Wu 澳门大学 Yuhong Li 微软亚洲研究院 ...
- POJ 3265 Problem Solving 动态规划
Problem Solving Time Limit: 2000MS Memory Limit: 65536K Total Submissions: 1914 Accepted: 747 De ...
- 01 Problem Solving and Systematic Innovation -- What Is Innovation?
Problem Solving and Systematic Innovation -- What Is Innovation? What Is Innovation?[^0] Listen from ...
- Problem Solving(POJ-3265)
Problem Description In easier times, Farmer John's cows had no problems. These days, though, they ha ...
- TAHOMA:Physical Representation-based Predicate Optimization for a Visual Analytics Database,IEEE2019
TAHOMA 应用场景: 主要关注在推理之前加载和准备数据的成本,但目的是减少DNN执行成本 (1)在这种情况下,大量历史图像数据归档储存在本地驱动器上.每个图像都必须首先从硬盘中加载,然后转换为分类 ...
- problem solving automation
分工一定要明确啊啊啊啊啊 Nero 数据结构 图论 DP 博弈 JayYe 数论 DP 模拟搜索 博弈 wuyiqi 数论 数据结构 图论 字符串 模拟搜索 几何 20 ...
- SMOL:Jointly Optimizing Preprocessing and Inference for DNN-based Visual Analytics,VLDB,2020
SMOL Summary 摘要 1.介绍 2.端到端推理的一些测试研究 3.Smol 概述 3.1.系统概述 Summary 应用场景: 二分类查询,例如:查询图片中有没有汽车.以及聚合问题,例如:查 ...
- Microsoft Visual Studio has encountered a problem and needs to close 解决办法
在开始->所有程序->Microsoft Visual Studio 2008->Tools->Visual studio Command prompt 打开输入命令Deven ...
最新文章
- 试编写一个汇编语言程序,大写---小写 要求对键盘输入的大写字母用小写字母显示出来。
- [原]《Web前端开发修炼之道》-读书笔记CSS部分
- C#访问远程主机资源的方法
- 《转载》Python并发编程之线程池/进程池--concurrent.futures模块
- 【资源共享】RockChip_LCD开发文档v1.6
- mysql having ct_mysql中where和having子句的区别和具体用法
- 深度-图像风格变换【二】
- Python使用exec自动生成代码并执行,同时得到返回的变量
- python 三目运算符
- MySQL备份与恢复-innobackupex
- windows安装fdfs_lient报错fdfs_client/sendfilemodule: fatal error C1189: #error: platfom not supported
- 实用工具分享,如何批量修改文件夹名称的一部分
- MATLAB求单位阶跃响应,并分析参量的影响。自控例题。
- 【Blender批量合并fbx动画到单个gltf】
- java 判断cmyk_Java判断图片是grb还是cmyk
- Windows程序设计——GDI基本画图的操作实现
- matlab如何求矩阵行列式
- PS2019仿制图章工具、图案图章工具
- 瓦力发布系统安装部署
- Java虚拟机(JVM)-- Dump内存快照