2021년 12월 3일 개최된 (국립전파연구원 주최) ISO/IEC JTC1 표준 전문가 세미나 발표자료. 디지털 전환과 에듀테크의 성장을 촉진하기 위해 표준화를 고려해야 할 부분도 적지 않다. 먼저 에듀테크 국제 표준화가 지난 20년간 어떤 큰 흐름으로 전개되어 왔는지, 지금은 어떤 방향성을 가지고 표준화가 추진되고 있는지를 설명한다. 에듀테크 분야도 공적 표준(de-jure) 영역과 사실상 표준(de-facto) 영역이 존재하는데, 공적 표준화 기구로는 JTC1 산하의 SC36(Information Technology for Learning, Education, and Training)이 있고, 사실상 표준화 기구 중에는 IMS Global Learning Consortium과 IEEE 산하의 LTSC가 있다. 요즘 많은 관심과 빠른 성장을 거듭하고 있는 학습 분석 관련 표준화 동향과 특히 학습분석이 인공지능 기술과의 융합을 통해 어떤 사례들이 시도되고 있는지를 설명한다. 그 밖에 메타데이터 표준, e포트폴리오 표준, 접근성 표준들의 특성도 짧게 설명한다.

1. 디지털 전환과 교육 혁신 지원을 위한
JTC 1/SC 36 WG 4 & WG8 컨비너
조 용 상, Ph.D
zzosang@i-screamedu.co.kr
FB: /zzosang Twitter: @zzosang
ISO/IEC JTC1 세미나
2021. 12. 3.
에듀테크 국제 표준화 동향

2. BACKGROUND
Digital Transformation and Ed Tech
2

3. 3
<source: OECD library, https://www.oecd-ilibrary.org/sites/00f05eac-en/index.html?itemId=/content/component/00f05eac-en>
기술과 교육의 경주

4. 4
Digitalization
(산업과 조직의 변화)
Digitization
(정보의 변화)
Digital transformation
(사회적 변화)
<source: https://en.wikipedia.org/wiki/Digital_transformation>
• Digitization은 '아날로그 정보를 디지털 형식으로 변환’하는
'기술적 프로세스’ (예, 0과 1로 표현되는 이진 형식)
• Digitalization은 산업, 조직, 시장에서 기술에 기반한 '조직 프로세스’또는
'비즈니스 프로세스＇의 변화
• 혁신적인 기술 예시: Internet of Things, Industry 4.0, machine to machine
communication, artificial intelligence and big data, etc.
• Digital transformation은 ‘Digitalization의 총제적이고 전반적인 사회적 영향’
으로 설명
• Digitization은 Digitalization이 이루어질 수 있도록 근간이 되었으며, 그 결과
기존 비즈니스 모델, 소비 패턴, 사회 경제적 구조, 법률 및 정책, 조직 패턴,
문화 장벽 등을 변화시키는 기회가 생김
디지털 전환으로 이어지는 디지털 혁명 과정

5. OVERVIEW
Tracing history for Ed Tech & Organizations
5

6. 6
<source: TTA 저널, https://www.tta.or.kr/data/androReport/ttaJnal/191-1-3-4.pdf>
01
2005 2010 2015 2020 2025
• 교육 자원 메타데이터
(Educational Resource Metadata)
• 교육 자원 접근성 기술
(Accessibility for Resources)
콘텐츠/자원 → 서비스 → 지능화
• 모바일 환경에서 학습자 프로파일
(User Profile related to Mobile)
• 빅데이터를 활용한 학습 분석
(Learning Analytics using Big Data)
• 학습 도구 상호운용성
(Learning Tools Interoperability
toward the ecosystem)
• 실감형 콘텐츠
(Immersive Content)
• 디지털 인증
(Digital Credential)
• 맞춤형 학습 서비스
(Personalized Learning Service)
• AI를 활용한 지능형 서비스
(Intelligence Service using AI)
• 초개인화
(Hyper-personalization)
에듀테크 발전 과정

7. 7
에듀테크 분야 표준화 기구 - 공적 표준화 기구

8. 8
<http://www.imsglobal.org/> <https://sagroups.ieee.org/ltsc/>
에듀테크 분야 표준화 기구 - 사실상 표준화 기구

9. LEARNING ANALYTICS INTEROPERABILITY
Toward Big Data & Artificial Intelligence
9

10. 10
Artificial
Intelligence
• 학습 성과 예측 및
학업 포기가 예상되는 학습자 식별
• 개별화된 학습 계획과 콘텐츠 추천 • 모바일 학습 에이전트
• AI 튜터 (인터페이스)
• 비디오/이미지 태깅과 검색
• 영상/이미지 내 객체 탐색과 검색
• 학습 집중도 분석 및 감성 분석
• Q&A
• 외국어 교육
• 독서 교육 (책에서 맥락 추출)
Machine
Learning
Language
Processing
(NLP/NLU)
Speech
Expert
Systems
Planning &
Optimization
Vision
Robotics
• 교과 상담
• 진로/진학 상담
• 교수법/코칭 개선 상담
• 학습 자원과 서비스 활용도
분석 및 개선 방안 도출
• 서비스 인프라 최적화
• 학습용 로봇 에이전트
• 학교 안전망 유지
• 실험/실습 지원 도구
<source: TTA 저널, https://www.tta.or.kr/data/androReport/ttaJnal/191-1-3-4.pdf>
(기능 관점에서 본) 인공지능의 활용 가능성

11. 11
• ISO/IEC TR 20748-1:2016 Learning Analytics Interoperability – Part 1: Reference model
• ISO/IEC TR 20748-2:2017 Learning Analytics Interoperability – Part 2: System requirements
• ISO/IEC TR 20748-3:2020 Learning Analytics Interoperability – Part 3: Guidelines for data interoperability
• ISO/IEC TR 20748-4:2019 Learning Analytics Interoperability – Part 4: Privacy and data protection policies
Input data items for learning analytics
Data
Collection
Data Processing &
Storing
Visualization Analyzing
Privacy
Policy
• lecture
• material
• learning tool
• quiz/assessment
• discussion forum
• message
• social network
• homework
• prior credit
• achievement
• system log
……
personalization, intervention
and prediction, etc
Outcomes from learning analytics
Data
processing
and
analysis
secured data exchange
Learning & Teaching
Activity
• Reading
• Lectures
• Quiz
• Projects
• Homework
• Media
• Tutoring
• Research
• Assessment
• Collaboration
• Annotation
• Gaming
• Social Messaging
• Scheduling
• Discussion
……
Feedback &
Recommendation
Reference Architecture
for Learning Analytics
(ISO/IEC TR 20748-1)
지능형 교육 서비스를 위한 초기 표준화 노력 (JTC 1/SC 36)

12. 표준 적용 사례: i-Scream Home-LearnTM (ISO/IEC 20748 / Caliper)
12
학습 분석
데이터 분석
(학습 맥락을 그대로 기록)
조정된 학습 활동
(개인화된 학습 경로)
AI 생활기록부
(학생, 학부모, 교사 별로 다른 형식의 리포트)
추론
(문제점 및 취약점 진단)
피드백과 추천
(성찰의 기회)
기본 학습 활동
(사전에 계획된 학습 자원과 평가문항)
Data Lake
(cleaning
context)
Data Mart
(making data sets)
Data Capture
(IMS Caliper)
데이터 처리 규모: 1일 1천 6백만 건 이상의 학습 맥락 처리 (DB 트랜잭션 제외)
정진기금 (2014-2016, TTA)
“교육용 콘텐츠 및 비정형 데이터를
활용한 학습 분석 기술 참조 모델
표준 개발”
✏ 참고

13. 13
학습 분석
피드백과 추천
(성찰의 기회)
조정된 학습 활동
(개인화된 학습 경로)
AI 생활기록부
(학생, 학부모, 교사 별로 다른 형식의 리포트)
추론
(문제점 및 취약점 진단)
데이터 분석
(학습 맥락을 그대로 기록)
기본 학습 활동
(사전에 계획된 학습 자원과 평가문항)
표준 적용 사례: i-Scream Home-LearnTM (ISO/IEC 20748 / Caliper)
성찰 도구 : 학습 분석 대시보드
(메시지 자동 생성, 예측 분석 등)
추천 서비스
(수준에 맞는 콘텐츠,
적성과 관심에 맞는 콘텐츠 등 )

14. 14
AI 생활기록부
(학생, 학부모, 교사 별로 다른 형식의 리포트)
조정된 학습 활동
(개인화된 학습 경로)
추론
(문제점 및 취약점 진단)
피드백과 추천
(성찰의 기회)
학습 분석
데이터 분석
(학습 맥락을 그대로 기록)
기본 학습 활동
(사전에 계획된 학습 자원과 평가문항)
표준 적용 사례: i-Scream Home-LearnTM (ISO/IEC 20748 / Caliper)
학부모용 학습 분석 대시보드
(메시지 자동 생성과 다국어 메시지 생성)

15. 15
• ISO/IEC AWI TR 9858 Use Cases on Advanced Learning Analytics Services using Emerging Technologies
• ISO/IEC 23988 2nd ed A code of practice for the use of information technology (IT) in the delivery of assessments
Collection
Filtering
Processing
Inspection
Use
Collection
Filtering
Processing
Inspection
Item Bank
Curriculum
Standards Docs
User Sampling
IRT Model
(3 parameters)
Topic & Context
Extraction
Achievement
Datasets
Correct/Incorrect
answer code
IRT values for
items
IRT values for
learners
Knowledge datasets
for Math Ed
Structural
connection by
subdividing
mathematical
concepts
Prediction Model for
correct/incorrection answer
(Deep Knowledge Tracing)
Vulnerable Knowledge
Diagnosis Model
mapping
Annotation/
labeling
Annotation/
labeling
#1. Item Bank and creating datasets for AI modeling #2. Knowledge space for tracing
#3. eAssessment delivery interface
<source: ISO/IEC JTC1 SC36 WG8 N214 Meeting Notes of JTC1/SC36 WG8 Online Project Meeting (2021-07-13)>
표준 적용 사례: i-Scream Home-LearnTM (ISO/IEC 20748 / Caliper)

16. 16
• ISO/IEC AWI TR 9858 Use Cases on Advanced Learning Analytics Services using Emerging Technologies
• ISO/IEC 23988 2nd ed A code of practice for the use of information technology (IT) in the delivery of assessments
Collection
Filtering
Processing
Inspection
Use
Collection
Filtering
Processing
Inspection
Item Bank
Curriculum
Standards Docs
User Sampling
IRT Model
(3 parameters)
Topic & Context
Extraction
Achievement
Datasets
Correct/Incorrect
answer code
IRT values for
items
IRT values for
learners
Knowledge datasets
for Math Ed
Structural
connection by
subdividing
mathematical
concepts
Prediction Model for
correct/incorrection answer
(Deep Knowledge Tracing)
Vulnerable Knowledge
Diagnosis Model
mapping
Annotation/
labeling
Annotation/
labeling
#3. eAssessment delivery interface
< Probability ofpredicting incorrect answers by
concepts in mathematics for individual learners >
<A model that uses areinforcement learning model to
determinethenext assessment item (example)>
표준 적용 사례: i-Scream Home-LearnTM (ISO/IEC 20748 / Caliper)

17. METADATA AND EMERGING CONTENT
Toward Immersive Content & Metaverse
17

18. JTC1 Horizontal Standard: ISO/IEC 19788-1 MLR Framework
18
ISO/IEC 19788-1 Metadata for Learning Resources (MLR) – Part 1: Framework provides
principles, rules and structures for the specification of the description of any kind of resource; it
identifies and specifies the attributes for specifying properties, resource classes and application
profiles as well as the rules governing their use.
This part of ISO/IEC 19788 is a horizontal standard.
It is recommended to use this document :
• as a basis for the development of other parts of ISO/IEC 19788,
• as a basis for the development of application profiles based on ISO/IEC 19788 (without being
parts of 19788),
• for the development of standards consisting of the description of resources (in a broad sense)
whether they belong to the domain of education or any other domain.

19. ISO/IEC 19788 MLR 학습자원 메타데이터 개요
19
ISO/IEC 19788-1 MLR Part 1: Framework may be used to describe any type of resource (not only
learning resources).
ISO/IEC 19788 aims to specify data elements relating to learning resources to be expressed in a
range of established formats, providing optimal compatibility with IEEE 1484.12.1 LOM (Learning
Object Metadata) and ISO 15836 Dublin Core, while also addressing user-driven requirements
and uses not explicitly addressed in those two standards.
ISO/IEC 19788 is modularly structured with all subsequent parts having a distinct scope.
19788-2
Dublin
Core
elements
19788-3
Basic
application
pro:ile
19788-4
Technical
elements
19788-5
Educational
elements
19788-7
Bindings
(XML, RDF,
OWL, etc.)
19788-8
Data
elements
for MLR
records
19788-9
Data
elements
for
Persons
19788-11
Migration
from LOM
to MLR
ISO/IEC 19788-1
Framework

20. 20
현실을 증강 (Augmentation)
현실을 모방 (Simulation)
외적인
투영
(External)
내적인
몰입
(Intimate)
증강현실 라이프로깅
거울세계 가상세계
교육 메타버스 플랫폼 영역
메타버스의 교육적 활용 가능성

21. 21
현실을 증강 (Augmentation)
현실을 모방 (Simulation)
외적인
투영
(External)
내적인
몰입
(Intimate)
https://www.cleverbooks.eu/school-education-augmented-reality/
https://in.pinterest.com/pin/38
5550418081312323/
Samsung Galaxy Fit
네이버 지도, 거리뷰 “경복궁” kt 랜선 에듀 (라이브 과외)
https://www.sedaily.com/NewsView
/1Z96XI3XGZ
제페토 교실맵
https://blog.naver.com/PostView.nhn?blogId=yu2hs&logNo=222283900955&categor
yNo=0&parentCategoryNo=0&viewDate=&currentPage=1&postListTopCurrentPage
=1&from=postView
메타버스의 교육적 활용 가능성 ➜ 인공지능과의 융합 가능성

22. LEARNER PROFILE & DIGITAL CREDENTIAL
Toward Digital Credential
22

23. Learner profile and digital credential
23
• ISO/IEC TR 24763:2011 Conceptual Reference
Model for Competency Information and
Related Objects
• ISO/IEC 20006-1:2014 Information model for
competency — Part 1: Competency general
framework and information model
• ISO/IEC 20006-2:2015 Information model for
competency — Part 2: Proficiency level
information model
• ISO/IEC 22602:2019 Competency models
expressed in MLR
• ISO/IEC 20013:2020 Reference framework of
e-Portfolio information
https://www.baypath.edu/academics/undergraduate-programs/eportfolio-digital-badging/
Example of ePortfolio:
Standards related to competency and ePortfolio:

24. ACCESS FOR ALL
Emphasize accessibility
24

25. Access for All
25
• ISO/IEC 24751-1:2008 — Part 1: Framework and
reference model (came from IMS Global)
• ISO/IEC 24751-2:2008 — Part 2: “Access for All”
Personal Needs and Preferences for digital delivery
(came from IMS Global)
• ISO/IEC 24751-3:2008 — Part 3: “Access for All”
digital resource description (came from IMS Global)
• ISO/IEC 24751-4:2019 — Part 4: "REGISTRY SERVER
API
• ISO/IEC CD 4932 — Access for All metadata:
Accessibility Core Terms
Standards related to accessibility of SC36:
http://www.imsglobal.org/activity/accessibility

26. 감사합니다.
Contact:
조 용 상, Ph.D.
zzosang@gmail.com
FB: /zzosang Twitter: @zzosang
26