a. 수집기간 : 2010년 7월 1일 ～ 2020년 6월 30일 / 10년

b. 수집사이트 : Livedoor ニュース / https://news.livedoor.com

c. 정보필드 : Link, Title, SubTitle, Topic01, Topic02, Date, Media, MediaLink, Text(순서대로 뉴스기사 링크, 뉴스제목, 뉴스부제목, 뉴스상위분류, 뉴스하위분류, 게재일시, 미디어, 미디어 링크, 본문)

d. 정보량 : 기사 총 7099건 / 9,216,077자(공백포함), 1,111,025단어 / 40개 파일, 23.5MB

e. 문자코드(인코딩) : UTF-8(유니코드)

f. 파일명 예시 : 2017-a.csv(2017년 일사분기), 2017-b.csv(이사분기)

g. 코퍼스 다운로드 링크

a. 개발환경 : Python 3.8.3, Jupyter Notebook 6.0.3

b. 주 사용 패키지：Janome, pandas, scipy, seaborn, pyplot 등

c. 프로그램 구동 및 분석 순서수집된 코퍼스 전처리(정제) → 형태소 분석 → 감정극성치 분석 → 결과 출력 → 통계용 전처리(정제) → 기술통계, 샤피로 검정, 앤더슨 검정, 정규분포 검정 → 정규분포 히스토그램, QQ 플롯, 박스 플롯 작성 → 레빈 검정 및 바틀렛 검정 → 독립표본 t-Test → 분석 결과 정성분석

d. 코드 예시(감정극성치 분석 부분)

Analysis of the Japanese media's emotions about Korea-related news using text mining techniques; by introducing the Semantic Orientations of Words analysis method using Python

In the era of big data, it is no longer possible to effectively collect, refine, and perform meaningful interpretations of necessary information only by methods such as conventional manual and intuitive insight. Therefore, in this paper, we built a large-scale text data independently and performed text mining analysis based on the recognition that the introduction of text mining technique is also required in the field of Japanese studies and that verification of the practical technique itself is also necessary. As a result, it was confirmed that Semantic Orientations analysis of the text using 'the Semantic Orientations of Words' is effective for the analysis of the 'emotion' of the text. Besides, it has been confirmed that Japanese media's 'Semantic Orientations' toward Korea has been deteriorating over the past decade. Above all, it was also confirmed that Semantic Orientations of Japanese media news articles about Korea were actively reflected in the issue of Korea-Japan relations.

テキストマイニングを用いた日本のメディアの韓国ニュースにおける感情の推移に対する分析-Pythonを用いた「単語感情極性対応表」及びLDAトピックモデルリング分析を活用して-

ビックデータの時代には今までの手作業だけでは膨大なデータの中で必要な情報を効果的に取集・精製し，意味のある解釈を遂行することが不可能にひとしくなっている。よって本稿では，日本語学の分野でもテキストマイニングの手法の導入が必要である点，またその実際の手法自体に対する検証も必要であるという認識のもとで，独自的に大規模のテキストデータ(コーパス)を構築し，これに対するテキストマイニングの分析を行った。その結果，「単語感情極性対応表」を活用したテキストの「感情極性」の分析はテキストの「感情」の分析に効果的である点を確認できた。また，この10年間における日本のメディアの韓国に対する「感情」は持続的に悪化している点，また何より韓日関係の出来事によって韓国に対する日本のメディアのニュース記事の「感情極性」が積極的に反映されて現れている点もまた確認できた。