KEEP!T 칼럼: 여러분은 어떤 뉴스를 보고 싶으신가요?
안녕하세요, KEEP!T 입니다.
KEEP!T 팀에서 빅데이터를 담당하고 계시는 @sifnax 님의 도움으로, 상당히 흥미로운 데이터 분석 하나 소개해 드리고자 합니다.
빅데이터 분석은 수많은 분야에서 이뤄지고 있습니다.
또한 자연어로 이루어진 데이터들도 수많은 방법들을 만들어내면서 다양한 분석이되고 있습니다. 단순히 빈도를 분석하기도 하고, 한단계 나아가 감정이나, 가짜인지 여부도 분석해 보기도 합니다.
여러분들이 늘상 보고 있는 뉴스들이 있을 건데요, (특히 암호화폐에 관심이 많은 분들)
그럼, 과연 이 뉴스들을 통째로 분석하면 어떻게 될까요?
저희 KEEP!T팀에서는 상당히 오랜기간 동안 여러 개 뉴스 사이트의 데이터를 전수 조사 및 축적하고 있으며, 기초적인 분석들을 진행해 나가고 있었습니다. 그래서 오늘은 그 분석 데이터의 일부를 말씀드려 보고자 합니다.
몇 가지 전제 사항부터 말씀 드리고자 합니다.
일단 한글 자연어 분석은 상당히 어렵습니다.
연구의 진척도가 영어에 비해서 떨어지기도 하지만,
용어 통일의 문제도 있고, 단어의 변화형태가 무척 다양하여,
기계적 분석을 하기에 영어보다 적합하지 않습니다.
이에 일단 저희가 자주 참조하는 '영문' 암호화폐 전문 사이트 2개를 선정하여, 비교 분석을 해 보았습니다. 그리고 왓슨을 사용하여 감정 분석을 시도하였습니다. 이런 작은 파일럿 스터디를 진행하고 상당히 흥미로운 결과를 볼 수 있었습니다.
그래프를 보시기 전 전제 사항을 설명드립니다.
'ㄱ' 사이트의 뉴스 2356건, 'ㄴ' 사이트의 뉴스는 4511 건을 분석하였습니다.
가로축은 -1 ~ 1 까지 이며, 가장 강한 부정이 -1, 중립은 0, 가장 강한 긍정은 1 로 점수를 매겼습니다.
'ㄱ' 사이트의 그래프 입니다.
일단 봉우리가 하나 있는 것 같습니다. 0~0.5 점 정도에 하나의 봉우리가 널찍이 퍼져 있는 모양으로 '약한 긍정' 정도의 기사가 가장 많네요.
축에도 주목하셔야 합니다!!
가로축을 보시면 -0.5 보다 더 낮은 수치는 보이지 않습니다. '강한 부정'에 해당하는 기사는 거의 없습니다. 반대로 1.0 에 해당하는 기사도 없습니다.
조금 과대해석을 덧붙여 보자면 기사를 선정하는 기준이 어느정도 일관되거나, 최소한 일정한 기준의 어조를 유지하고 있으며, 한 이슈에 대해 아주 강한 긍정적 태도나 강한 부정적 태도는 거의 보이지 않는 것으로 추정됩니다.
'ㄴ' 사이트의 그래프 입니다.
아까의 그래프와는 조금 달리 꽤 강한 부정 (약 -0.8 정도) 까지도 보이는 글이 있고,
반대로 아주 강한 긍정에 해당하는 글들도 여럿 있습니다.
조금 더 볼까요?
마치 이런 2개의 봉우리가 있는 것 처럼 보이지 않나요?
이 봉우리에 대해서 조금 더 살펴 보았습니다.
빨간 봉우리에 해당하는 단어 를 꼽아보니,
시장 상황을 의미하는 bitcoin, price, market 과 같은 단어들이 많이 잡혔습니다.
(좌측은 제목 분석, 우측은 본문 분석입니다.)
이 매체에서는 시장 분석글이 상당히 많아, (기계적 중립을 지키려는?) 시장 상황을 반영하는 글들의 감정 분석 결과가 많이 포함되어 있을 것으로 생각되네요.
초록 봉우리에 해당하는 단어를 꼽아보니
이런 단어가 가장 많이 등장했습니다.
긍정적인 뉘앙스에는 blockchain, ico, platform, token 등의 단어가 많이 등장합니다.
이 매체에는 기사처럼 보이는 광고 글이 상당히 많은데 이 것이 반영된 감정 분석 결과로 생각됩니다.
참고로 'ㄱ' 사이트에서는 이런 분포를 보였네요-
네, 그럼 이 사이트들은 어디냐구요?
'ㄱ' 사이트는 btcmanager.com
'ㄴ' 사이트는 ccn.com
이었습니다.
실제로 사이트를 들어가 보시면 btcmanager.com 에는 비교적 중립적이고 긴 칼럼 위주의 기사들이,
ccn.com에는 시황분석과 상당량의 스폰서를 받은 글들이 일반 기사와 많이 섞여 있습니다.
어떤 언론의 글이 좀 더 좋은 글인가는 독자분들의 판단에 맡기겠습니다만,
이 분석은 어떤 언론의 기사를 좀 더 비중있게 받아들여야 할지에 대한 주요한 지표 중 하나가 될 수 있다고 생각합니다.
여러분이 원하는 언론은 어디인가요?
DS
전요 가상화폐는 필요하다. 앞으로 우리에게 대중화될것이다. 뭐 이런걸 듣고싶네요 ㅋㅋㅋㅋㅋ
중립적이면서도 비판적인 언론을 원합니다 :)
좀 어려운 내용이네요 .....
사실 바탕을한 언론이 좋은것 아닐까요