Tag: 데이터

[Economist] History flushed (흘러가버린 역사)

History flushed

디지털 시대는 엄청 양의 도서관을 약속하지만 이들 대부분은 미완으로 남아있다.

Apr 28th 2012 | from the print edition

1086년, 정복자 윌리엄은 잉글랜드와 웨일즈에 관한 포괄적인 측량을 완성했다. “토지 대장”으로 불리게 된 이것은 13,418 곳의 장소와 112 곳의 도시를 자세히 포함하고 있으며 현재도 런던의 국립 도서관에서 대중에게 공개되어 있다. “토지 대장”의 900 주년을 기념하여 위탁 제작된 새로운 측량의 원본은 이와는 다르다. 이는 특별히 제작된 12인치 레이저 디스크에 기록되었다. 이 포맷도 현재는 구식이 되버렸다.

디지털의 시대는 무한한 저장 능력의 가능성과 함께 도래 했다. 향상된 컴퓨팅 파워와 디스크 용량은 저렴해진 가격과 합쳐져, 디지털로 생성된 어떤 것이라도 영원히 저장될 수 있을 것이라 여겨졌다. 하지만 디지털 데이터는 종종 깜짝 놀랄 만큼 짧은 생애를 산다. “우리가 주의하지 않으면, 21세기의 시작보다 20세기의 시작에 대해서 더 많이 알게 될지 모릅니다.” 브리티쉬 도서관의 디지털 보존 활동을 책임지고 있는 Adam Farquhar는 말한다.

디지털 기록 보관 담당자들이 다루어야 할 가장 명백한 문제는 하드웨어이다. 하지만 이 문제들은 또한 대처하기도 쉽다. 많은 저장소들은 보유한 데이터 저장 시스템을 매 3년에서 5년 사이에 교체하는데 이는 노후화 되거나 부식되는 것을 막기 위해서다. 이는 듣기보다는 그리 비싸지 않다. 하드 드라이브는 저렴하고 신뢰할 만 하다. 하드웨어 장애의 위협은 다른 장소에 복사본을 저장함으로써 극복할 수 있다. 브리티시 도서관은 런던, 요크셔, 웨일즈 그리고 스코틀랜드에 저장 공간을 가지고 있다.

디지털 자료를 수집하는 것은 더 까다롭다. 특히 온라인에서는 더 그러하다. 기록 보관 담당자들은 자유롭게 접근 가능한 웹의 부분들만을 수집할 수 있다. 암호나 검색어, 입력 형식 등의 사용자 입력이 필요한 것은 금지 구역이다. 온라인 비디오와 같은 스트리밍 미디어는 수집하기 까다롭다. 

소프트웨어나 파일 포맷의 변경은 더 많은 난관을 만들어낸다. “우리가 생성해 낸 많은 디지털 자료들이 그것을 생성한 소프트웨어에 의해서만 표현될 수 있습니다.” 현재 구글에서 근무하는 인터넷의 선구자 중 한명인 Vint Cerf는 말한다. 만약 최초의 프로그램이 사라지면, 완전히 새 것 같은 파일의 저장소는 쓸모 없어 진다. 소프트웨어가 10년이 넘어가는 시점부터는 이를 구동하기 위해서 보통, 소프트웨어가 오래된 하드웨어에서 돌고 있다고 생각하도록 속이는 하드웨어 에뮬레이션이 필요하다.

비록 기술적인 문제는 보통 풀어나갈 수 있지만, 규제 상의 장애물은 극복하기 더욱 어렵다. 국회 도서관 같은 납본 도서관들은 법에 의해 웹 사이트를 저장하기 전 허가를 받아야 함을 강제 받는다. 규제는 컴퓨터 프로그램, 게임, 음악, 책과 같은 것을 저장할 때 더 엄격해질 수 있다. 보통 디지털 저작권 관리(DRM) 소프트웨어가 불법 유출로부터 이들을 지키기 위해 딸려 있다. 이러한 프로그램들을 회피하는 기록 보관 담당자들은 불법적인 행위를 하게 되는 것이다. 미국의 디지털 밀레니엄 저작권 활동(DMCA)는 이러한 회피를 범죄로 규정했다.

저작권과 DRM은 정보 시스템이 발전하는 환경에 따라 더욱더 크게 닥칠 것이다. 초기의 인터넷은 자연스럽게 복사가 쉬운,  공개된 환경이었다. 스마트폰 앱으로 더욱 널리 퍼진 모바일 세상은 훨씬 덜 그렇다. 기업들이 더욱 더 강력하게 그들의 저작물을 보호하면, 현대의 디지털 생산물들은 절대로 저장되지 않을 위험을 수반하게 된다. 도서관은 인기 있는 문화의 한 부분인 앵그리 버드나 인스타그램과 같은 앱을 저장할 권한이 없다.

이러한 모든 어려움에도 불구하고, 세계의 도서관들은 국가의 디지털 유산의 특정 부분들을 보존하기 위해 지난 10년이 넘는 기간 동안 애써왔다. 미국 국회 도서관은 정부로부터 1억불을 지원 받는 디지털 보존 프로그램을 2000년에 시작했다. 이의 웹 저장소는 현재 미국 정부 소유가 대다수라 저작권 문제가 없는 10,000개의 웹사이트를 저장하고 있다. 민간에 의해 운영되는 웹 사이트를 포함시키기는 더욱 어렵다. 어떤 저장 프로젝트에서는 오직 5분의 1의 웹 사이트만이 복제 허가를 구하는 이메일에 회신했다.

디지털 쓰레기 수집

국회 도서관의 뒤를 이어, 많은 선진국의 국립 도서관들이 디지털 보관 프로그램을 운영하고 있다. 예를 들어 영국에서는 국립 보관소에서 모든 정부 웹사이트의 복사본을 저장하고 있다. 브리티쉬 도서관에서는 모든 영국 온라인 저작물을 축적하고 있다.

하지만 가장 많이 알려진 디지털 보존 운동은 민간 분야의 비영리 운동인 인터넷 아카이브이다. 이의 서버는 과거 특정 날짜의 한 웹사이트를 사람들에게 보여주는 인기 있는 웹 서비스인 “Wayback Machine”을 운영하고 있다. Brewster Kahle에 의해 1996년 설립된 인터넷 아카이브 컬렉트는 수십 억 개의 웹 페이지를 저장하고 접근할 수 있게 해주며 또한 책이나 비디오, 또는 소프트웨어 같은 다른 디지털 미디어도 저장하고 있다. 이 컬렉션은 1,600억 개의 웹 페이지를 저장하고 있다. 이곳은 기본적으로 허가를 요청하는 것보다는 용서를 구하는 것이 낫다는 원칙에 의해 운영되고 있다.

더 최근에, 괴짜 전문가들은 공식 기관들이 하기 꺼리는 일을 벌이고 있다. 이들은 항상 쓸데없는 것을 모아왔다. 현재 그들은 TOSEC (The Old School Emulation Centre의 줄임 말이다) 과 같은 사이트에 모여들어 오래된 소프트웨어를 수집하고 있다. 하지만 이러한 컬렉션들은 그 자체의 한계가 있다. 이들은 너무 게임이나 운영체제에만 중심을 두고 있다. 사람들은 슈퍼 마리오에서 느끼는 것과 같은 향수를 스프레드시트의 초기 버전에서는 별로 느끼지 않는 경향이 있다. 더 중요한 것은 이러한 것이 저작권 법의 보호 아래 있다는 것이다.

저장소의 확산에도 불구하고, 디지털 보존은 잘해야 들쭉날쭉하다. 법이 기술을 따라잡을 때까지, 디지털 역사는 디지털의 시대가 약속한 장대한 분출이 아니라 찔끔찔끔 쓰여질 수 밖에 없을 것이다.

[Economist] 센서의 바다 (A sea of sensors)

센서의 바다(A sea of sensors)


모든 것이 센서가 될 것이고, 인간은 그 중 가장 뛰어난 것이다.


Nov 6th 2010 |
From The Economist “Special Report on Smart Systems”


  독일인들은 쓰레기 분리수거에 부지런한 것으로 알려져 있다. 심지어 다른 종류의 금속을 분류하여 넣는 전용의 컨테이너를 가지고 있기도 하다. 하지만 그들은 곧 RFID라고 알려진 전자 라벨용의 새로운 쓰레기통이 필요해질 것이다. 이러한 태그는 별도로 수거해서 다루어지지 않는다면, 재활용하기 매우 어렵다고 독일의 연방 환경 에이전시에서는 지난해 밝혔다. 그들에 따르면 버려지는 RFID 태그의 숫자는 현재의 8천 600만개에서 2020년까지 230억 개에 달할 것이다.


  소들부터 묘비까지 모든 것을 구분하는데 쓰이고 있는 RFID 태그는 지구를 뒤덮고 있는 유일한 센서는 아니다. 기계, 장치, 일상용품, 특히 인간까지도 모든 사물, 또 누구던지 센서가 될 수 있고, 실제 세상에 대한 정보를 수집하고 전송할 수 있다.


  “사물들의 인터넷”이라는 개념은 실리콘 벨리에 위치한 Palo Alto 리서치 센터(PARC)에서 가상과 실제 세계가 연결될 미래를 꿈꾸었던 1980년대까지 거슬러 올라간다. 그 이후 몇 년간 많은 학술적 연구들이 신뢰할 수 있고, 값이 싸며, 별도의 전원이 필요 없는 RFID 태그를 이용해 이를 실현시키는데 집중했다. 전파 신호에 노출되면 RFID 태그는 이 신호의 에너지를 자신이 가지고 있는 정보, 대부분의 경우 자신을 식별하기 위한 긴 숫자를 돌려주는데 사용한다.


  현재, (전원을 내장한) “액티브”태그와 한층 더 발전되어 많은 관심을 끌고 있는 무선 센서들도 존재한다. 모든 전자기기와 마찬가지로, 이것들은 더 작아지고 더 다용도로 사용되고 있다. “무엇이든 필요한 것만 말해주면, 우리는 당신을 위해 그것을 만들어 줄 수 있습니다.” 지멘스 연구소장 Reinhold Achatz는 말했다. 신생기업들도 극히 드문 화학 물질부터 가장 생소한 형태의 박테리아까지 모든 것들을 검출할 수 있는 장치를 만들고 있다. 싱가폴 기업 Optiqua는 빛이 샘플로 채취한 물속을 얼마나 빠르게 통과하는 지 측정함으로써 그 속에 포함된 오염물질을 측정하는 칩을 만들어냈다. 또한 캘리포니아 버클리에 위치한 Lawrence Livermore 국립 연구소에서 개발한 바이오센서는 2,000종의 바이러스와 900종의 박테리아를 검출할 수 있다.


  연구원들은 또한 센서들의 확산을 막고 있는 두 개의 커다란 문제를 해결하기 위해 노력하고 있다. 그 중 하나는 전원이다. 선으로 전원을 공급하거나, 정기적으로 베터리를 교체하는 것은 어렵다. 하지만 센서는 빛이나 움직임의 형태 같은 주위 환경으로부터 에너지를 뽑아내는 것을 통해 전원을 스스로 공급할 수 있게 되었다. 유사하게, 어떤 센서들은 또 다른 드문 자원인 전파 스펙트럼을 효과적으로 사용하고 있다. “그물 네트워크”를 구성한 스마트 전기 검침기들이 그들의 정보를 서로 릴레이하고 있다. 


  센서를 연구하는 엔지니어들은 이것이 궁극적으로 “스마트 먼지” – 센서가 먼지 조각들처럼 작아져서 전장에 뿌려짐으로써 적군의 움직임을 알아낼 수 있는 등의 형태로 구현될 것이라고 생각한다. 이러한 장치들은 아직 멀었지만, 실리콘 벨리의 휴렛-펙커드(HP)에서 미래의 기술을 맛보는 것 – 정확하게는 느끼는 – 정도는 현재에도 상용화가 되어있다. HP의 담배 갑 정도 크기의 사물의 가속도를 측정할 수 있는 장치인 새로운 가속도계 데모를 위해서, 연구원 Peter Hartwell은 그 장치를 자신의 가슴 위에 올려놓았고, 곧 뒤 쪽의 스크린에 그의 심장 박동이 표시되기 시작했다. “이 센서는 스마트폰에 들어있는 센서보다 천 배는 더 정확합니다.” 그는 자랑스럽게 설명했다.


  Hartwell과 그의 동료들은 언젠가는 조 단위의 센서들이 세계를 뒤덮고 자동차 제조사나 지방 정부 등 정보가 필요한 누구에게나 그것을 전달해 주기를 기대하고 있다. 우선, HP는 정유 기업 Royal Dutch Shell와 협력을 하고 있다. 그들은 탐사하고자 하는 지역에 수 천 개의 센서들을 흩뿌려 놓는 계획을 세웠다. 이 센서들은 땅을 쿵쿵 거리는 “덤프 트럭” 같은 사물에 의해 생성되는 지질학적 진동의 반향을 감지할 수 있도록 설계되었다. 이 데이터는 그들로 하여금 석유나 천연가스가 어디에 존재하는지 정확하게 감지할 수 있도록 할 것이다.


  아직 RFID 태그나, 무선 센서들 또 이러한 맥락이라면 디지털 카메라까지 (휴대전화 덕택에 지금까지 가장 널리 보급된 센서이다) 는 이야기의 절반에 불과하다. 많은 사물들이 자동 인식되기 위해서 더 이상 전자 태그나 바코드 따위를 필요로 하지 않는다. 예를 들어, 구글에 의해 서비스 되는 고글즈 서비스는 책 표지나, 랜드 마크, 그림들을 인식할 수 있다. 이용자는 단지 사진을 찍어 구글의 컴퓨터로 이를 보내고, 그들은 그 사물에 대한 검색 결과를 보내준다.


  이미 실생활에 존재하는 셀 수도 없이 많은 기계와 장치들이 데이터를 생성할 수 있는 디지털 기술들을 가지고 있다. 더 많은 기기들이 서로 연결되고, 그럼으로써 자신들이 보유한 정보를 세상으로 내보내어 통신할 수 있다. 커피 머신부터 냉장고, 비행기의 엔진, 병원의 바디 스캐너까지 그 예는 다양하다. 이들은 현재 집에 전화를 걸거나, 또 말을 하거나, 넘쳐나는 데이터를 제작자에게 제공하는 모든 것을 할 수 있다. 


사람의 힘


  하지만 가장 중요한 것은 인간, 그 자신이 훌륭한 센서가 될 수 있다는 점이 밝혀진 것이다. 많은 것들이 별도의 노력 없이도 정보를 제공할 수 있다. 단지 휴대전화를 들고 다니기만 하면 된다. 네비게이션 제조 업체인 TomTom은 모바일 네트워크의 연결 정보 데이터를 이용해 교통 정체가 발생했다면 방향 지시를 수정한다. 다른 기업들은 스마트폰에 추가적인 센서를 연결하고 있다. 온라인 광고 에이전시인 Federated Media의 사장 John Battelle와 출판사 O’Reilly Media의 사장 Tim O’Reilly는 이러한 기기나 스마트폰이 점점 인간을 인터넷의 센서 조직으로 만든다고 말한다. 그들의 논문 “Web Squared”는 이렇게 적고 있다. “우리의 카메라, 마이크가 인터넷의 눈과 귀가 되고 있다.”


  이러한 “집단센싱”이라 알려져 왔던 것보다 놀라운 것은 많은 사람들의 능동적으로 정보를 수집하고 업로드 하려는 자발성이다. 가장 좋은 예는 1억 6천만 명의 이용자가 하루 1억 개의 트윗을 올리고 있는 마이크로 블로그 서비스 트위터이다. 이용자들이 무엇을 보고, 듣고, 읽으면, 그들은 즉시 컴퓨터나 스마트폰을 이용해 140글자로 작성한다.  “트위터는 뉴스 탄광의 카나리아 이다.” 2008년 5월에 일어났던 중국의 쓰촨성 지진에 대한 뉴스에서 트위터가 주류의 미디어를 압도한 이후 뉴 미디어 학자인 Jeff Jarvis는 위와 같이 적었다.


  다른 무수한 예가 있다. 위키 스타일의 웹 사이트인 OpenStreetMap에서는 25만 명의 자원자들이 스마트폰의 위치 기능을 이용하여 그들의 행적을 기록하고 있다. 또한 신생기업 SeeClickFix 사용자로 하여금 깨진 가로등이나, 수거될 필요가 있는 쓰레기를 신고할 수 있도록 해주는 스마트폰 앱을 만들었다.


과유불급


  이러한 모든 센서들이 엄청난 양의 데이터를 만들어 낼 것이라고 상상하는 것은 그리 어려운 일이 아니다. “모든 가정에서 스마트 미터를 설치한다면 이를 저장하기 위한 디스크 공간을 확보하지 못할 것입니다.” 데이터를 분석하는 소프트웨어인 분석 소프트웨어 분야의 선구자 중의 하나인 SAS의 사장 Jim Goodnight는 말한다. “사실 가장 중요한 것은 무엇을 버릴까 결정하는 것 입니다.”


  얼마나 많은 데이터가 생성될지는 다들 짐작만 하고 있다. 시장 조사기관 IDC의 예측에는 약간의 과장이 섞여있을 수 있다. 왜냐하면 그들은 저장 시스템 제조사인 EMC의 지원을 받고 있기 때문이다. 하지만 살펴보는데 의미는 있을 것이다. 그들은 “디지털 월드” – 일년에 디지털 정보가 생성되고 복제되는 양 – 이 35 제타바이트 혹은 35 조 기가바이트까지 증가할 것으로 예측하며 이는 화성까지 거리의 절반 만큼을 DVD로 쌓을 수 있는 양이다. 만약 센서나 다른 데이터 생성 기기들이 예측한대로 보급된다면 이 또한 매우 보수적인 예측이 될 것이다.


  다행히, 이런 데이터 홍수를 다루기 위한 도구들도 점점 더 나아지고 있다. 마커와 화이트보드를 IBM의 연구원 Bijan Davari에게 주면 그는 그와 동료들이 예상하는 미래의 컴퓨팅 모습을 그려줄 것이다. 왼쪽에는 모든 종류의 센서를 표현하는 작은 사각형들이 몇 개 위치한다. 그들이 생성하는 데이터들은 그가 오른편의 사각형으로 표현한 “Throughput engine”이라 불리는 것으로 입력된다. 이것은 특화된 반도체들의 집합으로 구성되며 각각은 특정 타입의 센서로부터 수집된 정보를 분석하는데 최적화 되어있다. “입력 스트림들을 개별적으로 다루지 못하는 시스템은 금새 과부하에 걸립니다.” Davari는 말했다.


  IBM은 벌써 수 천 개의 “데이터 스트림”을 처리하고 실시간으로 분석할 수 있는 “Stream Computing”이라 부르는 것에 기반한 상품을 소개했다. 온타리오 대학의 신생아 보호 장치는 미성숙아들을 모니터링 함으로써 이러한 시스템을 테스트 중이다. 심박 수, 호흡 등의 생태 의학적 데이터 스트림들을 받아들여 아기의 상태가 나빠지면 의사에게 이를 알린다.


  분석 소프트웨어도 함께 발전하고 있다. 이는 “구조화” 되거나 데이터베이스에 정리된 데이터를 철저하게 분석할 때, 또는 신용카드 거래가 사기성은 없는지, 공휴일 근처의 항공편에 대한 수요 예측 등에서 예측 모델을 구축하는데 오랜 기간 이용되어 왔다. 현재는 이러한 프로그램들이 “비구조화”된 데이터(이들 대부분은 형식 없는 텍스트)들을 해석하는데도 이용되고 있다. 올해 초 SAS는 페이스북이나 트위터 같은 소셜 미디어에서의 메시지에 포함된 “감정”을 분석할 수 있는 제품을 내놓았다.


  이 소프트웨어는 또한 트위터에서 특정 회사에 가장 영향력 있는 발언을 하는 사람이 누군지를 찾아 내고 이를 통해 그에게 특별한 마케팅 메시지를 보낼 수 있는 기능도 가지고 있다. 사실, 트위터 그 자체가 웹에 게시되는 컨텐츠들의 비중을 끊임없이 정렬하는 한 종류의 집합적 필터이다. 그리고 페이스북 이용자들은 업로드한 사진에 찍힌 친구들의 태그를 달아 페이스북이 다른 사진에서도 그 친구들을 인식할 수 있게 해준다. “컴퓨터를 학습 시킨다는 의미”라고 Messrs Battelle과 O’Reilly는 적고 있다.


  하지만 스마트 시스템의 가장 중요한 목표는 McKinsey Global Institute에서 3월에 발간한 인터넷에 관련된 한 보고서에 있는 표현대로 “하나의 궤를 잘 구성하는 것”이다. 이는 데이터에서 얻은 지식을 모든 종류의 프로세스를 최적화하고 자동화 하는데 이용하는 것이다. 가능성 있는 응용 프로그램의 수는 제조업에서부터 자동차 사고의 방지까지 다양하다. 현재까지 가장 유망한 분야는 물리적인 인프라 구축 일 것이다.

[Economist] 금을 위한 클릭 (Clicking for gold)

금을 위한 클릭


Feb 25th 2010 |
From The Economist print edition



인터넷 기업들은 웹의 데이터를 통해 어떻게 돈을 버는가?


잠깐! Amazon.com은 그들이 당신에 대해서 무엇을 알고 있는지 들키지 않기를 바란다. 그들은 당신이 구입한 책의 목록 뿐 아니라, 뒤적거렸으나 구입하지 않은 책을 기록하고 있으며 이를 이용해 다른 책을 추천하기도 한다. 그들의 e-book인 킨들로부터 수집한 정보는 한층 다양하다. 사용자가 각 페이지를 읽는데 얼마나 걸리는지, 별도의 노트를 하는지 등등. 하지만 아마존은 어떤 데이터들을 수집하고 그들을 어떻게 이용하는지 밝히기를 거부한다.


이뿐 아니다. 인터넷 산업 전체에 걸쳐 기업들은 사람들의 활동, 선호, 혐오, 다른 사람과의 관계, 어느 순간에 어느 위치에 있었는지 등에 대한 대량의 정보를 수집하면서도 침묵을 지키고 있다. 예를 들어 소셜 네트워킹 사이트 페이스북은 그들의 4억 이용자들의 활동을 기록하고, 이 중 절반은 매일 이 사이트에서 한 시간 가량을 보내지만 그들이 무엇을 수집하는지에 대해서는 침묵을 지키고 있다. 구글은 약간의 내용을 공개했지만, 나머지 대부분은 숨기고 있다. 온라인 경매 사이트 eBay 조차 침묵을 지킨다.


“그들은 이것이 이슈화 되는 것이 편치 않습니다. 왜냐하면 이것이 그들이 가지고 있는 경쟁력의 핵심이기 때문입니다.” 기술 전문가이자 발행인인 Tim O’Reilly는 말했다. “데이터는 법정 화폐와 같습니다. 이를 가지지 못한 다른 기업과 큰 격차를 벌릴 수 있게 해줍니다.” 웹에서 가장 큰 사이트 중 하나의 홍보 책임자는 “우리는 이 문제에 대해 심도 있게 논의할 위치에 있지 않습니다. 그것은 사생활 같은 민감한 고려 사항과는 별로 관계가 없습니다. 대신, 우리는 단지 우리의 전략을 드러내 놓을 준비가 되어 있지 않은 것입니다.” 라고 인정했다. 다시 말해, 기업은 소중한 업계의 비밀에 대해서 밝히고 싶지 않은 것이다.


이러한 침묵은 부분적으로 고객의 우려할 경우, 혹은 정부가 반갑지 않은 관심을 가질 경우에 대한 기업들의 염려를 반영한다. 하지만 이는 두 가지 이유에서 너무 근시안적이다. 첫째로, 정치가들과 대중은 이미 불안해하고 있다. 미 연방 무역 위원회의 회장 Jon Leibowitz는 산업 전체가 적극적으로 해결에 나서고 있지 않다고 공개적으로 비판했다. 둘째로, 만약 이용자가 어떻게 데이터가 이용되는지 안다면, 아마도 염려하기 보다는 인상 깊어 할 것이다.


전통적인 산업에서는 고객에 대한 정보를 그들의 구매나 설문조사에 의해 얻는 것이 일반적이었지만, 인터넷 기업들은 그들의 웹 사이트에서 일어나고 있는 모든 일로부터 데이터를 수집할 수 있는 풍요로움을 누리고 있다. 거대한 웹 사이트들은 정보 그 자체가 그들의 가장 큰 보물이라는 것을 오래 전부터 인식하고 있었다. 그리고 이러한 정보는 전통적인 기업들이 도저히 대적할 수 없는 방식으로 바로 사용될 수 있다.


이러한 기술 중 몇몇은 널리 이용되고 있다. 새로운 기능을 실제 구현하기 전에, 거대 사이트들은 어떤 것이 가장 잘 동작하는 지에 대한 통제된 실험을 진행한다. 영화를 대여해 볼 수 있게 제공하는 Amazon과 Netflix은 다른 사용자들이 무엇을 좋아하는 지에 기반하여 사용자들에게 영화를 추천하는 협업적 필터링이라 불리는 통계적 기법을 사용한다. 그들이 사용하는 기술로 인해 수백만 달러의 추가 매출이 일어났다. 거의 3분의 2에 해당하는 소비자의 선택이 컴퓨터에 의한 소개를 통해 이루어졌다.


첫 눈에 보기에는 중립적인 상업 거래를 위한 플랫폼 이상이 아닐 것 같은 eBay도 물건을 내놓는 행동, 입찰, 가격 동향, 검색어, 사용자가 한 페이지를 보는 시간 등 수집한 정보들을 통해 수없이 많은 조정을 한다. 모든 제품 분류는 능동적으로 관리되는 하나의 미시 경제처럼 다루어진다. 많이 검색되지만 잘 팔리지는 않는 고가의 상품은 충족되지 않은 요구를 나타내고, 따라서 eBay는 상품 게시를 늘리기 위해 판매자 보험을 제공할 파트너를 찾는다.


가지고 있는 데이터로부터 가장 많은 것을 얻어내는 기업은 구글이다. 상상할 수 없을 만큼 많은 양의 정보로부터 새로운 경제적 가치를 만들어 내는 것은 그들의 생명선이다. 이는 설립 11년이 지난 기업의 시가 총액이 조사 결과 1700억불에 달하는 것이 이상하게 느껴지지 않는 이유를 말해준다. 구글은 사용자와의 인터렉션이나, 자동적으로 서비스를 향상 시키거나 완전히 새로운 제품을 만들기 위해 재활용되는 data exhaust의 부산물인 정보를 활용하고 있다.


마우스를 통한 투표


구글의 창업자 중 한명인 Larry Page가 검색을 위한 페이지 랭크 알고리즘을 고안한 1998년까지 검색 엔진들은 구현 자체가 널리 공개된 시스템인 한 웹 페이지 상에서 한 단어가 몇 번이나 나타나는 지를 계산하는 방법으로 단어와 웹 페이지의 관계성을 결정했다. 구글의 혁신은 다른 페이지로부터 현재 페이지로 향하는 링크의 개수를 세는 것이다. 이러한 링크는 인터넷 사용자가 대체적으로 중요한 자료라고 믿는 것에 대한 투표 역할을 했다. 많은 인용이 책의 우수성을 말해주는 것처럼, 많은 링크는 그 웹 페이지가 더 유용하다는 것을 뜻한다.


구글의 시스템은 하나의 발전이었지만, 이를 속이기 위해 만들어진 “링크 스팸”의 남용에 취약했다. 구글의 기술자들은 실제 사용자가 클릭하거나 머물게 될 검색 결과로 노출 되었을 때 별점을 매기는 것이 해결책이라는 것을 깨달았다. 구글 검색은 1/4초 만에 2백만 개의 결과 페이지를 내놓지만, 사용자들은 오직 하나의 페이지만을 원하고 이를 선택함으로써 구글에게 그들이 무엇을 찾고 있었는지를 말해준다. 따라서 이 알고리즘은 서비스에 피드백된 정보를 통해 자동으로 재조정된다.


이를 통해 구글은 이것이 데이터 마이닝에 관련된 것이라는 사실을 깨달았다. 이 모델은 간단한 경제 용어로 바꾸어보면, 검색 결과를 통해 $1의 가치를 제공한다 하면, (이용자의 클릭 덕택에) 다시 1센트를 되돌려 받는 것이다. 다음 이용자가 방문했을 때, 그는 $1.01의 가치를 얻게 되고 이것이 반복된다. 한 직원은 이를 “우리는 거대하고 ‘산만한’ 데이터들을 통해 배우는 것을 좋아합니다.”라고 말했다.


커다란 데이터의 뒤에서 발전을 이루어내고 있는 것은 구글 만이 아니고, 또 새로운 기술도 아니다. 가장 눈에 띄는 예는 미 해군의 Matthew Fontaine Maury가 태평양을 건너는 선박들로부터 항해 일지를 수합하여 바람과 해류가 가장 적합한 경로를 찾을 수 있을 것이라고 생각했던 19세기 중반으로 거슬러 올라간다. 그는 그의 지도 사본을 항해 일지를 제공한 선장에게 제공해서 “전염적인” 소셜 네트워크의 색다른 초기 형태를 만들었다. 하지만 이 과정은 느렸고, 수고스러운 일이었다.


마법 스펠링


구글은 이러한 데이터들로부터 재귀적으로 학습하는 방법을 그들의 많은 서비스에도 적용하고 있고, 거의 모든 언어에서 아마 세계 최고의 맞춤법 검사기를 만들어낸 선구적인 방법에도 이것이 사용되고 있다. 마이크로소프트는 그들이 지난 20년 동안 그들의 워드프로세서를 위한 강력한 맞춤법 검사기능을 만드는데 수백만 달러를 썼다고 말한다. 하지만 구글은 이 기능을 위한 원료를 공짜로 얻었다. 그들의 프로그램은 사용자들이 검색 창에 타이핑한 잘못된 단어들과 올바른 결과를 클릭한 “교정”에 기초한다. 하루에 거의 30억에 달하는 검색 건으로 이러한 결과는 곧 산더미처럼 쌓인다. 1990년대의 다른 검색 엔진들도 같은 것을 할 수 있는 기회가 있었지만 실제 실행에 옮기지는 않았다. 2000년 경에 야후가 이의 잠재력을 보았지만, 실천에 옮기지는 않았다. 사용자와 상호작용의 쓰레기 더미에서 금가루를 발견하고 이 모두를 수집하는 수고를 떠맡은 것은 구글이었다.


최근 구글의 2가지 서비스인 번역과 음성인식도 같은 방식이다. 양쪽 모두 인공 지능 분야의 컴퓨터 과학자들에게는 커다란 장애물이었다. 40년이 넘는 기간 동안 과학자들은 언어의 음성과 구조를 이해하는 컴퓨터를 만들기 위해 노력해왔다. 이는 올바른 시제 등을 가지는 한 문장에서 어디에 명사와 동사가 위치하는지 등의 규칙을 정의하는 것을 의미한다. 규칙에 어긋나는 모든 예외들 역시 입력되어야 했다. 이와는 반대로 구글은, 이를 많은 데이터와 연산 능력만 있으면 풀 수 있는 커다란 수학 문제로 보았고, 실제 유용한 해결책을 찾아내었다.


번역을 위해서 구글은 그들의 다른 서비스들을 이용 할 수 있었다. 그들의 검색 시스템은 20여 개 국의 언어로 번역된 유럽 연합 집행 기관의 문서들을 찾아 낼 수 있다. 그들의 책을 스캐닝 하는 프로젝트는 다른 여러가지 언어로 번역된 수천개의 책 제목들을 가지고 있다. 이러한 모든 번역의 질은 표준을 준수하기 위해 전문가들에 의해 이루어져서 아주 좋은 상태이다. 따라서 컴퓨터에게 언어의 규칙을 가르치려 노력하는 대신에, 구글은 통계적 추론을 만들기 위해 텍스트 그 자체에 집중했다. 구글의 엔지니어인 Frans Och에 따르면 구글 번역기는 현재 50개 이상의 언어를 처리할 수 있다. 이 시스템은 한 언어의 단어나 구를 가지고 다른 언어에서의 가장 비슷한 동등어를 찾아낼 수 있다. 만약 직접 번역이 힘든 경우 (예를 들어, 힌두어와 카탈로니아어), 영어가 중간 다리 역할을 한다.


구글이 이러한 방법을 처음 사용한 것은 아니다. 1990년대 초반 IBM은 캐나다의 국회에서의 번역을 이용하여 프랑스어-영어 번역프로그램을 만드려 시도한 적이 있다. 하지만 제대로 동작하지 않았고, 이 프로젝트는 폐기 되었다. IBM은 오직 폐기 처분된 수백 만개의 문서를 가지고 있었다고 Och는 무시하듯이 말했다. 구글은 수십 억개를 가지고 있다. 구글의 시스템은 초기에 약 2조개의 단어를 처리하여 개발되었다. 엄청난 양의 데이터로 학습되었지만, 이는 맞춤법 검사와 검색의 재귀적인 특성이 부족했다.


이러한 피드백 루프의 디자인은 중요하다. 구글은 사용자들에게 그들의 의견을 묻지만 그 이상은 없다. 독일에서 개발된 Linguee라는 번역기는 조금 다른 방법을 시도한다. 사용자에게 가능한 번역의 샘플들을 제시하고 가장 적당한 것을 클릭하도록 한다. 이는 어떤 것이 가장 정확했는지에 대한 피드백이 될 수 있다.


음성 인식은 Data exhaust 이용의 중요성을 강조한다. 구글의 전화번호부나, 음성 자동차 내비게이션 서비스를 이용하기 위해서 고객은 특정 번호로 전화를 걸어 그들이 찾고 있는 것 (역: 목적지, 혹은 사람이름)이 무엇인지 말해야 한다. 시스템이 이를 재차 확인하여 말해주고, 사용자가 그것을 받아들이거나 다시 질의가 반복되면 시스템은 해당 단어가 말해질 수 있는 다양한 방법들에 대한 레코드를 남긴다. 그들은 목소리를 이해하는 것이 아니다. 확률을 계산한다.


이러한 서비스를 런칭하기 위해서 구글은 완성되어있는 음성 인식 시스템이 필요했고, 이 분야의 대표 기업인 Nuance로부터 소프트웨어 라이센스를 취득했었다. 하지만 구글 자신이 음성 질의에 대한 데이터를 가지고 있으므로, 그들의 음성 인식 시스템은 결국 현재 관련있는 모든 업체와의 제휴로 많은 데이터들에 대한 접근 권한을 얻으려 노력 중인 Nuance보다 좋은 성능을 낼 것이다.


데이터의 재이용은 어떻게 연산이 이루어지는 지에 대한 새로운 모델을 제시한다고 프린스턴 대학의 Edward Felten은 말한다. “커다란 데이터 집합들을 보고 어떤 일들이 함께 일어나고 있는지를 추론하는 것은 기대했던 것보다 훨씬 빠르게 발전하고 있습니다. ‘이해’는 과대 평가된 것으로 밝혀지고 있고 통계적인 분석이 이를 대체하고 있습니다.” 많은 인터넷 기업들도 이제 이러한 시각을 가지고 있다. 페이스북은 사용을 촉진시키기 위해서 그들의 엄청난 양의 데이터베이스를 정기적으로 검사하고 있다. 이용자가 그 사이트의 활성화에 기여할지 여부를 예측하는 가장 좋은 변수는 이용자의 친구들이 활동적이었는지 보는 것이라는 것을 찾아냈고, 따라서 가입자들에게 그들의 친구들이 온라인 상에서 푹 빠져 있었던 것에 대한 정보를 보내주었다. 온라인 게임 회사인 Zynga는 그들의 게임을 발전시키기 위해서 1억 명의 고유 플레이어를 매달 추적한다.


“만약 이용자가 생성하는 생성 데이터를 손에 넣을 수 있으면, 우리들은 단지 알고리즘을 개선 시키는 것보다 훨씬 좋은 시스템을 개발 할 수 있을 것입니다.” 과거 아마존의 최고 과학자였고, 지금은 스탠포드 대학에 있는 Andreas Weigend는 말했다. 많은 기업에서 이사로 재직 중인 벤처 투자자이자, 웹의 첫 번째 상업용 브라우저였던 Netscape의 창업자인 Marc Andreessen은 “이러한 새로운 기업들은 커다란 양의 데이터를 다룰 수 있는 문화, 프로세스, 기술을 만들어 왔고 이는 전통적인 기업들이 간단히 가질 수 없는 것이다.” 라고 생각한다.


Data exhaust의 재활용은 구글 제국에서 진행 중인 수많은 프로젝트들의 공통 주제이자, 왜 그들 대부분이 “베타” 혹은 초기 테스트 버전 이라는 딱지를 붙이고 있는지 설명해준다. 그들은 정말로 끊임없는 개발이 진행 중인 것이다. 구글 이용자로 하여금 의료 기록을 저장할 수 있게 해주는 서비스는 구글에게 질병과 치료에 대한 유용한 패턴을 찾아낼 수 있게 할 것이다. 이용자들이 그들의 장치 각각의 전기 소비량을 감시할 수 있게 해주는 서비스는 에너지 소비에 대한 풍부한 정보를 제공할 것이다. 이는 세계 최고의 가전제품과 전자기기들에 대한 데이터 베이스가 될 것이고 이를 통해 고장을 예측할 수도 있을 것이다. 구글이 무료로 공개하고 있는 수집된 검색 질의들을 이용하면 소매 매출부터 플루의 창궐까지 모든 것들을 높은 정확성으로 예측할 수 있을 것이다.


통틀어, 이 모든 것들은 구글의 원대한 목표 “세계의 정보를 조직화”와 일맥상통한다. 아직은 단어를 신중하게 써야 한다. 구글은 데이터를 소유할 필요가 없다. 일반적으로 구글이 원하는 것은 데이터에 접근할 권리를 가지는 것이다. (그리고 그의 라이벌들은 그럴 수 없는 상황이다) 작년 9월 조용히 시작된 “데이터 해방 운동”이라 불리는 새로운 시도에서 구글은 그들의 모든 서비스를 변경하여 사용자들이 서비스들을 쉽게 중단하고, 그들의 데이터를 회수할 수 있도록 계획 중이다. 고객을 묶어 두는 것 에서 쌓아 올려진 산업에서, 구글은 “탈출을 위한 장벽”을 줄이기를 바란다고 말하고 있다. 이는 기술자들이 많은 최고 기술 기업의 저주인 ‘현재 상태에 안주’하지 않도록 도울 수 있을 것이다. 이 프로젝트는 이로 인해 사업 상 손실이 발생하기 시작하면 중단 될 수도 있다. 하지만 구글은 아마 사용자들이 자신들의 정보를 쉽게 거두어들일 수 있다는 사실을 알면 더 많은 정보를 구글과 나누고 싶어 할 것이라고 예상한다.

[Economist] 데이터 홍수 (The data deluge)

데이터 홍수


Feb 25th 2010 |
From The Economist print edition


산업, 정부, 사회가 이제 막 그 엄청난 잠재력을 이용하기 시작했다



18개월 전, Li & Fung이라는 소매상을 위한 유통 체인을 관리하는 한 회사는 그들의 네트워크를 통해서 하루에 100기가 바이트의 정보가 흘러가는 것을 보았다. 이제, 그 양은 10배가 늘었다. 2009년 동안 미국의 무인 항공기는 이라크와 아프가니스탄 등지를 비행하며 24년의 길이에 해당하는 비디오 화면을 전송했다. 올해 배치될 새 모델은 과거의 기종에 비해서 10배에 달하는 실시간 데이터를 전송할 것이고, 2011년에는 30배로 늘어날 것이다.


당신이 어디를 보든, 전 세계에서 정보의 양은 증가하고 있다. 한 측정에 따르면 인류는 2005년 150 엑사바이트 (백만기가바이트)의 데이터를 생성했다. 올해, 1,200 엑사 바이트를 생성할 것이다. 단순히 이 정보의 홍수를 쫓아가는 것과 유용해 보이는 것을 저장하는 것 조차 어려워졌다. 이들을 분석하고, 패턴을 찾아내고, 유용한 정보를 추출해 내는 것은 더욱 어렵다. 그럼에도, 이 데이터의 홍수는 벌써 산업, 정부, 과학 그리고 일상 생활을 변화시키기 시작했다. 이는 소비자, 기업 그리고 정부가 언제 데이터의 흐름을 규제하고, 언제 촉진 시킬지에 대한 올바른 판단을 하는 한 호혜적인 커다란 잠재력을 가지고 있다.

쓰레기 더미에서 다이아몬드를 뽑아내기


몇몇 산업이 데이터를 수집하고 활용하는 능력을 기르는데 앞장서고 있다. 신용카드 회사들은 모든 상거래를 살펴보고 수십 억 개의 거래에서 뽑아낸 몇 규칙들을 적용하여 사기성 거래가 무엇인지 높은 정확도로 구별해 낸다. 예를 들어 거래를 감추기 쉽기 때문에 도난 된 신용카드는 와인보다는 위스키를 사는데 많이 사용된다. 보험회사들도 단서들을 조합하여 의심스러운 지불 요청 찾아내는데 능하다. 사기성 지불 요구는 화요일보다는 월요일에 많이 발생하는데, 왜냐하면 사고를 꾸며내는 보험계약자들은 주말 동안 가짜 목격자 역할을 할 친구들을 포섭하는 경향이 있기 때문이다. 이러한 많은 규칙들을 적용하여 어떤 카드가 도난 된 것일 가능성이 크고, 어떤 지불 요구가 의심스러운지 알아낼 수 있다.


한편, 이동 통신사들도 가입자들의 전화 이용 행태를 분석하여, 예들 들면 그들이 가장 자주 연락하는 상대가 경쟁사의 가입자인지 등을 알아낼 수 있다. 만약 경쟁사가 그 가입자를 끌어가기 위한 좋은 조건의 프로모션을 진행한다면, 이들을 붙잡아 두기 위한 다른 인센티브를 제시할 수도 있다. 오래된 산업들도 최근에는 요즘 등장하는 산업들처럼 열성적으로 데이터를 이용하고 있다. 오프라인과 온라인 상점들은 데이터 마이닝의 대가들이다. (혹은 “비지니스 인텔리젼스” 현재 알려진 것 처럼) 장바구니 정보를 분석하여 슈퍼마켓들은 딱 맞는 프로모션을 특정 고객의 입맛에 맞게 제공할 수 있다. 석유 산업에서는 시추 전에 슈퍼 컴퓨터를 사용하여 지진 발생 데이터를 철저하게 분석한다. 그리고 천문학자들은 별들을 향한 망원경 처럼 소프트웨어 질의 도구를 디지털로 된 천체 측량에 이용한다.


아직도 갈 길은 멀다. 몇 년의 노력에도 불구하고, 법의 집행과 정보 기관의 데이터베이스는 대체로 연결되어있지 않다. 의료 보험에서, 의료 기록의 디지털화는 치료 경향을 발견하고 감시하고, 다른 치료법들의 효과를 평가는 것을 훨씬 쉽게 만들어 줄 수 있다. 하지만 의료 기록들을 전산화 하려는 폭넓은 노력들은 관료적이고, 기술적이며 또한 윤리적인 문제에 봉착하는 경향이 있다. 온라인 광고는 이미 오프라인 광고보다 훨씬 더 정확하게 타켓팅 되고 있지만 더 개인화되어 나아갈 수 있는 여지가 있다.


이것이 현실화 되면 광고주들을 돈을 더 지불한 용의가 있을 것이며, 결국 이러한 광고를 받아들일 준비가 된 소비자들은 더 풍부하고 넓은 범위의 무료 온라인 서비스를 제공 받을 수 있음을 의미한다. 그리고 정부는 뒤늦게 범죄자, 지도, 공공 서비스 실행에 대한 정부 계약의 세부 사항 및 통계 등 더 많은 정보를 대중에게 공개하려는 계획에 착수했다. 사람들은 이러한 정보를 새로운 방법으로 재활용하여 사업을 시작하던지, 혹은 민선 공무원에게 책임을 물을 수 있을 것이다. 이러한 새로운 기회를 잡은 기업이나 혹은 다른 이들이 그럴 수 있게 도구를 제공한 기업은 번창할 것이다. “Business Intelligence”는 소프트웨어 산업에서 가장 빠르게 성장하는 분야 중 하나이다. 

좋지 않은 소식들


하지만 데이터의 홍수도 몇몇 위험을 야기한다. 예로 가득 찬 데이터베이스가 도난 당한다면, 사회 보장 연금 정보로 가득 찬 디스크들이 사라질 수도 있고, 세금 정보를 저장해 놓은 랩탑을 택시에 두고 내릴 수도 있고, 신용카드 정보가 온라인 소매상에서 유출 될 수도 있다. 결과는 개인 정보의 침해, 도용, 그리고 사기이다. 개인 정보 위반은 이러한 범법 행위가 없어도 가능하다. 페이스북이나 구글이 예상치 않게 그들의 온라인 소셜 네트워크의 개인 정보 설정을 변경하고 이는 자신도 모르게 개인 정보 공개를 초래한다. 더욱 해로운 위협이 다양한 종류의 “Big Brother”화 된 것들, 특별히 정부가 기업들에게 그들의 고객정보를 넘겨달라고 강요 할 때 등에 의해 초래된다. 자신의 개인 정보를 소유하고 관리하는 것 대신에, 사람들은 그 정보에 대한 통제권을 잃어버린다.


이러한 데이터 홍수의 단점들에 대처하는 가장 좋은 방법은 역설적으로 다양한 분야에서 더 투명성을 가지기를 요구해서 더 많은 데이터를 올바른 방법으로 공개하는 것이다. 첫 째, 사용자들에게는 그들에 대한 정보를 더 잘 접근하고 누구와 공유할 것인지 설정할 지가 포함된, 관리할 수 있는 권한이 주어져야 한다. 예를 들어 구글은 이용자들에게 구글이 이용자들의 어떤 정보를 가지고 있는지 볼 수 있게 하고, 그들의 검색기록을 삭제할 수 있으며, 광고의 대상을 수정할 수 있게 한다. 둘째로, 세계의 몇몇 지역에서는 이미 현실화 되었지만 기관에게는 관리자들이 정보 보안을 더 심각하게 생각할 수 있도록 보안 결함들의 세부 사항을 공개하는 것이 요구된다. 세 번째로, 기관들은 연례 보안 감사의 대상이 되어야 하며 결과 등급은 대중에게 공개 되어야 한다. (비록 공개된 문제의 세부 사항들까지는 아니더라도) 이는 기업들에게 그들의 보안을 최신으로 유지하게 하는 동기부여가 될 수 있다.


데이터를 잘 관리하는 기업이 아닌 기업에 비해서 선호되는 환경에서 이는 구매 충동에 본격적으로 영향을 미칠 것이다. 이 세 분야에서의 뛰어난 투명성은 보안을 증대시키고, 혁신을 억누르는 복잡한 규제가 필요 없이도 사람들에게 더 많은 그들의 데이터에 대한 권한을 줄 것이다. 결국, 데이터 홍수에 대처하는 배움의 과정이, 그리고 어떻게 그것을 이용할 수 있을지 알아내는 과정이, 이제 막 시작되었다.


영어 원문


[#M_ more.. | less.. | 

The data deluge


Businesses, governments and society are only starting to tap its vast potential


Feb 25th 2010 | From The Economist print edition



EIGHTEEN months ago, Li & Fung, a firm that manages supply chains for retailers, saw 100 gigabytes of information flow through its network each day. Now the amount has increased tenfold. During 2009, American drone aircraft flying over Iraq and Afghanistan sent back around 24 years’ worth of video footage. New models being deployed this year will produce ten times as many data streams as their predecessors, and those in 2011 will produce 30 times as many.


Everywhere you look, the quantity of information in the world is soaring. According to one estimate, mankind created 150 exabytes (billion gigabytes) of data in 2005. This year, it will create 1,200 exabytes. Merely keeping up with this flood, and storing the bits that might be useful, is difficult enough. Analysing it, to spot patterns and extract useful information, is harder still. Even so, the data deluge is already starting to transform business, government, science and everyday life (see our special report in this issue). It has great potential for good—as long as consumers, companies and governments make the right choices about when to restrict the flow of data, and when to encourage it.


Plucking the diamond from the waste


A few industries have led the way in their ability to gather and exploit data. Credit-card companies monitor every purchase and can identify fraudulent ones with a high degree of accuracy, using rules derived by crunching through billions of transactions. Stolen credit cards are more likely to be used to buy hard liquor than wine, for example, because it is easier to fence. Insurance firms are also good at combining clues to spot suspicious claims: fraudulent claims are more likely to be made on a Monday than a Tuesday, since policyholders who stage accidents tend to assemble friends as false witnesses over the weekend. By combining many such rules, it is possible to work out which cards are likeliest to have been stolen, and which claims are dodgy.


Mobile-phone operators, meanwhile, analyse subscribers’ calling patterns to determine, for example, whether most of their frequent contacts are on a rival network. If that rival network is offering an attractive promotion that might cause the subscriber to defect, he or she can then be offered an incentive to stay. Older industries crunch data with just as much enthusiasm as new ones these days. Retailers, offline as well as online, are masters of data mining (or “business intelligence”, as it is now known). By analysing “basket data”, supermarkets can tailor promotions to particular customers’ preferences. The oil industry uses supercomputers to trawl seismic data before drilling wells. And astronomers are just as likely to point a software query-tool at a digital sky survey as to point a telescope at the stars.


There’s much further to go. Despite years of effort, law-enforcement and intelligence agencies’ databases are not, by and large, linked. In health care, the digitisation of records would make it much easier to spot and monitor health trends and evaluate the effectiveness of different treatments. But large-scale efforts to computerise health records tend to run into bureaucratic, technical and ethical problems. Online advertising is already far more accurately targeted than the offline sort, but there is scope for even greater personalisation.


Advertisers would then be willing to pay more, which would in turn mean that consumers prepared to opt into such things could be offered a richer and broader range of free online services. And governments are belatedly coming around to the idea of putting more information—such as crime figures, maps, details of government contracts or statistics about the performance of public services—into the public domain. People can then reuse this information in novel ways to build businesses and hold elected officials to account. Companies that grasp these new opportunities, or provide the tools for others to do so, will prosper. Business intelligence is one of the fastest-growing parts of the software industry.


Now for the bad news


But the data deluge also poses risks. Examples abound of databases being stolen: disks full of social-security data go missing, laptops loaded with tax records are left in taxis, credit-card numbers are stolen from online retailers. The result is privacy breaches, identity theft and fraud. Privacy infringements are also possible even without such foul play: witness the periodic fusses when Facebook or Google unexpectedly change the privacy settings on their online social networks, causing members to reveal personal information unwittingly. A more sinister threat comes from Big Brotherishness of various kinds, particularly when governments compel companies to hand over personal information about their customers. Rather than owning and controlling their own personal data, people very often find that they have lost control of it.


The best way to deal with these drawbacks of the data deluge is, paradoxically, to make more data available in the right way, by requiring greater transparency in several areas. First, users should be given greater access to and control over the information held about them, including whom it is shared with. Google allows users to see what information it holds about them, and lets them delete their search histories or modify the targeting of advertising, for example. Second, organisations should be required to disclose details of security breaches, as is already the case in some parts of the world, to encourage bosses to take information security more seriously. Third, organisations should be subject to an annual security audit, with the resulting grade made public (though details of any problems exposed would not be). This would encourage companies to keep their security measures up to date.


Market incentives will then come into play as organisations that manage data well are favoured over those that do not. Greater transparency in these three areas would improve security and give people more control over their data without the need for intricate regulation that could stifle innovation. After all, the process of learning to cope with the data deluge, and working out how best to tap it, has only just begun.


_M#]

[Economist] 데이터, 사방의 데이터 (Data, Data everywhere)

데이터, 사방의 데이터


Feb 25th 2010 |
From The Economist print edition


정보가 희박한 상태에서 넘쳐나도록 바뀌었다. 이것이 Kenneth Cukier의 말처럼 많은 이점을 가져다 주었지만, 또한 골칫거리 이기도 하다.


 


슬로운 디지털 스카이 서베이가 2000년에 시작되었을 때, 뉴멕시코에 있는 망원경은 첫 몇 주 동안 천문학 역사 전체에 걸쳐 수집된 것 보다 많은 데이터를 모았다. 10년이 지난 현재, 그들의 저장소에는 140테라 바이트라는 엄청난 양의 정보가 저장되어있다. 2016년에 칠레에 설치될 이의 후속 Large Synoptic Survey 망원경은 이 정도 양의 데이터를 5일 이면 모을 것이다.


이러한 천문학적인 양의 정보는 지구에 더 가까운 곳에서도 찾을 수 있다. 거대 소매상 월 마트는 1백만 건의 소비자 구매 건을 처리하고 2.5 페타 바이트 이상으로 측정되는 데이터베이스에 이들을 보관한다. 이는 미의회도서관에 있는 책의 167배에 달하는 양이다. 소셜 네트워크 웹 사이트 페이스북은 400억 개의 사진을 보유하고 있다. 그리고 인간 유전자에 포함된 30억 기본 쌍을 분석하는데 최초로 이것이 이루어졌던 2003년에는 10년이 걸렸지만 지금은 1주면 충분하다.


이러한 모든 예들은 같은 것을 시사한다. 세계에는 상상도 할 수 없을 만큼 거대한 양의 디지털 정보들이 점점 더 거대해지고, 더 빠르게 늘어나고 있다. 이는 예전에는 이룰 수 없었던, 비지니스 트랜드를 파악하고, 질병을 예방하고, 범죄와 싸우는 등을 가능하게 해준다. 잘 관리 된다면, 이러한 데이터는 과학에 있어서 신선한 통찰을 제시하고, 정부에 책임을 묻는 등, 새로운 경제적 가치의 원천으로 활용될 수 있다.


하지만 이들은 또한 다수의 문제점을 만들어낸다. 센서, 컴퓨터, 모바일 폰 등의 이러한 모든 정보를 얻고, 처리하고, 공유하는 도구들은 넘쳐나지만, 이들을 저장할 가용 공간이 크게 부족하다. 게다가, 전세계적으로 어느 때보다 활발하게 정보가 복제되고 공유되는 때에 데이터의 보안과 사생활 보호 등은 점점 더 어려워지고 있다.



존스 홉킨스 대학의 천체 물리학자 Alex Szalay는 데이터의 풍족함이 오히려 이들을 더 다루기 어렵게 만든다고 지적한다. 그는 “어떻게 이 모든 데이터를 이해해야 하나요? 사람들은 다음 세대를 어떻게 교육시킬지에 대해서 고민해야 합니다. 과학자 뿐 아니라, 정부나 산업에서 일하는 사람 모두요.” 라고 말한다.


“우리는 너무도 많은 정보들이 만드는 이전과는 다른 세상을 살고 있습니다.” 사회에서의 정보의 역사에 관한 다수의 책을 집필한 IBM의 James Cortada는 말한다. UC 버클리의 컴퓨터 과학자 Joe Hellerstein은 이것을 “데이터의 산업 혁명”이라고 부른다. 이의 영향력은 산업분야에서 과학분야까지, 정부에서 예술 분야까지 모든 곳에서 느낄 수 있다. 과학자들과 컴퓨터 기술자들은 이러한 현상을 “big data”라고 불러왔다.


인식론적으로 말해서, 정보는 데이터의 집합으로 구성되고, 지식은 각각의 서로 다른 정보들의 묶음으로 구성된다. 하지만 이 스페셜 리포트에서는 “데이터”와 “정보”를 서로 혼용해서 사용한다. 왜냐하면, 나중에 다루어지겠지만, 이 둘은 서로 구분하기 점점 어려워지고 있다. 주어진 충분한 양의 순수한 데이터에서, 현재의 알고리즘과 강력한 컴퓨터들을 가지고 과거에는 숨겨져 있었던 새로운 통찰을 발견해 낼 수 있다.


정보 관리 산업 – 어떤 조직이 그들의 풍부한 데이터를 이해하도록 돕는 – 은 대폭 성장하고 있다. 최근 몇 년간 오라클, IBM, 마이크로소프트 그리고 이들 사이의 SAP은 150억불 이상을 데이터를 관리하고 분석하는데 특화된 소프트웨어 기업을 사들이는데 썼다. 이 산업은 최소 1000억불 이상의 값어치로 평가되며 대충 소프트웨어 산업 전체가 성장하는 속도의 2배인 연간 10% 정도 성장하고 있다.


최고 정보 관리 책임자는 경영진 사이에서 그 중요성이 커져왔고, 또한 소프트웨어 프로그래머, 통계학자 그리고 스토리 텔러/예술가의 기술을 모두 가지고 산처럼 많은 데이터 속에 숨겨진 금 덩어리를 발견하는 데이터 과학자라는 새로운 형태의 전문가가 등장했다. 구글의 최고 경제 전문가 Hal Varian은 이런 통계 전문가의 직업이 가장 매력적이 될 것이라고 예측했다. 그가 설명하기를, 데이터는 어디에나 존재하지만 그 속에서 지혜를 찾아내는 능력은 부족하다는 것이다.


모든 것 그 이상


이러한 정보의 폭발에는 여러 이유가 있다. 가장 확실한 것 하나는 기술이다. 디지털 기기의 능력이 발전하고 가격은 곤두박질 치면서 센서나, 미니기기들은 예전에는 불가능했던 엄청나게 많은 정보를 디지털화 시키고 있다. 그리고 더욱 더 많은 사람들이 더 강력한 도구들을 사용하고 있다. 예를 들어서 세계적으로는 46억 명의 모바일 폰 가입자가 존재한다. (많은 사람들이 하나 이상을 사용하기 때문에, 이러한 수치가 제시하는 것 만큼 세계의 68억 인구 모두에게 보급되어 있지는 않다.) 그리고 10억에서 20억의 사람들이 인터넷을 사용한다.


게다가, 정보를 통해 의사 소통하는 사람들이 더욱 증가했다. 1990년과 2005년 사이에 세계적으로 10억의 사람이 중산층 계급에 진입했다. 그들이 더 부유해지고, 문맹에서 벗어남에 따라, 정보양의 증가에 기여했다고 Cortada씨는 말한다. 그 결과는 정치, 경제 뿐 아니라 법 등의 각 분야에서 나타났다. “과학에서의 혁명 전에 측량에서의 혁명이 있었습니다.” 뉴욕 대학의 경영학 교수 Sinal Aral는 말한다. 현미경이 세균을 발견하여 생물학을 변화시키고, 전자 현미경이 물리학을 변화시킨 것처럼, 모든 이러한 데이터는 사회 과학을 거꾸로 뒤집고 있다고 그는 설명했다. 연구자들은 인간의 행동을 인구 차원의 레벨이 아닌 개인 레벨에서 이해하는 것이 가능해졌다.


디지털 정보의 양은 매 5년마다 10배씩 증가하고 있다. 컴퓨터 산업에서 이제는 당연시되는 무어의 법칙은 컴퓨터 칩의 프로세스 파워와 저장 용량이 두 배가 되고 가격은 절반이 되는데 18개월이 걸린다 한다. 소프트웨어 프로그램도 나날이 향상되고 있다. 프린스턴 대학의 컴퓨터 과학자 Edward Felten은 컴퓨터 어플리케이션들을 구동시키는 알고리즘의 발전이 지난 몇 십 년 동안 무어의 법칙의 중요한 부분으로서 역할을 해왔다고 측정한다.


이러한 정보의 많은 양이 공유되고 있다. 통신장비 메이커인 Cisco에 따르면 2013년까지 인터넷을 통해 흘러 다니는 트래픽의 양은 연간 667 엑사바이트에 달할 것이라고 한다. 그리고 데이터의 양은 지속적으로 네트워크가 운송할 수 있는 양보다 더 빠른 속도로 증가할 것이라 한다. 사람들은 그들이 정보의 늪에서 허우적댄다고 불평해왔다. 1917년으로 돌아가 한 코네티컷의 제조 회사의 매니져는 전화의 영향에 대해서 불평을 했다. : “시간은 낭비되고 혼란스러운 결과만 낳고, 돈은 돈대로 낭비된다.” 지금 일어나고 있는 일들은 점진적 증가 이상이 될 것이다. 양적인 팽창은 질적인 다름을 만들어내기 시작했다.


정보의 부족에서 과다에의 이동은 폭 넓은 변화를 가져온다. “우리가 관심 있는 것은 데이터를 통해 경제적인 성과를 낼 수 있는 능력이다. 그리고 이것은 나에게는 사회적 차원에서, 혹은 거시경제학 차원에서의 큰 변화이다.” 라고 마이크로소프트의 연구와 전략 책임자 Graig Mundie는 말한다. 데이터는 자본이나 노동력과 거의 동등한 레벨의 경제적 인풋으로 경영의 새로운 원자재가 되고 있다. “매일 나는 잠에서 일어나 묻습니다, 어떻게 데이터를 잘 흘러가게 하고, 데이터를 잘 관리하고, 데이터를 잘 분석할 수 있을까?” 월마트의 CIO Rollin Ford는 말한다.


복잡한 정량적 분석은 과거처럼 미사일 궤도 분석이나 재정의 연계 전략 뿐 아니라 삶의 많은 분야에서 적용되어 왔다. 예를 들어, 마이크로소프트의 검색엔진 Bing의 일부분인 Farecast는 고객에게 항공 티켓을 지금 구입할지, 아니면 가격이 내려가기를 기다릴지를 2250억 개의 비행과 가격 기록을 살펴본 후 조언해 줄 수 있다. 같은 아이디어가 호텔 룸이나, 자동차, 비슷한 아이템까지 확장 될 수 있다. 개인 금융 웹 사이트와 은행들은 그들의 고객 데이터를 종합하여 거시 경제학 트랜드를 밝혀내고 이는 그들 자신의 노력을 통해 보조적인 비지니스로 발전될 수 있다. 숫자에 빠삭한 이들은 일본의 스모에서 승부 조작이 있었다는 사실까지 밝혀냈다.


쓰레기를 금으로


“데이터 배기가스” – 인터넷 사용자들이 뒤에 남기는 클릭의 자취에서 가치가 발견될 수 있다 – 가 인터넷 경제의 중심이 되고 있다. 예의 하나로서 검색 질의 문과의 연관성을 얼마나 많은 클릭이 그 대상에 있었느냐에 따라 측정하는 구글의 검색 엔진을 들 수 있다. 만약 어떤 검색어의 8번째 결과를 사람들이 가장 많이 방문한다면 이 알고리즘은 이것을 가장 위에 위치 시킨다.


세계가 점점 디지털로 변화하면서 데이터를 모으고 분석하는 것이 다른 분야에서도 막대한 양의 이익을 가져다 줄 수 있다. 예를 들어, 마이크로소프트의 Mundie와 구글의 CEO, Eric Schmidt는 미국 건강 보험의 개혁을 위한 대통령 테스크 포스에 임명되었다. “일의 초기 단계에서는 Eric과 저 모두는 말했죠. ‘보세요, 당신이 만약 정말로 건강 보험을 개혁하기를 원한다면, 당신은 기본적으로 사람들과 관련된 데이터에서 일종의 건강 보험 경제 구조를 만들어야 합니다.’ “ Mundie는 설명했다. “건강 보험을 제공하는 것의 산출물로서 데이터를 생각하면 안됩니다, 그 대신 데이터는 건강 보험의 모든 면을 어떻게 증진 시킬지 구체화 시키려는 과정에서의 중심적인 자산이 되어야 합니다. 이는 약간의 도치입니다.”


틀림없이, 디지털 기록은 의사들을 편하게 만든다. 공급자와 환자를 위한 가격을 낮추고 치료의 질을 높인다. 하지만 종합적으로 데이터는 원치 않은 마약 거래나, 가장 효과적인 치료법을 찾아내거나, 증상이 나타나기 전에 질병의 시작을 예측하기 위해서도 사용되고 있다. 컴퓨터는 벌써 이러한 일을 시도하고 있지만, 명시적으로 이러한 목적으로 프로그램 될 필요가 있다. 거대한 데이터의 세계에서는 사물의 연관 관계들이 이들에 의해 수면 위로 떠오른다.


때로는 이러한 데이터들이 의도한 것 이상을 밝혀내기도 한다. 예를 들어 캘리포니아에 있는 Oakland 시에서는 언제 어디서 검거가 이루어졌는지 정보를 Oakland Crimespotting이라는 사설 웹 사이트에 공개했다. 어느 순간, 몇몇의 클릭이 매춘을 위해 분주한 거리 전체를 경찰은 월요일 저녁을 제외하고는 매일 순찰한다는, 그들이 숨기고 싶었던 전략을 밝혀냈다. 


하지만 많은 양의 데이터는 이러한 결과들보다 훨씬 더 심각한 결과를 낸다. 최근의 금융 위기 기간에 은행과 신용 평가 기관들이 엄청난 양의 정보를 이용하면서도 현실 세계의 금융 위험을 제대로 반영하는데 실패한 모델에 의존했다는 사실이 명확해졌다. 이는 거대한 양의 데이터에 의해 촉발된 첫 번째 위기였다. 그리고 이러한 예는 앞으로도 더 있을 것이다. 


정보가 관리되는 방법은 삶에 전반적으로 영향을 미친다. 20세기로의 변화의 시점에 전신이나 전화 같은 새로운 채널을 통한 정보의 흐름이 대량 생산을 뒷받침했다. 현대의 풍부한 데이터의 가용성이 기업들로 하여금 세계 곳곳에 위치한 작은 틈새 시장를 노릴 수 있게 한다. 경제적인 생산이 관리자가 모든 기계과 작업을 감시하여 이를 더 효율적으로 만드는 공장의 기본이었다. 지금 통계학자들은 경영에서 새로운 아이디어를 위한 정보를 발굴한다.


“데이터 중심의 경제가 이제 막 선보였을 뿐입니다.” 라고 마이크로소프트의 Mundie는 선언했다. “대충의 윤곽은 확인할 수 있습니다. 하지만 기술적인, 기반 시설의 그리고 비지니스 모델에의 영향들은 현재로서는 잘 이해되지 않습니다.” 이 스페셜 리포트는 어디에서 이러한 현상들이 나타날지를 가리키게 될 것이다.



영어 원문


[#M_ more.. | less.. | 


A special report on managing information


Feb 25th 2010 |
From The Economist print edition


Data, data everywhere


Information has gone from scarce to superabundant. That brings huge new benefits, says Kenneth Cukier (interviewed here)—but also big headaches




WHEN the Sloan Digital Sky Survey started work in 2000, its telescope in New Mexico collected more data in its first few weeks than had been amassed in the entire history of astronomy. Now, a decade later, its archive contains a whopping 140 terabytes of information. A successor, the Large Synoptic Survey Telescope, due to come on stream in Chile in 2016, will acquire that quantity of data every five days.


Such astronomical amounts of information can be found closer to Earth too. Wal-Mart, a retail giant, handles more than 1m customer transactions every hour, feeding databases estimated at more than 2.5 petabytes—the equivalent of 167 times the books in America’s Library of Congress (see article for an explanation of how data are quantified). Facebook, a social-networking website, is home to 40 billion photos. And decoding the human genome involves analysing 3 billion base pairs—which took ten years the first time it was done, in 2003, but can now be achieved in one week.


All these examples tell the same story: that the world contains an unimaginably vast amount of digital information which is getting ever vaster ever more rapidly. This makes it possible to do many things that previously could not be done: spot business trends, prevent diseases, combat crime and so on. Managed well, the data can be used to unlock new sources of economic value, provide fresh insights into science and hold governments to account.


But they are also creating a host of new problems. Despite the abundance of tools to capture, process and share all this information—sensors, computers, mobile phones and the like—it already exceeds the available storage space (see chart 1). Moreover, ensuring data security and protecting privacy is becoming harder as the information multiplies and is shared ever more widely around the world.



Alex Szalay, an astrophysicist at Johns Hopkins University, notes that the proliferation of data is making them increasingly inaccessible. “How to make sense of all these data? People should be worried about how we train the next generation, not just of scientists, but people in government and industry,” he says.


“We are at a different period because of so much information,” says James Cortada of IBM, who has written a couple of dozen books on the history of information in society. Joe Hellerstein, a computer scientist at the University of California in Berkeley, calls it “the industrial revolution of data”. The effect is being felt everywhere, from business to science, from government to the arts. Scientists and computer engineers have coined a new term for the phenomenon: “big data”.


Epistemologically speaking, information is made up of a collection of data and knowledge is made up of different strands of information. But this special report uses “data” and “information” interchangeably because, as it will argue, the two are increasingly difficult to tell apart. Given enough raw data, today’s algorithms and powerful computers can reveal new insights that would previously have remained hidden.


The business of information management—helping organisations to make sense of their proliferating data—is growing by leaps and bounds. In recent years Oracle, IBM, Microsoft and SAP between them have spent more than $15 billion on buying software firms specialising in data management and analytics. This industry is estimated to be worth more than $100 billion and growing at almost 10% a year, roughly twice as fast as the software business as a whole.


Chief information officers (CIOs) have become somewhat more prominent in the executive suite, and a new kind of professional has emerged, the data scientist, who combines the skills of software programmer, statistician and storyteller/artist to extract the nuggets of gold hidden under mountains of data. Hal Varian, Google’s chief economist, predicts that the job of statistician will become the “sexiest” around. Data, he explains, are widely available; what is scarce is the ability to extract wisdom from them.


More of everything


There are many reasons for the information explosion. The most obvious one is technology. As the capabilities of digital devices soar and prices plummet, sensors and gadgets are digitising lots of information that was previously unavailable. And many more people have access to far more powerful tools. For example, there are 4.6 billion mobile-phone subscriptions worldwide (though many people have more than one, so the world’s 6.8 billion people are not quite as well supplied as these figures suggest), and 1 billion-2 billion people use the internet.


Moreover, there are now many more people who interact with information. Between 1990 and 2005 more than 1 billion people worldwide entered the middle class. As they get richer they become more literate, which fuels information growth, notes Mr Cortada. The results are showing up in politics, economics and the law as well. “Revolutions in science have often been preceded by revolutions in measurement,” says Sinan Aral, a business professor at New York University. Just as the microscope transformed biology by exposing germs, and the electron microscope changed physics, all these data are turning the social sciences upside down, he explains. Researchers are now able to understand human behaviour at the population level rather than the individual level.


The amount of digital information increases tenfold every five years. Moore’s law, which the computer industry now takes for granted, says that the processing power and storage capacity of computer chips double or their prices halve roughly every 18 months. The software programs are getting better too. Edward Felten, a computer scientist at Princeton University, reckons that the improvements in the algorithms driving computer applications have played as important a part as Moore’s law for decades.


A vast amount of that information is shared. By 2013 the amount of traffic flowing over the internet annually will reach 667 exabytes, according to Cisco, a maker of communications gear. And the quantity of data continues to grow faster than the ability of the network to carry it all.


People have long groused that they were swamped by information. Back in 1917 the manager of a Connecticut manufacturing firm complained about the effects of the telephone: “Time is lost, confusion results and money is spent.” Yet what is happening now goes way beyond incremental growth. The quantitative change has begun to make a qualitative difference.


This shift from information scarcity to surfeit has broad effects. “What we are seeing is the ability to have economies form around the data—and that to me is the big change at a societal and even macroeconomic level,” says Craig Mundie, head of research and strategy at Microsoft. Data are becoming the new raw material of business: an economic input almost on a par with capital and labour. “Every day I wake up and ask, ‘how can I flow data better, manage data better, analyse data better?” says Rollin Ford, the CIO of Wal-Mart.


Sophisticated quantitative analysis is being applied to many aspects of life, not just missile trajectories or financial hedging strategies, as in the past. For example, Farecast, a part of Microsoft’s search engine Bing, can advise customers whether to buy an airline ticket now or wait for the price to come down by examining 225 billion flight and price records. The same idea is being extended to hotel rooms, cars and similar items. Personal-finance websites and banks are aggregating their customer data to show up macroeconomic trends, which may develop into ancillary businesses in their own right. Number-crunchers have even uncovered match-fixing in Japanese sumo wrestling.


Dross into gold


“Data exhaust”—the trail of clicks that internet users leave behind from which value can be extracted—is becoming a mainstay of the internet economy. One example is Google’s search engine, which is partly guided by the number of clicks on an item to help determine its relevance to a search query. If the eighth listing for a search term is the one most people go to, the algorithm puts it higher up.


As the world is becoming increasingly digital, aggregating and analysing data is likely to bring huge benefits in other fields as well. For example, Mr Mundie of Microsoft and Eric Schmidt, the boss of Google, sit on a presidential task force to reform American health care. “Early on in this process Eric and I both said: ‘Look, if you really want to transform health care, you basically build a sort of health-care economy around the data that relate to people’,” Mr Mundie explains. “You would not just think of data as the ‘exhaust’ of providing health services, but rather they become a central asset in trying to figure out how you would improve every aspect of health care. It’s a bit of an inversion.”


To be sure, digital records should make life easier for doctors, bring down costs for providers and patients and improve the quality of care. But in aggregate the data can also be mined to spot unwanted drug interactions, identify the most effective treatments and predict the onset of disease before symptoms emerge. Computers already attempt to do these things, but need to be explicitly programmed for them. In a world of big data the correlations surface almost by themselves.


Sometimes those data reveal more than was intended. For example, the city of Oakland, California, releases information on where and when arrests were made, which is put out on a private website, Oakland Crimespotting. At one point a few clicks revealed that police swept the whole of a busy street for prostitution every evening except on Wednesdays, a tactic they probably meant to keep to themselves.


But big data can have far more serious consequences than that. During the recent financial crisis it became clear that banks and rating agencies had been relying on models which, although they required a vast amount of information to be fed in, failed to reflect financial risk in the real world. This was the first crisis to be sparked by big data—and there will be more.


The way that information is managed touches all areas of life. At the turn of the 20th century new flows of information through channels such as the telegraph and telephone supported mass production. Today the availability of abundant data enables companies to cater to small niche markets anywhere in the world. Economic production used to be based in the factory, where managers pored over every machine and process to make it more efficient. Now statisticians mine the information output of the business for new ideas.


“The data-centred economy is just nascent,” admits Mr Mundie of Microsoft. “You can see the outlines of it, but the technical, infrastructural and even business-model implications are not well understood right now.” This special report will point to where it is beginning to surface.

_M#]