구글 – Page 2 – Book of Ryu's past and future in another universe, Chapter 4.

[Economist] 순간의 반짝임(Flash in the pan)

순간의 반짝임(Flash in the pan)

As Apple flexes its mobile muscles, it is changing the appearance of video on the web
애플의 모바일 시장에서의 기지개로 웹에서의 비디오 형태가 달라지고 있다.

Apr 16th 2010 |
From The Economist online

스티브 잡스에게 마땅한 보상을 주자. 애플의 카리스마 넘치는 보스는 의심의 여지 없이 산업계의 가장 전략적인 사상가이다. 그는 과도기의 컴퓨터 산업에서 어떤 사람보다 더 인기가 있다. 대부분의 정적인 활동들이 점점 더 (배타적으로?) 모바일로 진화해 감에 따라, 이 산업을 선도하는 참여자들의 역할도 빠르게 바뀌고 있다.

마이크로소프트가 개인용 컴퓨터 시장을 호령할 때, 애플은 틈새시장에서 활약하던 기업 정도의 수준이었다. 하지만 휴대전화 시장에서 마이크로소프트는, 시장 진입을 노리는 뒤쳐진 경쟁자 중의 한 명이다. 그리고 비록 구글이 데스크탑 검색 시장의 65%를 가지고 있지만, 애플이 판매한 8천 5백만 개의 무선기기(iPhone, iPod, 그리고 새로운 iPad)는 미국의 모바일 브라우징의 64%를 점유한다고 Jobs는 이번 달 밝혔다.

애플의 모바일 기기에서의 성공은 새로운 모바일 광고 시장에서의 커다란 한 부분을 점유할 수 있는 기회를 얻을 수 있게 했다. 사실, 이것이 애플이 최근 모바일 광고 에이전시인 Quattro Wireless를 인수한 이유이다. 광고분야의 유력 기업이 되는 것은 확실히 매력적이다. 하지만 잡스는 이 보다 훨씬 큰 목표들을 가지고 있다. 그 중 가장 큰 것은 애플을 마이크로소프트 같은 유동성을 가지도록 변화시키는 것이다. 하지만 무엇보다 가능한 한 많은 개발자들을 애플의 생태계 안으로 끌어들이는 일이 있어야 한다. 만약 어플리케이션이 풍부하게 있다면, 이용자들은 떼지어 몰려들 것이라는 주장을 펼치고 있다.

이러한 일은 예전에도 있었다. 마이크로소프트가 그들의 왕국을 구축할 수 있었던 원인 중 일부분은 그들이 인텔의 프로세서와 함께 다른 제조사의 컴포넌트를 끼워 넣을 수 있는 슬롯에 기반한 개방적인 플랫폼을 채택하였기 때문이다. 하지만 이 것보다 더 중요한 사실은 독립적인 개발자들의 엄청난 수의 어플리케이션이 마이크로소프트의 운영체제에서만 동작할 수 있도록 작성되었다는 사실이다.

잡스는 애플의 하드웨어를 개방하여 다른 이들 과의 관계를 맺을 의도가 없다. 하지만 최소한의 기준을 만족시키는 소프트웨어의 경우 다르다. 가장 최근의 집계에 따르면 앱스토어(iPhone 소프트웨어를 위한 애플의 온라인 장터)는 이용자가 선택할 수 있는 185,000개의 어플리케이션을 보유하고 있다. 지금까지 40억 개 정도의 소프트웨어 유틸리티 게임, 지도, 음악 등이 iPhone, iPod, 그리고 최근의 iPad의 소유자들에 의해 다운로드 되었다. 이들 모두는 같은 운영체제를 사용하므로 다수의 동일한 어플리케이션을 이용할 수 있다. 앱스토어는 Jobs에게 마이크로소프트의 윈도우와 동등한 세계적 프랜차이즈를 구축할 기회를 가져다 주었다. 그러므로 애플의 관점에서, 그들의 특별한 고객 만족의 원천이 어떤 형태로든 위협 받는 것은 절대 두고 볼 수 없는 일이다.

따라서 잡스가 iPhone을 위한 앱을 작성하는 데 있어서 어도비의 플래시나 마이크로소프트의 닷넷처럼 한번 작성하면 다른 기기나 운영체제에서 구동하는 것을 쉽게 만들어주는 교차 플랫폼 도구를 이용하는 프로그래머를 배척하는 것은 놀라운 일이 아니다. 웹 브라우저의 플러그인 형태로 구동되는 플래시는 매킨토시 컴퓨터에는 있지만 애플의 모바일 기기에서는 찾아볼 수 없다.

플래시가 iPhone OS의 뒷문 어딘가를 이용하는 길을 찾는다면 애플이 그들의 소비자에게 걸었던 족쇄가 약화될 수 있다. 만약 대부분의 App들이 안드로이드나 블랙베리 단말에서도 iPhone과 마찬가지로 구동된다면, 애플은 그들이 제공할 수 있었던 폭 넓은 App 선택의 장점을 잃게 될 것이다. 요즘은 모든 스마트폰들이 동일한 재미있는 기능들로 무장하고 있어서, 첫 째로 iPhone을 사야 한다는 충동은 별로 없어질 수 있다.

하지만 Flash를 배척하는 데는 커다란 문제가 있다: 이것 없이는, 사람들은 이 분야의 가장 인기 있는 툴인 플래시로 만들어진 웹사이트 내 대부분의 비디오나 애니메이션, 게임 등을 플레이 할 수 없다. 어도비의 플래시 소프트웨어는 YouTube의 비디오부터 극히 간단한 움직이는 차트나 광고까지 웹에서 보여지는 대다수의 멀티미디어 클립을 구동 가능하게 한다. 애플의 기기들은 필요할 경우 YouTube의 비디오를 플레이 할 수 있는 소프트웨어를 포함하고 있다. 하지만, 이를 제외하고는 플래시로 만들어진 컨텐츠와는 호환이 되지 않는다. (Farmville의 팬들에게는 안타까운 일이다.)

여전히, 잡스는 단호하다. 그의 관점에서, 플래시는 프로세서를 독차지하고, 베터리 수명을 단축시키며, 필요 없는 충돌을 야기시키는 버그 투성이 소프트웨어의 온상이다. 이것이 그가 그의 모바일 플래시에 대한 배척을 우회적으로 돌파하고자 하는 어도비의 계획을 계속 차단시키는 이유이다. 이후로, iPhone등 애플의 기기를 위한 소프트웨어를 만드는 개발자는 반드시 애플이 인증한 셋 이외의 프로그래밍 툴을 사용하는 것을 금지하는 새롭게 변경된 계약에 사인을 해야 한다.

이 조치는 어도비의 최근의 프로그래밍 도구 Flash Pro CS 5의 출시에 의해 촉발됐다. 이를 통해 웹에서 보이는 종류의 플래시 어플리케이션이 독자 실행이 가능한 iPhone App으로 바뀌고 이는 App Store에 발각되지 않고 업로드 될 수 있어 보였다. 어도비는 꽤나 성급하게 이를 자랑했다. 밝혀진 바에 따르면 100개가 넘는 프로그램이 이러한 방식을 취했다고 한다.

애플의 최근의 플래시를 향한 족쇄는 iPhone과 iPod 그리고 iPad를 구입한 사람들이 불구가 된 웹을 이용할 것을 강요 당하고 있다는 것을 의미하는가? 당분간은 그렇지만, 부분적인 제2의 해결책들이 이를 도울 수 있을지도 모른다. 결국, 지난 6년 동안 개발되어온 HTML5로 알려진 기술이 많은 부분 플래시가 필요 없게 만들고 있다. 다른 대안들 중에서도 HTML5가 매력적인 것은 오디오와 비디오를 어도비의 플래시(혹은 다른 마이크로소프트의 실버라이트나 오라클의 JavaFX) 같은 브라우저의 플러그 인이 필요 없이 내부적으로 처리하도록 디자인 되었다는 것이다.

불행히도, HTML5는 아직도 진행 중이다. 현재 플래시가 웹 서버와 뷰어 사이의 비디오 데이터 스트림의 압축과 해제를 위한 다양한 “코덱”을 완벽하게 다룰 수 있는 가운데, HTML5의 경우에는 비디오 재생을 위한 두 개의 전혀 다른 코덱이 실험 중이다. 첫 번째는 H.264라 불리는 애플의 사파리와 마이크로소프트의 출시 예정에 있는 IE9에서 사용되는 것이고, 다른 것은 Ogg Theora라 알려진 Firefox와 Opera 브라우져에서 사용되고 있는 것이다. 구글의 Chrome은 양쪽 모두를 지원한다.

전문가들은 H.264 알고리즘이 더 좋은 영상을 보여주는 것에 동의하지만, 이것은 비록 당분간은 무료 라이센스를 발급하지만 소유자가 있는 기술이다. 인터넷 순수주의자들에게 Ogg Theora의 매력은 그것이 오픈 소스라는 점이다. 어느 코덱이 표준으로 채택될 것인지를 놓고 두 진영 사이에서 종교 전쟁이 발발했다.

좋은 소식은 하나의 해결책이 나타날지도 모른다는 것이다. 모든 사람들이, Google이 높이 평가되고 있는 VP8 비디오 코덱을 오픈 소스화 시킬 것이라고 예상하고 있다. 이 거대 검색 기업은 올해 초 코덱 제조사인 On2 Technologies를 인수한 이래 계속 이러한 징조를 보여주고 있다. 내부자들은 VP8가 H.264에 비해 절반의 대역폭을 사용하면서도 더 좋은 영상을 보여줄 것이라 예상한다. Firefox를 개발하고 있는 Mozilla는 VP8를 기꺼이 사용할 것이다.

하지만 H.264를 그렇게 열렬하게 지지한 애플도 그럴 것인가? 만약 이를 통해 플래시를 빠르게, 또 확실하게 없앨 수 있다면, 잡스는 의심할 여지 없이 동참할 것이다. 불행한 iPhone 이용자들에게, 절름발이 웹은 이윽고 과거의 일이 될 것이다.

[#M_ more.. | less.. |

GIVE Steve Jobs his due. Apple’s charismatic boss is, without question, the most strategic thinker in the business. He appreciates better than anyone that computing is in transition. As it evolves from being predominantly a stationary activity to becoming increasingly (exclusively?) a mobile one, the roles of the industry’s leading participants are changing fast.

When Microsoft ruled the realm of personal computers, Apple was little more than a niche player. But in mobile phones, Microsoft is the one left scrambling for a piece of the action. And although Google may own 65% of the search business on the desktop, the 85m wireless devices Apple has sold (iPhones, iPods and now iPads) account for 64% of America’s mobile browsing, Mr Jobs said this month.

The success of Apple’s mobile devices gives the firm an opportunity to capture a goodly chunk of the emerging mobile-advertising market. Indeed, that is the reason why Apple recently acquired Quattro Wireless, a mobile advertising agency. Becoming an advertising powerhouse is certainly attractive. But Mr Jobs has far bigger fish to fry. The biggest of them all is turning Apple into the Microsoft of mobility. But first there is a little matter of locking as many software developers as possible into the Apple ecosystem. If the applications are there, so the argument goes, users will follow in droves.

It has been done before. What gave Microsoft the keys to the kingdom was partly the way it embraced an open platform based on the Intel processor plus slots for other manufacturers’ components to plug into. Even more important, though, was the vast number of applications written by independent programmers that worked exclusively with Microsoft’s operating systems.

Mr Jobs has no intention of ever opening Apple’s hardware for others to mess with. But software that meets a minimum standard is a different matter. At the last count, the App Store (Apple’s online outlet for iPhone software) listed 185,000 applications for users to choose from. So far, some 4 billion software utilities, games, maps and music tracks have been downloaded by owners of iPhones, iPods and lately iPads—all of which share the same operating system and can therefore use many of the same applications. The App Store offers Mr Jobs his best chance yet of creating a global franchise on a par with Microsoft’s Windows. From Apple’s perspective, the last thing it should therefore do is allow that unique source of customer satisfaction to be threatened in any way.

No surprise, then, that Mr Jobs has banned programmers from writing iPhone apps using cross-platform programming tools like Adobe’s Flash and Microsoft’s .NET, which make it easy to write an app for many different devices and operating systems at once. Flash plug-ins, running inside web browsers, can be found in Macintosh computers, but in none of Apple’s mobile toys.

Were Flash ever to find its way in through the back door to the iPhone operating system, Apple’s armlock on its customers would be severely weakened. If most apps are built to run on Android and BlackBerry phones, as well as iPhones, then Apple would lose the advantage of being able to offer the widest choice of apps. With all smart phones able to do similar tricks these days, there would be less compulsion to buy an iPhone in the first place.

But there is a big problem with banning Flash: without it, people cannot play most of the videos, animation and games encoded on websites using the industry’s most popular tool. Adobe’s Flash software powers the vast majority of multimedia clips seen on the web—from YouTube videos to the simplest animated chart or advertisement. Apple’s devices include software that can play YouTube videos when needed. But apart from that they are incompatible with content built in Flash. (Bad luck, Farmville fans.)

Still, Mr Jobs remains adamant. In his view, Flash is a rat’s nest of buggy software that hogs processor cycles, drains battery life and causes needless crashes. That is why he has just blocked an end-run Adobe was planning around his ban on mobile Flash. Henceforth, developers creating applications for the iPhone and its ilk will have to sign a revised agreement that forbids them from using any programming tools other than Apple’s approved set.

The move was prompted by the arrival of Adobe’s latest programming aid, Flash Pro CS 5. This threatened to turn Flash applications of the kind seen on the web into stand-alone iPhone apps capable of slipping onto the App Store undetected. Adobe even boasted—rather rashly, as it turned out—that over 100 such programs had already done just that.

Does Apple’s latest clamp down on Flash mean that people who have bought iPhones, iPods and iPads are now stuck with a crippled version of the web? For the time being, yes—though there are partial workarounds that might yet help. Eventually, though, a technology known as HTML5, which has been in the works for the past six years, promises to render Flash largely irrelevant. Among other things, the attraction of HTML5 is that it is designed to handle audio and video internally, without the need for browser plug-ins such as Adobe’s Flash (or others like Microsoft’s Silverlight and Oracle’s JavaFX).

Unfortunately, HTML5 remains a work in progress. Where, today, Flash can seamlessly handle a variety of “codecs” for compressing and decompressing the video’s data stream between the web server and the viewer, HTML5 is experimenting with two distinctly different codecs for video playback: one, called H.264, is used in Apple’s Safari and Microsoft’s forthcoming IE9 browsers, while the other, known as Ogg Theora, has been adopted by the Firefox and Opera browsers; Google’s Chrome has embraced both.

Experts agree that the H.264 algorithm produces a superior picture, but it is a proprietary technology—though free to license, at least for the time being. For internet purists, Ogg Theora’s attraction is that it is open source. A religious war has broken out between the two camps over which codec to standardise on.

The good news is that a solution may yet be in sight. By all accounts, Google is poised to open-source its highly regarded VP8 video codec. The search giant has hinted as much ever since acquiring the codec’s maker, On2 Technologies, earlier this year. Insiders reckon VP8 uses only half the bandwidth of H.264 while delivering an even better picture. Mozilla, the open-source organisation behind Firefox, would welcome VP8 into the fold.

But would Apple, after having backed H.264 so enthusiastically? If it promised a quick and certain death for Flash, Mr Jobs would doubtless be delighted to go along. For deprived iPhone users, the crippled web might then be a thing of the past.

_M#]

[Economist] 건초더미 속의 바늘 (Needle in a haystack)

건초더미 속의 바늘

정보에 대한 정보의 이용

데이터가 더욱 풍부해짐에 따라, 가장 큰 문제는 흔히들 말하는 데이터를 찾는 것이 아니라 적절한 정보를 쉽고 빠르게 제공하는데 있다. 이럴 때 필요한 것이 정보에 대한 정보이다. 도서관의 사서들과 컴퓨터 과학자들은 이를 “메타데이터”라 부른다.

정보 관리는 오랜 역사를 가진다. 3천 여 년 전의 아시리아에서는 석판에 부착된 작은 찰흙 조각들이 바구니에 담겨있거나, 선반에 쌓여 있을 때 그들을 구분하기 쉽게 만들었다. 이러한 생각은 20세기까지 작은 분류 카드 형태로 살아남았고 사서들은 이를 컴퓨터가 이용되기 전까지, 책의 제목이나 저자, 주제 등을 적어 놓는데 사용하였다. 책 자체가 데이터를 구성하고 이러한 분류 카드는 메타데이터로 볼 수 있다. 또 다른 예는 포장 레이블에 포함되어 전 세계적으로 하루에 5백만 건의 스캔이 이루어는 바코드이다.

최근 메타데이터는 사실상의 전성기를 맞고 있다. 인터넷에 있는 풍부한 정보들은 유용하게 활용되기 위해서 조직화 되어야 한다. 이것이 바로 구글의 특기이다. 그들의 검색 엔진을 위한 원자재는 공짜로 구할 수 있다. 바로 공개된 인터넷 상의 웹 페이지들이다. 그들이 가치를 추가하는 (메타데이터를 생성하고) 것은 이 정보를 조직화하고, 관련이 있는 질의에 랭킹을 매기는 행위를 통해서이다.

세계의 인터넷 검색 중 절반 가량이 구글을 통해서 이루어지며 그들은 매초당 35,000건의 질의에 답을 하고 있다. 메타데이터는 잠재적으로 수익성이 좋은 사업이다. “만약 정보를 얻을 수 있는 경로와 방법을 통제할 수 있다면, (이를 이용하는) 그 다음 단계의 생산자들에게 일정 비용을 청구할 수 있을 것입니다.” Columbia 비즈니스 스쿨의 통신 경제학자 Eli Noam은 설명했다. 하지만 더 호혜적인 사용 방법 역시 존재한다. 예를 들어, 웹사이트 Flickr에 업로드 되는 사진들에는 언제, 어디서 찍힌 것인지 뿐 아니라 잠재적 구매자들에게 유용한 카메라 모델 같은 정보가 메타데이터로 포함되어있다.

인터넷 이용자들은 조직화 되어있지 않은 정보에 라벨을 붙여 태그가 달린 사진이나 비디오처럼 쉽게 찾아질 수 있도록 돕는다. 하지만 그들은 전통적인 도서 분류법을 무시한다. 대신, 그들은 그들이 원하는 어떤 단어라도 붙여 전자 “Folksonomy” (역:다수의 유저들의 동시 노력에 의해 구축된 분류법)를 만든다. 따라서 버락 오바마의 사진에 “대통령”이라고 라벨을 붙이는 것 대신에 그들은 이 사진을 두고 “섹시” 혹은 “개자식”이라고 부를 수 있다. 혼란스러워 보이지만, 꼭 그렇지도 않다.

정보가 종이나, 필름과 같은 실재하는 매체에 기록되던 때에는 모든 것들이 오직 하나의 위치에 존재하였다. 디지털 정보는 동시에 여러 곳에서 같은 아이템이 저장 될 수 있다고 분류학과 인터넷에 관한 책의 저자 David Weinberger는 적고 있다. “모든 것이 다양성을 가집니다.” 디지털 메타데이터는 사물을 복잡하게도 만들고 동시에 간단하게도 만든다.

[Economist] 사회적 상태로의 이동 (Towards a socialized state)

사회적 상태로의 이동

자유로운 커뮤니케이션의 즐거움

소셜 네트워킹이 미래에는 어떤 모습이 될까? 이렇게 상상해보자: 실제 방영되기 전에 몇몇의 친구들과 소셜 네트워크 상에서 이야기 했던 텔레비젼 쇼를 당신의 디지털 비디오 레코더가 자동으로 녹화한다. 혹은: 당신의 차를 타고 내비게이션을 켠 후 당신의 친구의 집으로 안내해주기를 부탁한다. 당신이 드라이브 웨이를 벗어나자, 당신과 친구가 함께 속해있는 소셜 네트워크에서는 자동으로 친구에게 당신이 그를 향하고 있음을 알려준다. 그리고 또: 당신은 틀림없이 친구도 관심 있을 것 같은 러닝 슈즈를 사면서 체크아웃 카운터 옆에 있는 키패드를 몇 번 클릭해서 친구의 네트워크 페이지로 이 신발의 사진을 보낼 수도 있다.

네트워킹 방식들은 사람들이 의사 소통하는 모든 것 안에 내재된 사회적 요소가 있다는 발상에 대해서 이야기 하기를 좋아한다. 이러한 모든 것에 충분히 귀 기울이면 당신은 당신의 찻주전자가 곧 당신이 아침을 먹어야 한다는 것에 대해서 삑삑 거릴 것이라는 느낌을 가질 것이다. 위에서의 개략적인 생각들이 설득력 없이 들릴 수도 있지만, 사람들로 하여금 그들의 온라인 관계에 대한 소셜 그래프를 다른 여타 웹에서 가능한 서비스들로 옮겨가는 것을 가능하게 해주는 Facebook 같은 서비스들은 이러한 생각들이 완전히 생소한 것은 아니라는 것을 말해준다. 자동차에서 렌지까지 모든 것들은 궁극적으로 내재된 사회적 연결을 가질 수 있다.

하지만 소셜 네트워킹 서비스가 항시성을 가지도록 돕는 측면에서는, 휴대전화 이상 중요한 것은 그것들 중에는 아무것도 없을 것이다. 상태 정보를 업데이트 하거나 메시지를 보내기 위해 웹이 가능한 휴대전화를 사용하는 것은 아직 많은 국가에서 제한적인 활동이지만, 향후 몇 년간 광대역 모바일 서비스가 유선 서비스를 능가하게 되면서 곧 빠르게 주류로 부상할 것이다. eMarket의 조사에 따르면 2013년까지는 6억이 넘는 인구가 소셜 네크워크를 이용하기 위해 그들의 휴대전화를 이용할 것이고, 이는 작년 1억 4000만이라는 숫자의 4배가 넘는 것이다.

Dial-a-pal

이러한 변화는 많은 것을 함축하고 있다. 우선, 신흥 시장에서의 휴대전화나 저렴한 넷북 같은 기기들은 지금까지 느리고 PC가 있어야 쓸 수 있기 때문에 걸림돌이 되었던 새로운 사용자들의 소셜 사이트 이용을 촉발 시킬 것이다. 동아프리카에서의 첫 번째 모바일 소셜 네트워크라고 자신들을 홍보하는 케냐의 Sembuse, 남아프리카의 Mxit 같은 기업들은 벌써 수백 만 명이 넘는 사람들이 그들의 휴대전화를 통해 연결할 준비를 갖추고 있고 이는 전 세계에서 공유되는 정보의 양에 큰 활력소를 제공할 것이다.

휴대전화에 기반한 네트워킹의 성장은 부유한 나라들의 시장에도 영향을 미칠 것이다. 빠르고 상대적으로 저렴한 모바일 광대역 서비스 덕택에, 아시아에서 휴대전화는 벌써 인터넷 사이트들을 방문할 때 사용되는 각광받는 기기가 되었다. 1800만 명의 회원을 보유한 일본에서 가장 큰 소셜 네트워크인 Mixi의 경영진인 Shigeya Kawagishi는 그들의 트래픽 대부분은 휴대전화를 소유한 이용자가 하루에 업데이트를 확인하기 위해 4~5번 체크인을 할 때 발생하는 것이라고 말한다. 6500만 명의 모바일 이용자를 보유한 페이스북은 모바일 이용자들이 다른 이용자들에 비해서 1.5배는 더 활동적이라고 말한다.

On location

이러한 모바일 이용 추세는 다음의 대세는 가상의 데이터들이 실 세계의 사물과 연계되는 위치 기반 네트워킹 앱들이 될 것이라는 추측에 힘을 실어준다. 이러한 앱들은 트위터의 Mr.Stone(역: Biz Stone, 공동 창업자)이 말하는 것처럼 근처에 있을지도 모르는 친구들을 찾기 위해 자신이 어디 있다는 신호를 휴대전화로 보내는 것 등의 새로운 재미를 찾을 수 있게 해준다. Foursquare나 Gowalla 같은 몇몇 신생기업들은 이러한 생각을 바탕으로 사업을 전개 중이고, 트위터 역시 참여할 계획을 가지고 있다. 트위터가 원하는 대로 사람들이 그들의 트윗에 위치 정보를 포함시키도록 하면, 이러한 데이터는 바로 광고나 혹은 이곳 저곳을 이동하는 사람에 맞춰진 서비스들에 이용될 수 있다.

어떤 사람들에게는, 기술이 친구들과의 우연한 만남을 성사시킨다는 생각이 마치 꿈이 현실화 되는 것처럼 보일 것이다. 다른 이들에게는, 한곳에서 다른 곳으로 이동할 때마다 추적된다는 생각이 빅 브라더를 느끼게 하는 악몽 같은 전망일 수 있다. 소셜 네트워크를 운영하는 사람들에게는, 위치 기반의 네트워킹은 그들의 기술을 인간답게 만들고, 이를 커다란 글로벌 수준의 개방성을 촉발시키도록 이용하려는 노력의 논리적인 연장선 상에 있다.

네트워크 서비스들의 설립자들은 그들의 서비스가 가져다 줄 이점에 대한 거의 유토피아적인 믿음을 가지고 있는 것처럼 보인다. 예를 들어, 페이스북의 Zuckerberg는 그의 기업이나 혹은 유사한 다른 기업들이 인간 상호 작용에 있어서 가져다 주는 이 커다란 개방성을 “대규모의 전쟁을 제외한다면 아마 가장 커다란 우리 세대의 변화 시키는 힘”이라고 묘사한다. Mr.Stone, 그 자신은 트위터를 “비록 아직 멀었지만 세계를 변화시킬 수 있는 잠재력을 가진 매우 중요한 무엇”으로 생각하고 있다.

처음 등장한 인터넷을 두고도 이와 비슷한 류의 발언들이 있었다. 하지만 인터넷은, 웹은 돈을 버는데 아무런 도움이 되지 않을 것이라 생각하는 사람이나 단순히 직원들이 웹을 포르노를 보거나 온라인 포커를 치는 데에만 사용할 것이라 생각하는 사장들로부터 많은 비판도 받았다. 이러한 비관론자들은 아마존이나 구글이 인터넷을 이용해 잘 나가는 모습이나, 인터넷이 기업의 생산성 향상이나 신선한 아이디어를 만들어 내기 위한 새롭고 뛰어난 도구를 제공하는 모습을 보고 충격에 휩싸였다.

소셜 네트워크 간의 유사점이 눈에 띈다. 이는 별로 놀라운 것이 아닌데 왜냐하면 이를 네트워크 역시 인터넷의 창조물들이고 인터넷의 아버지 Tim Berners-Lee 경이 그러기를 바랬던 것의 궁극적 표현이기 때문이다. 그의 책 “Weaving the Web”에서 인터넷은 기술적 산물이라기 보다는 항상 사회적 산물에 가깝다고 설명한다. 다른 무엇보다도 사람들이 서로 협력 하기 쉽게 만들어 줄 수 있는 무엇인가가 되는 것이 그가 밝힌 궁극적인 목표이다.

이 스페셜 리포트는 소셜 네트워크들이 벌써 이러한 목표의 많은 부분을 이뤄왔다고 주장했다. 이 네트워크들은 사람들이 실제 개인정보를 사용해서 만날 수 있는 신뢰받는 온라인 공간을 만들어 왔다. 또한 기업들에게는 그들의 고객에게 다가가고 영향을 미칠 수 있는 새로운 길을 제공했다. 고용주와 유능한 고용인이 과거 어느 때보다도 더 쉽게 연결될 수 있게 함으로서 노동시장에서의 마찰을 줄여왔다. 그리고 기업 내에서의 정보 흐름의 속도를 빠르게 하는데도 기여했다.

이러한 모든 것들이 인상적인 성과이다. 하지만 이러한 소셜 네트워크 사이트들의 가장 중요한 기여는 공짜인, 엄청나게 강력한 커뮤니케이션과 협력 도구들을 지구상에서 광대역 인터넷에 접속되어 있는 모든 이에게 제공했다는 사실이라는 것에 의심의 여지는 없다. 이 기술의 민주화는 웹을 사회화 시키고 사람 뿐 아니라 기업과 정부가 의사 소통하는 방법을 근본적으로 변화 시키고 있다.

이는 또한 누구라도 몇 번의 마우스 클릭을 거치면 자신 만의 전세계에 걸친 토론 그룹을 쉽게 만들 수 있게 해준다. 이는 얼마 전 까지도 이러한 일을 달성하기 위해 필요한 재정적이고 기술적인 영향력을 가진 기업이나 기관의 엘리트 그룹들의 전유물이었다. 이제, 페이스북과 그 유사한 서비스들이 만들어낸 기술 덕분에 수백 만개의 이러한 토의가 매우 간단하게 방법을 통해 동시에 일어날 수 있다. 세계는 이로 인해 더 나아질 것이다.

[Economist] 블로그 마이닝(Blog mining)

블로그 마이닝

Mar 11th 2010 |
From The Economist print edition

유용한 정보를 찾기 위해 블로그들을 샅샅이 뒤지다

“도어매트가 살짝 구부러진 각도로 놓여있는 것을 깨달았습니다. 나는 몸을 구부려 그 매트를 원래 자리로 옮겨놨지요.” 세계에서 가장 재미없는 블로그의 최근 글은 이렇게 시작한다. 비록 이런 문구가 인터넷의 알맹이 없는 블로그들에 대한 일종의 풍자이지만, 과학자들은 – 놀랍게도 – 지루한 블로고스피어에서 유용한 정보가 나올 것이라 믿고 이를 찾고 있다.

로스엔젤레스에 위치한 USC의 창의적 기술 연구소의 Andrew Gordon과 그의 동료들은 컴퓨터에게 원인과 그 결과를 가르치기 위해 노력하고 있다. 컴퓨터들은 인과 관계를 다루는 데는 적합하지 않다. 컴퓨터가 특정 이벤트를 인식할 수는 있지만 관계까지 밝혀내는 것은 너무 어렵다. 이는 컴퓨터를 사용하여 인간의 경험을 분석하고자 할 때 특히 그렇다.

하지만 컴퓨터가 개인적인 블로그를 읽음으로써 많은 인과 관계를 학습할 수 있다는 것이 밝혀졌다. 매일 영어로 작성되는 백만 개쯤 되는 블로그 글들은 대부분 뉴스에 대한 커맨트, 활동 계획, 아니면 일상에 대한 개인적 생각들이다. 약 5% 정도는 최근 작성자에게 일어난 사건에 대한 이야기를 들려주고 있다.

그들의 컴퓨터 시스템이 블로그들을 학습하게 하기 위해서, 연구진들은 2단계의 과정을 진행했다. 첫 번째 단계는 사람들에게 수천 개의 블로그 글들을 “스토리” (역:시간의 흐름에 따른 순차적인 서술)와 “스토리가 아닌 것”으로 분류하게 했다. 사람들은 스토리를 이야기 할 때 다른 형태의 담화들에 비해서 다른 단어들을 다른 빈도로 사용한다. 선택된 블로그 글에서 나타나는 대명사와 과거 동사들의 빈도를 계산하여 그 내용이 무엇이든 상관없이 이 두 가지 종류를 구분하는 것이 가능하다고 Gordon 박사는 말한다. 그의 컴퓨터 시스템은 다른 블로그 글들을 보고 그것이 서술인지 아닌지를 밝혀냈다.

두 번째 단계는 시스템이 인과 관계를 구분할 수 있도록 가르치는 것이다. 여기서도 연구팀은 거의 비슷한 기술을 사용한다. 고든 박사와 그의 학생들은 수천 개의 임의의 블로그 글들을 읽고 인과관계로 연관된 구들을 특별히 표시하여 컴퓨터가 알아볼 수 있게 했다. (“나는 X를 했기 때문에 Y가 일어났다” 같은) 이러한 구들을 블로그 글에서 구분해 놓으면 컴퓨터는 “나는 브레이크를 세게 밟았지만 결국 내 앞의 차와 부딪히고 말았다.” 혹은 “그 의사는 내가 너무 기름지게 먹어서 심장 상태가 위험한 지경이라고 나를 꾸짖었다.” 같은 원인과 결과가 포함된 문장을 골라내고 분류하는 것이 가능해진다.

이것이 결국에는 시스템으로 하여금 다수 대중의 개인적 삶에 대한 취합된 통계정보를 매일매일 모으는 것이 가능하게 할 것이라는 것이 핵심이며 이는 다른 방법을 통해서는 얻어내기 불가능한 정보가 될 것이라는 것이다. 궁극적으로, Gordon 박사는 웹 로그의 개인적 이야기들에 대한 분석이 훨씬 더 확장된 구글의 Flu 추적과 같은 형태로 사용 될 것이라고 예상한다. 구글의 Flu 추적은 특정 지역에서 flu와 관련된 검색어가 집중적으로 나타나는 현상에 대한 검색 데이터 마이닝으로 인플루엔자 발병의 초기 징조를 찾아냄으로써 가능하다.

약물 복용이나 영화에 흥미를 가지게 만드는 인종 갈등, 신 제품 등등의 모든 것들을 포함하는 새로운 유행이나 행동에 관한 정보를 추적하기 위해 웹이 이용된다. 블로그는 본질적으로 사람들이 그들의 일상에 대한 커멘트를 재빠르게 올리는 것을 의미한다. 따라서 이러한 종류의 정보를 캐내어 어떻게 아이디어가 퍼져나가고 유행이 생겨나는지에 대한 정확한 내용을 밝혀낼 것이다.

웹 이전의 세상에서는 일상의 자질구레한 일에 대해 떠드는 것은 주위 사람들에게만 알려졌고, 글로 쓰여지지 않았다. 따라서 이러한 분석의 대상이 되지도 못했다. 나중에 사람들이 읽어줄 것을 위해 일상을 적고 강박적으로 누가 글을 읽었는지 알아보기 위해 방문자수를 확인하고 있는 오늘날의 블로그 운영자들은 최소한 컴퓨터는 그들의 글이 흥미진진하다는 사실을 알아준다는 생각에 위로 받을 수 있다.

영어 원문

[#M_ more.. | less.. |

Analysing the web

Blog mining Scouring blogs for useful information

Mar 11th 2010 |
From The Economist print edition

“I NOTICED that the doormat was at a slightly crooked angle. I reached down and moved the mat back into its correct place.” Thus began a recent entry on The dullest blog in the world. Although this publication is something of a satire on the internet’s inane blogs, scientists are finding—to their surprise—that useful information can actually be mined from the tedium of the blogosphere.

Andrew Gordon and his colleagues at the University of Southern California’s Institute for Creative Technologies in Los Angeles have been trying to teach computers about cause and effect. Computers are not good at dealing with causality. They can identify particular events but working out relationships is more difficult. This is particularly true when it comes to using computers to analyse the human experience.

But it turns out that computers can learn a lot about causality by reading personal blogs. Of the million or so blog entries that are written in English every day, most are comments on news, plans for activities, or personal thoughts about life. Roughly 5% are narratives telling stories about events that have recently happened to the author.

To enable their computer system to learn from blogs, the team followed a two-step process. The first step was for humans to flag thousands of blog entries as either “story” or “not story”. People use different words with different frequencies when they are telling stories, as compared with other forms of discourse. By tallying up the frequencies of parts of speech such as pronouns (I, she, we) and past-tense verbs (went, said, thought) in these flagged blogs, it is possible to distinguish between the two types—regardless of what the story is actually about, says Dr Gordon. His computer system could then look at other blog entries and work out whether they were narrative or not.

The second step was to teach the system to identify causal connections. Here the team used much the same technique. Dr Gordon and his students read thousands of random blog entries and specifically pointed out phrasing associated with causal relationships (such as “I did X so then Y happened”) for the computer to pick up on. Identifying such phrases in blog entries then enables the computer to pick out and categorise those sentences that contain a cause and an effect, such as “I slammed on the brakes but ended up smashing into the car in front of me” or “The doctor scolded me for eating too much fat and risking a heart condition.”

The idea is that this will eventually lead to a system that can gather aggregated statistics on a day-by-day basis about the personal lives of large populations—information that would be impossible to garner from any other source. Ultimately, Dr Gordon expects the analysis of personal stories in weblogs to be used much like Google’s flu tracker, but on a much grander scale. Google’s flu-tracking scheme can detect early signs of influenza outbreaks by mining search data for flurries of flu-related search terms in a particular region.

The web could be mined to track information about emerging trends and behaviours, covering everything from drug use or racial tension to interest in films or new products. The nature of blogging means that people are quick to comment on events in their daily lives. Mining this sort of information might therefore also reveal information about exactly how ideas are spread and trends are set.

In the world before the web, chatter about the trivialities of everyday life was shared in person, and not written down, so it could not be subjected to such analysis. While recording their words for posterity and obsessively checking their hit counters to see if anyone is reading them, today’s blog authors can console themselves with the thought that computers, at least, find their work fascinating.

_M#]

[Economist] 금을 위한 클릭 (Clicking for gold)

금을 위한 클릭

Feb 25th 2010 |
From The Economist print edition

인터넷 기업들은 웹의 데이터를 통해 어떻게 돈을 버는가?

잠깐! Amazon.com은 그들이 당신에 대해서 무엇을 알고 있는지 들키지 않기를 바란다. 그들은 당신이 구입한 책의 목록 뿐 아니라, 뒤적거렸으나 구입하지 않은 책을 기록하고 있으며 이를 이용해 다른 책을 추천하기도 한다. 그들의 e-book인 킨들로부터 수집한 정보는 한층 다양하다. 사용자가 각 페이지를 읽는데 얼마나 걸리는지, 별도의 노트를 하는지 등등. 하지만 아마존은 어떤 데이터들을 수집하고 그들을 어떻게 이용하는지 밝히기를 거부한다.

이뿐 아니다. 인터넷 산업 전체에 걸쳐 기업들은 사람들의 활동, 선호, 혐오, 다른 사람과의 관계, 어느 순간에 어느 위치에 있었는지 등에 대한 대량의 정보를 수집하면서도 침묵을 지키고 있다. 예를 들어 소셜 네트워킹 사이트 페이스북은 그들의 4억 이용자들의 활동을 기록하고, 이 중 절반은 매일 이 사이트에서 한 시간 가량을 보내지만 그들이 무엇을 수집하는지에 대해서는 침묵을 지키고 있다. 구글은 약간의 내용을 공개했지만, 나머지 대부분은 숨기고 있다. 온라인 경매 사이트 eBay 조차 침묵을 지킨다.

“그들은 이것이 이슈화 되는 것이 편치 않습니다. 왜냐하면 이것이 그들이 가지고 있는 경쟁력의 핵심이기 때문입니다.” 기술 전문가이자 발행인인 Tim O’Reilly는 말했다. “데이터는 법정 화폐와 같습니다. 이를 가지지 못한 다른 기업과 큰 격차를 벌릴 수 있게 해줍니다.” 웹에서 가장 큰 사이트 중 하나의 홍보 책임자는 “우리는 이 문제에 대해 심도 있게 논의할 위치에 있지 않습니다. 그것은 사생활 같은 민감한 고려 사항과는 별로 관계가 없습니다. 대신, 우리는 단지 우리의 전략을 드러내 놓을 준비가 되어 있지 않은 것입니다.” 라고 인정했다. 다시 말해, 기업은 소중한 업계의 비밀에 대해서 밝히고 싶지 않은 것이다.

이러한 침묵은 부분적으로 고객의 우려할 경우, 혹은 정부가 반갑지 않은 관심을 가질 경우에 대한 기업들의 염려를 반영한다. 하지만 이는 두 가지 이유에서 너무 근시안적이다. 첫째로, 정치가들과 대중은 이미 불안해하고 있다. 미 연방 무역 위원회의 회장 Jon Leibowitz는 산업 전체가 적극적으로 해결에 나서고 있지 않다고 공개적으로 비판했다. 둘째로, 만약 이용자가 어떻게 데이터가 이용되는지 안다면, 아마도 염려하기 보다는 인상 깊어 할 것이다.

전통적인 산업에서는 고객에 대한 정보를 그들의 구매나 설문조사에 의해 얻는 것이 일반적이었지만, 인터넷 기업들은 그들의 웹 사이트에서 일어나고 있는 모든 일로부터 데이터를 수집할 수 있는 풍요로움을 누리고 있다. 거대한 웹 사이트들은 정보 그 자체가 그들의 가장 큰 보물이라는 것을 오래 전부터 인식하고 있었다. 그리고 이러한 정보는 전통적인 기업들이 도저히 대적할 수 없는 방식으로 바로 사용될 수 있다.

이러한 기술 중 몇몇은 널리 이용되고 있다. 새로운 기능을 실제 구현하기 전에, 거대 사이트들은 어떤 것이 가장 잘 동작하는 지에 대한 통제된 실험을 진행한다. 영화를 대여해 볼 수 있게 제공하는 Amazon과 Netflix은 다른 사용자들이 무엇을 좋아하는 지에 기반하여 사용자들에게 영화를 추천하는 협업적 필터링이라 불리는 통계적 기법을 사용한다. 그들이 사용하는 기술로 인해 수백만 달러의 추가 매출이 일어났다. 거의 3분의 2에 해당하는 소비자의 선택이 컴퓨터에 의한 소개를 통해 이루어졌다.

첫 눈에 보기에는 중립적인 상업 거래를 위한 플랫폼 이상이 아닐 것 같은 eBay도 물건을 내놓는 행동, 입찰, 가격 동향, 검색어, 사용자가 한 페이지를 보는 시간 등 수집한 정보들을 통해 수없이 많은 조정을 한다. 모든 제품 분류는 능동적으로 관리되는 하나의 미시 경제처럼 다루어진다. 많이 검색되지만 잘 팔리지는 않는 고가의 상품은 충족되지 않은 요구를 나타내고, 따라서 eBay는 상품 게시를 늘리기 위해 판매자 보험을 제공할 파트너를 찾는다.

가지고 있는 데이터로부터 가장 많은 것을 얻어내는 기업은 구글이다. 상상할 수 없을 만큼 많은 양의 정보로부터 새로운 경제적 가치를 만들어 내는 것은 그들의 생명선이다. 이는 설립 11년이 지난 기업의 시가 총액이 조사 결과 1700억불에 달하는 것이 이상하게 느껴지지 않는 이유를 말해준다. 구글은 사용자와의 인터렉션이나, 자동적으로 서비스를 향상 시키거나 완전히 새로운 제품을 만들기 위해 재활용되는 data exhaust의 부산물인 정보를 활용하고 있다.

마우스를 통한 투표

구글의 창업자 중 한명인 Larry Page가 검색을 위한 페이지 랭크 알고리즘을 고안한 1998년까지 검색 엔진들은 구현 자체가 널리 공개된 시스템인 한 웹 페이지 상에서 한 단어가 몇 번이나 나타나는 지를 계산하는 방법으로 단어와 웹 페이지의 관계성을 결정했다. 구글의 혁신은 다른 페이지로부터 현재 페이지로 향하는 링크의 개수를 세는 것이다. 이러한 링크는 인터넷 사용자가 대체적으로 중요한 자료라고 믿는 것에 대한 투표 역할을 했다. 많은 인용이 책의 우수성을 말해주는 것처럼, 많은 링크는 그 웹 페이지가 더 유용하다는 것을 뜻한다.

구글의 시스템은 하나의 발전이었지만, 이를 속이기 위해 만들어진 “링크 스팸”의 남용에 취약했다. 구글의 기술자들은 실제 사용자가 클릭하거나 머물게 될 검색 결과로 노출 되었을 때 별점을 매기는 것이 해결책이라는 것을 깨달았다. 구글 검색은 1/4초 만에 2백만 개의 결과 페이지를 내놓지만, 사용자들은 오직 하나의 페이지만을 원하고 이를 선택함으로써 구글에게 그들이 무엇을 찾고 있었는지를 말해준다. 따라서 이 알고리즘은 서비스에 피드백된 정보를 통해 자동으로 재조정된다.

이를 통해 구글은 이것이 데이터 마이닝에 관련된 것이라는 사실을 깨달았다. 이 모델은 간단한 경제 용어로 바꾸어보면, 검색 결과를 통해 $1의 가치를 제공한다 하면, (이용자의 클릭 덕택에) 다시 1센트를 되돌려 받는 것이다. 다음 이용자가 방문했을 때, 그는 $1.01의 가치를 얻게 되고 이것이 반복된다. 한 직원은 이를 “우리는 거대하고 ‘산만한’ 데이터들을 통해 배우는 것을 좋아합니다.”라고 말했다.

커다란 데이터의 뒤에서 발전을 이루어내고 있는 것은 구글 만이 아니고, 또 새로운 기술도 아니다. 가장 눈에 띄는 예는 미 해군의 Matthew Fontaine Maury가 태평양을 건너는 선박들로부터 항해 일지를 수합하여 바람과 해류가 가장 적합한 경로를 찾을 수 있을 것이라고 생각했던 19세기 중반으로 거슬러 올라간다. 그는 그의 지도 사본을 항해 일지를 제공한 선장에게 제공해서 “전염적인” 소셜 네트워크의 색다른 초기 형태를 만들었다. 하지만 이 과정은 느렸고, 수고스러운 일이었다.

마법 스펠링

구글은 이러한 데이터들로부터 재귀적으로 학습하는 방법을 그들의 많은 서비스에도 적용하고 있고, 거의 모든 언어에서 아마 세계 최고의 맞춤법 검사기를 만들어낸 선구적인 방법에도 이것이 사용되고 있다. 마이크로소프트는 그들이 지난 20년 동안 그들의 워드프로세서를 위한 강력한 맞춤법 검사기능을 만드는데 수백만 달러를 썼다고 말한다. 하지만 구글은 이 기능을 위한 원료를 공짜로 얻었다. 그들의 프로그램은 사용자들이 검색 창에 타이핑한 잘못된 단어들과 올바른 결과를 클릭한 “교정”에 기초한다. 하루에 거의 30억에 달하는 검색 건으로 이러한 결과는 곧 산더미처럼 쌓인다. 1990년대의 다른 검색 엔진들도 같은 것을 할 수 있는 기회가 있었지만 실제 실행에 옮기지는 않았다. 2000년 경에 야후가 이의 잠재력을 보았지만, 실천에 옮기지는 않았다. 사용자와 상호작용의 쓰레기 더미에서 금가루를 발견하고 이 모두를 수집하는 수고를 떠맡은 것은 구글이었다.

최근 구글의 2가지 서비스인 번역과 음성인식도 같은 방식이다. 양쪽 모두 인공 지능 분야의 컴퓨터 과학자들에게는 커다란 장애물이었다. 40년이 넘는 기간 동안 과학자들은 언어의 음성과 구조를 이해하는 컴퓨터를 만들기 위해 노력해왔다. 이는 올바른 시제 등을 가지는 한 문장에서 어디에 명사와 동사가 위치하는지 등의 규칙을 정의하는 것을 의미한다. 규칙에 어긋나는 모든 예외들 역시 입력되어야 했다. 이와는 반대로 구글은, 이를 많은 데이터와 연산 능력만 있으면 풀 수 있는 커다란 수학 문제로 보았고, 실제 유용한 해결책을 찾아내었다.

번역을 위해서 구글은 그들의 다른 서비스들을 이용 할 수 있었다. 그들의 검색 시스템은 20여 개 국의 언어로 번역된 유럽 연합 집행 기관의 문서들을 찾아 낼 수 있다. 그들의 책을 스캐닝 하는 프로젝트는 다른 여러가지 언어로 번역된 수천개의 책 제목들을 가지고 있다. 이러한 모든 번역의 질은 표준을 준수하기 위해 전문가들에 의해 이루어져서 아주 좋은 상태이다. 따라서 컴퓨터에게 언어의 규칙을 가르치려 노력하는 대신에, 구글은 통계적 추론을 만들기 위해 텍스트 그 자체에 집중했다. 구글의 엔지니어인 Frans Och에 따르면 구글 번역기는 현재 50개 이상의 언어를 처리할 수 있다. 이 시스템은 한 언어의 단어나 구를 가지고 다른 언어에서의 가장 비슷한 동등어를 찾아낼 수 있다. 만약 직접 번역이 힘든 경우 (예를 들어, 힌두어와 카탈로니아어), 영어가 중간 다리 역할을 한다.

구글이 이러한 방법을 처음 사용한 것은 아니다. 1990년대 초반 IBM은 캐나다의 국회에서의 번역을 이용하여 프랑스어-영어 번역프로그램을 만드려 시도한 적이 있다. 하지만 제대로 동작하지 않았고, 이 프로젝트는 폐기 되었다. IBM은 오직 폐기 처분된 수백 만개의 문서를 가지고 있었다고 Och는 무시하듯이 말했다. 구글은 수십 억개를 가지고 있다. 구글의 시스템은 초기에 약 2조개의 단어를 처리하여 개발되었다. 엄청난 양의 데이터로 학습되었지만, 이는 맞춤법 검사와 검색의 재귀적인 특성이 부족했다.

이러한 피드백 루프의 디자인은 중요하다. 구글은 사용자들에게 그들의 의견을 묻지만 그 이상은 없다. 독일에서 개발된 Linguee라는 번역기는 조금 다른 방법을 시도한다. 사용자에게 가능한 번역의 샘플들을 제시하고 가장 적당한 것을 클릭하도록 한다. 이는 어떤 것이 가장 정확했는지에 대한 피드백이 될 수 있다.

음성 인식은 Data exhaust 이용의 중요성을 강조한다. 구글의 전화번호부나, 음성 자동차 내비게이션 서비스를 이용하기 위해서 고객은 특정 번호로 전화를 걸어 그들이 찾고 있는 것 (역: 목적지, 혹은 사람이름)이 무엇인지 말해야 한다. 시스템이 이를 재차 확인하여 말해주고, 사용자가 그것을 받아들이거나 다시 질의가 반복되면 시스템은 해당 단어가 말해질 수 있는 다양한 방법들에 대한 레코드를 남긴다. 그들은 목소리를 이해하는 것이 아니다. 확률을 계산한다.

이러한 서비스를 런칭하기 위해서 구글은 완성되어있는 음성 인식 시스템이 필요했고, 이 분야의 대표 기업인 Nuance로부터 소프트웨어 라이센스를 취득했었다. 하지만 구글 자신이 음성 질의에 대한 데이터를 가지고 있으므로, 그들의 음성 인식 시스템은 결국 현재 관련있는 모든 업체와의 제휴로 많은 데이터들에 대한 접근 권한을 얻으려 노력 중인 Nuance보다 좋은 성능을 낼 것이다.

데이터의 재이용은 어떻게 연산이 이루어지는 지에 대한 새로운 모델을 제시한다고 프린스턴 대학의 Edward Felten은 말한다. “커다란 데이터 집합들을 보고 어떤 일들이 함께 일어나고 있는지를 추론하는 것은 기대했던 것보다 훨씬 빠르게 발전하고 있습니다. ‘이해’는 과대 평가된 것으로 밝혀지고 있고 통계적인 분석이 이를 대체하고 있습니다.” 많은 인터넷 기업들도 이제 이러한 시각을 가지고 있다. 페이스북은 사용을 촉진시키기 위해서 그들의 엄청난 양의 데이터베이스를 정기적으로 검사하고 있다. 이용자가 그 사이트의 활성화에 기여할지 여부를 예측하는 가장 좋은 변수는 이용자의 친구들이 활동적이었는지 보는 것이라는 것을 찾아냈고, 따라서 가입자들에게 그들의 친구들이 온라인 상에서 푹 빠져 있었던 것에 대한 정보를 보내주었다. 온라인 게임 회사인 Zynga는 그들의 게임을 발전시키기 위해서 1억 명의 고유 플레이어를 매달 추적한다.

“만약 이용자가 생성하는 생성 데이터를 손에 넣을 수 있으면, 우리들은 단지 알고리즘을 개선 시키는 것보다 훨씬 좋은 시스템을 개발 할 수 있을 것입니다.” 과거 아마존의 최고 과학자였고, 지금은 스탠포드 대학에 있는 Andreas Weigend는 말했다. 많은 기업에서 이사로 재직 중인 벤처 투자자이자, 웹의 첫 번째 상업용 브라우저였던 Netscape의 창업자인 Marc Andreessen은 “이러한 새로운 기업들은 커다란 양의 데이터를 다룰 수 있는 문화, 프로세스, 기술을 만들어 왔고 이는 전통적인 기업들이 간단히 가질 수 없는 것이다.” 라고 생각한다.

Data exhaust의 재활용은 구글 제국에서 진행 중인 수많은 프로젝트들의 공통 주제이자, 왜 그들 대부분이 “베타” 혹은 초기 테스트 버전 이라는 딱지를 붙이고 있는지 설명해준다. 그들은 정말로 끊임없는 개발이 진행 중인 것이다. 구글 이용자로 하여금 의료 기록을 저장할 수 있게 해주는 서비스는 구글에게 질병과 치료에 대한 유용한 패턴을 찾아낼 수 있게 할 것이다. 이용자들이 그들의 장치 각각의 전기 소비량을 감시할 수 있게 해주는 서비스는 에너지 소비에 대한 풍부한 정보를 제공할 것이다. 이는 세계 최고의 가전제품과 전자기기들에 대한 데이터 베이스가 될 것이고 이를 통해 고장을 예측할 수도 있을 것이다. 구글이 무료로 공개하고 있는 수집된 검색 질의들을 이용하면 소매 매출부터 플루의 창궐까지 모든 것들을 높은 정확성으로 예측할 수 있을 것이다.

통틀어, 이 모든 것들은 구글의 원대한 목표 “세계의 정보를 조직화”와 일맥상통한다. 아직은 단어를 신중하게 써야 한다. 구글은 데이터를 소유할 필요가 없다. 일반적으로 구글이 원하는 것은 데이터에 접근할 권리를 가지는 것이다. (그리고 그의 라이벌들은 그럴 수 없는 상황이다) 작년 9월 조용히 시작된 “데이터 해방 운동”이라 불리는 새로운 시도에서 구글은 그들의 모든 서비스를 변경하여 사용자들이 서비스들을 쉽게 중단하고, 그들의 데이터를 회수할 수 있도록 계획 중이다. 고객을 묶어 두는 것 에서 쌓아 올려진 산업에서, 구글은 “탈출을 위한 장벽”을 줄이기를 바란다고 말하고 있다. 이는 기술자들이 많은 최고 기술 기업의 저주인 ‘현재 상태에 안주’하지 않도록 도울 수 있을 것이다. 이 프로젝트는 이로 인해 사업 상 손실이 발생하기 시작하면 중단 될 수도 있다. 하지만 구글은 아마 사용자들이 자신들의 정보를 쉽게 거두어들일 수 있다는 사실을 알면 더 많은 정보를 구글과 나누고 싶어 할 것이라고 예상한다.