Tag: internet

[Economist] The world is what you make it (세상은 당신이 만드는 것)

모든 나라 각자의 인터넷이 존재한다.

Oct 27th 2012 | from the print edition

2012년 3월 두 중국 인터넷 기업, Youku와 Tudou는 합병을 발표했다. 이 거래는 유망하지만 경쟁이 치열한 서양에서 흔한 사례처럼 보였다. 합병은 다소 늦었고, 아직도 적자를 보고 있는 이 두 선도기업은 힘을 합치기로 결정했었다. 하지만, 이는 서양 어떤 것과도 다르기도 하다. 왜냐하면 세상 어디에도 Youku와 Tudou와 같은 기업은 없기 때문이다. 

이 둘은 온라인 비디오를 제공하는 기업으로, 일본 애니메이션에서부터 “프리즌 브레이크”과 같은 것과 또한 자신들만의 다양한 컨텐츠를 보여주고 있다. 각각은 2억명이 넘는 가입자를 가지고 있다. 가장 비슷한 서비스로 YouTube를 들 수 있지만, 이 중국 기업들은 집에서 촬영된 영상에는 별로 관심이 없고, 공중파 TV에서 상영되는 재미없는 프로그램들의 환영 받는 대체제로서 전문적인 영상들을 선호한다. 또 하나 다른 점이 있다. 만리장성 뒤에서는 Facebook과 마찬가지로 YouTube에는 접속할 수 없다.

중국은 간단한 진실을 몸소 보여주고 있다. 인터넷은 글로벌 이미지에도 불구하고 모든 곳에서 똑같지는 않다. “인터넷은 존재하지 않습니다.” 리서치와 컨설팅 기업 Gartner의 Steve Prentice는 말한다. “190개의 서로 다른 인터넷이 있습니다.” 어떻게든, 대부분의 정부는 시민들이 온라인으로 하는 것들을 컨트롤 하려 하고 있습니다. 스카이프를 이용해 전화를 하는 것은 미국에서는 일상적이지만, 캐나다에서는 부분적으로 허용되고 있고, 에티오피아에서는 구속될 수도 있다고 그는 말한다.

작년 출간된 그의 책 “다른 곳에서의 인터넷”에서, 웹 사이트 Ars Technica의 저널리스트 Cyrus Farivar는 에스토니아, 이란, 세네갈, 그리고 대한민국의 인터넷 발전을 연대기 순으로 기록하고 있다. 에스토니아의 시민의식을 가진 기술자들과 젊고 총명한 장관들은 인터넷에 대한 보편적 무료 접근을 도입했다. 에스토니아는 2007년 수도에 있던 Tallinn의 병사라는 동상을 치운 이후 러시아 사람들로부터의 집단적인 사이버 공격을 받았다. 대한민국은 전쟁의 폐허에서 출발하여 수십년에 걸친 정부의 투자와 고된 노동 끝에 부유한 경제를 일구어냈다. 한국은 대부분의 서양 사람들은 꿈만 꾸고 있는 광대역 속도 뿐 아니라, 프로 컴퓨터 게임 리그까지 존재한다. 세네갈에서는 국가 잠재력에도 불구하고, “거의 모든 희망들이 절망으로 끝나버렸다.” Farivar의 아버지가 태어난 이란에서는 블로거들이 체포되어 고문을 당하고 추방되어야 했다.  

몇몇 인터넷의 초기 이상론자들은 정부가 디지털 세계에 개입할 수 있으리라고는 생각치 못했다. 1996년, 사이버 스페이스의 독립 선언이라고 웅대하게 이름 붙여진 것에서 John Perry Barlow는 정부를 “살과 철로 이루어진 지친 거인들”이라고 적었다. 그는 이어서,  

너희는 우리가 모인 곳에 대한 통치권이 없다…나는 우리가 만들고 있는 전 세계적인 소설 공간이 당연히 너희가 우리에게 적용하려는 압제로부터 독립적인 것을 선언한다…당신들의 재산, 표현, 신분, 활동, 맥락에 대한 법률적 의미들은 우리에게 적용되지 않는다.

정부의 이에 대한 응답은: 어 그래? 왜냐하면 인터넷은 광케이블, 라우터, 스위치로 이뤄진 물리적인 존재로서, 정부는 이러한 부분들을 불용으로 만들어 버릴 수 있고, 그렇게 한다. 이는 중국과 이란에서의 YouTube의 차단과 더불어 다른 구글에 의해 주기적으로 알려지는 제한 조치들을 이해할 수 있게 한다. 9월달, 이란에서는 내년 3월까지 자신들만의 독자적인 인터넷을 구축할 계획이라고 알려졌다. 글로벌 인터넷으로의 접근을 제한할지 여부는 확실하지 않지만, 어떠한 경우에도 꽤나 제한적일 것이다 정부의 제한 조치를 우회할 수 있는 방법이 종종 있기는 하지만, 이럴 경우 무거운 죄가 되고 위험할 수 있다.  

정부는 때때로 인터넷 기업들에게 지역 법을 위한하거나, 감정적인 면을 위배한 것들을 삭제해달라고 요청하는데, 서구 민주주의 사회에서도 정치적인 컨텐츠에 대한 검열이 이루어지곤 한다. 작년 구글은 스페인 규제 기관으로부터의 270개의 시장, 검사 그리고 다른 공공 인물에 대한 검색 결과를 삭제해달라는 요청을 받았고 이를 거절했다. 올해 9월에는 브라질 경찰이 시장 후보의 친자 확인 소송에 관련된 YouTube 비디오를 삭제해 달라는 요청에 그들이 잠시 망설이자 구글이 이를 반영할 때까지 그들의 운영 책임자를 잠시 구류하는 일이 있었다.  

인터넷 기업들은 이러한 순종이 사업을 하는 비용이라고 생각하고 감내한다. 2010년까지 구글은 중국어 검색 결과를 필터링 했다. 이는 사실, 중국 정부에 의한 검열 요청을 받아들인 것이다. 그들은 현재 중국으로부터의 검색 요청을 규제가 덜한 홍콩으로 전달한다. 몇 이슬람 국가들에서 구글은 이슬람 종교를 믿는 사람들에게 분노를 유발 시킨 “멍청한 무슬림”이라는 영화에 대한 YouTube 트레일러를 차단했다. 브라질에서는 이 클립들을 지워야 한다는 판결에 대한 소송을 진행 중이기도 하다. 트위터는 각 나라의 법률을 위반할 수도 있는 트윗들은 블럭시키고 있다.

입맛과 기술

하지만 정치만이 인터넷의 발전과 세계와 소통하는 방식에 영향을 끼치는 것은 아니다. 소비자들과 국가의 인프라 상태도 큰 차이점을 만들어낸다. 미국과 영국의 온라인 쇼퍼들은 공급자가 물건을 보내줄 것이며 우체국이나 택배회사가 이를 배송해 줄 것이라 믿고 물건을 구입하기 전에 신용카드로 결제할 것이다. 러시아 사람들은 좋은 조건을 경계한다. 그들은 주문한 것이 정상적으로 배송되고 그것에 만족한 후에 지불하기를 원한다. 어찌되었건, 그들은 신용카드가 없을 수도 있다. KupiVIP라는 러시아의 의류 온라인 쇼핑몰 최고 경영자인 Oskar Hartmann은 95%의 판매가 배송 시에 현금으로 결제 된다고 한다. 집으로 배달해주거나 (택배기사는 소비자가 그 옷을 입어 볼 때까지 기다려야 할지도 모른다) 근처의 상점에 있는 배송지로 배달된다. 큰 규모의 국제 배송 회사들이 러시아까지 들어가지 못하고 있기 때문에, KupiVIP와 온라인 상점 OZON은 상품이 목적지에 닿는 것을 확인하기 위해 그들만의 배송 시스템을 만들었다. 배송 시 현금으로 지불하는 방식은 중국이나 인도에서도 일반적이다.

사람들이 기술을 어떻게 이용하는지 케냐, 나이지리아를 관찰해온 컨설팅 기업 ReD Associates의 Jun Lee는 아프리카는 “모바일 퍼스트” 시장이라고 말한다. 이곳에서는 대부분의 사람들이 인터넷의 입문을 통해 상당히 발전된 서비스, 송금과 같은 것을 이용하게 된다. 많은 사람들은 이것을 기술 기업에게는 크나큰 기회라고 보고 있다. 하지만 Lee는 이러한 국가들에서  “여러사람과 어울리고 탐색할 수 있는 공간으로서의 인터넷이라는 개념 존재하지 않는다”라고 경고한다. 인터넷을 이용하는 비용이 엄청나게 비싸다. 인터넷은 곡물의 시장 가격 등 특정 질문에 대한 대답을 찾는 공간으로 여겨져 왔다. 때때로 이러한 질문은 구글에게도 너무 어렵다. “어떻게 내가 더 나은 기업가가 될 수 있을까요?” 서양 사람들에게는 근사한 서비스가 아프리카 사람들에게는 그렇지 않을 수 있다. 길이 하나 뿐이거나, 혹은 새로운 곳에 돌아다니는 위험을 감수하고 싶지 않아 매번 똑같은 곳을 돌아다닌다면 끊임없이 업데이트되는 휴대전화의 지도가 별로 가치 없을 것이다. 

또한 서구 국가들에서도 모든 사람이 최신 스시바의 온라인 리뷰를 검색하거나, 앱으로 자동차를 호출해 타고가는 서비스를 이용하는 것은 아니다. Birmingham(영국)이나 Turin 같은 교외에서는 일반적으로 그들이 나고 자란 곳으로부터 멀지 않은 곳에서 살아가고 회사에 출근하거나 술집에서 친구들을 만나기 위해 1마일, 2마일 이상을 돌아다니지 않는다고 Lee는 말한다.  “그들은 페이스북이 필요 없습니다.” 

[Economist] 건초더미 속의 바늘 (Needle in a haystack)

건초더미 속의 바늘


정보에 대한 정보의 이용


데이터가 더욱 풍부해짐에 따라, 가장 큰 문제는 흔히들 말하는 데이터를 찾는 것이 아니라 적절한 정보를 쉽고 빠르게 제공하는데 있다. 이럴 때 필요한 것이 정보에 대한 정보이다. 도서관의 사서들과 컴퓨터 과학자들은 이를 “메타데이터”라 부른다.


정보 관리는 오랜 역사를 가진다. 3천 여 년 전의 아시리아에서는 석판에 부착된 작은 찰흙 조각들이 바구니에 담겨있거나, 선반에 쌓여 있을 때 그들을 구분하기 쉽게 만들었다. 이러한 생각은 20세기까지 작은 분류 카드 형태로 살아남았고 사서들은 이를 컴퓨터가 이용되기 전까지, 책의 제목이나 저자, 주제 등을 적어 놓는데 사용하였다. 책 자체가 데이터를 구성하고 이러한 분류 카드는 메타데이터로 볼 수 있다. 또 다른 예는 포장 레이블에 포함되어 전 세계적으로 하루에 5백만 건의 스캔이 이루어는 바코드이다. 


최근 메타데이터는 사실상의 전성기를 맞고 있다. 인터넷에 있는 풍부한 정보들은 유용하게 활용되기 위해서 조직화 되어야 한다. 이것이 바로 구글의 특기이다. 그들의 검색 엔진을 위한 원자재는 공짜로 구할 수 있다. 바로 공개된 인터넷 상의 웹 페이지들이다. 그들이 가치를 추가하는 (메타데이터를 생성하고) 것은 이 정보를 조직화하고, 관련이 있는 질의에 랭킹을 매기는 행위를 통해서이다.


세계의 인터넷 검색 중 절반 가량이 구글을 통해서 이루어지며 그들은 매초당 35,000건의 질의에 답을 하고 있다. 메타데이터는 잠재적으로 수익성이 좋은 사업이다. “만약 정보를 얻을 수 있는 경로와 방법을 통제할 수 있다면, (이를 이용하는) 그 다음 단계의 생산자들에게 일정 비용을 청구할 수 있을 것입니다.” Columbia 비즈니스 스쿨의 통신 경제학자 Eli Noam은 설명했다. 하지만 더 호혜적인 사용 방법 역시 존재한다. 예를 들어, 웹사이트 Flickr에 업로드 되는 사진들에는 언제, 어디서 찍힌 것인지 뿐 아니라 잠재적 구매자들에게 유용한 카메라 모델 같은 정보가 메타데이터로 포함되어있다.


117438164BB49D8F2BE6BB[1]


인터넷 이용자들은 조직화 되어있지 않은 정보에 라벨을 붙여 태그가 달린 사진이나 비디오처럼 쉽게 찾아질 수 있도록 돕는다. 하지만 그들은 전통적인 도서 분류법을 무시한다. 대신, 그들은 그들이 원하는 어떤 단어라도 붙여 전자 “Folksonomy” (역:다수의 유저들의 동시 노력에 의해 구축된 분류법)를 만든다. 따라서 버락 오바마의 사진에 “대통령”이라고 라벨을 붙이는 것 대신에 그들은 이 사진을 두고 “섹시” 혹은 “개자식”이라고 부를 수 있다. 혼란스러워 보이지만, 꼭 그렇지도 않다.


정보가 종이나, 필름과 같은 실재하는 매체에 기록되던 때에는 모든 것들이 오직 하나의 위치에 존재하였다. 디지털 정보는 동시에 여러 곳에서 같은 아이템이 저장 될 수 있다고 분류학과 인터넷에 관한 책의 저자 David Weinberger는 적고 있다. “모든 것이 다양성을 가집니다.” 디지털 메타데이터는 사물을 복잡하게도 만들고 동시에 간단하게도 만든다.

[Economist] World Wide Wait

World Wide Wait



Feb 12th 2010 |
From The Economist online


The faster the internet becomes, the slower it loads pages
인터넷이 빨라질수록 페이지 로드 시간은 길어진다


최근의 웹 페이지들을 불러오는데 얼마나 오래 걸리는지 신경 써 본적이 있는가? 하나의 링크를 클릭하고 기다리고, 또 기다리고, 조금 더 기다리면 내용이 찔끔찔끔 표시된다. 만약 10초 정도 이후까지 아무 일이 일어나지 않는다면 참을성 없는 필자는 브라우져의 Stop 버튼을 누르고 Reload 버튼을 누른다. 필사적인 상태에서는 같은 링크를 두 번째 탭, 혹은 세 번째 탭에서까지 로드 해보고 웹 사이트의 서버에 페이지를 위한 다수의 요청을 퍼붓는다. 만약 그마저 실패한다면 넌더리를 내며 포기하고 대신 신문을 읽는다.


인터넷의 초창기 시절, 대부분의 웹 유저들이 전화선 연결에 의존하던 시절에는 브라우저는 부가적인 것이 없었으며, 웹 그래픽은 투박한 GIF 파일이었고, 8초가 사람들이 원하는 페이지가 로드 될 때까지 기다리는 시간의 최대치로 여겨졌다. 사람들을 다른 곳으로 발길을 돌리지 않도록 하기 위해 웹 디자이너들은 HTML 코드를 핵심만 남기고 가볍게 만들었고, 스타일시트 데이터나 자바 스크립트를 다른 곳에 하나의 파일로 모아 더 효과적으로 캐시할 수 있게 하고, 이미지는 적게 사용하고 더 작은 크기를 가지는 PNG나 JPEG과 같은 파일을 사용 가능하게 되자마자 즉시 수용했다. 텍스트와 비교하면 사진은 최소 1000단어와 동일한 전송 시간이 필요하다.



필자가 이코노미스트의 첫 번째 웹 사이트를 작성했던 1994년에는 일반적인 웹 페이지는 50킬로바이트 근처의 크기였고, 전화선을 이용한 모뎀은 1초에 3킬로바이트 이상을 전송할 수 없었다. “8초 규칙”을 지키기 위해서 사진은 최소한으로 사용되어서 어떤 페이지도 로딩을 시작하는데 3~4초 이상 걸리지 않았고, 완료 시 까지 20초가 걸리지 않았다. 아이러니한 것은 광대역이 널리 사용 가능하게 되어 전체적인 접속 속도가 급격히 늘어나고 있는 와중에도 웹 페이지를 로드 하는데 걸리는 시간은 더 늘어난 것처럼 보인다는 것이다.


필자는 DSL 연결이 수명을 다해간다는 사실을 인정한다. 하지만 지역 전화 교환기로부터 5km 떨어진 곳에서도 광대역 접속 속도는 과거 몇 년 동안 지역 회선이 개선되고 반향 제거 코일 같은 과거의 시설들이 접속 배전함에서 제거 됨으로써 초당 65킬로바이트에서 90킬로바이트로 증가했다. 


물론, 필자는 초당 650킬로바이트 이상의 속도를 케이블을 통해 얻을 수 있다. 하지만 그것은 멋진 위성-TV 서비스를 버려야 하는 것을 의미한다. 이뿐 아니라 광 케이블은 내가 살고 있는 언덕까지 설치되려면 아직도 멀었다. 만약 현재의 DSL 연결을 위해 매달 내는 21불 대신 140불을 지불하면 초당 6메가 이상으로 인터넷에 접속할 수 있게 될 것이다.


70배의 속도 증가에 비해서 7배의 가격 상승은 할인으로 보인다. 하지만 필자는 순수한 속도의 증가가 가차없이 엄격한 로딩 문제를 해결할 수 있을지 의문이다. 비록 못미더운 DSL 연결로도 일단 웹 사이트의 서버가 ( 그리고 그 경로에 있는 모든 컴퓨터와 광고, 그래픽, 그 외의 잡다한 레이아웃을 위해 사용되는 컴퓨터들 ) 브라우저의 요청에 반응하기 시작하면 페이지들은 충분히 빨리 보여진다. 문제는 우선 서버로부터 응답을 받아내는 것이다.


두 컴퓨터가 서로 정보를 교환하기 전에 그들은 서로 이야기하는 것에 동의해야 한다. 일반적인 경우, 이는 사용자의 컴퓨터가 호스트 컴퓨터에 요청을 보내야 하고 이에 대한 응답이 다시 사용자에게 전달되어야 한다. 오직 이 “핸드쉐이킹” 과정 이후에야 정보의 교환이 시작된다. 이 왕복의 요청과 응답에 걸리는 시간이 네트워크의 대기 시간을 결정한다.


이 대기 시간은 전자기 신호가 왕복해야 할 거리를 광속으로 나눈 것 이하로 줄어들 수는 없다. 예를 들어, 필자는 샌프란시스코의 동료로부터 400마일이 떨어진 로스엔젤레스의 집에 산다. 이론상으로는 이 두 장소를 왕복하는 최소 시간은 4.3 밀리세컨드이다. 하지만 보통 다른 컴퓨터에 “Ping”을 보낼 때, 왕복 시간은 일반적으로 700 밀리세컨드이다. 이것도 꽤나 빠른 속도이지만 얼마나 많은 시간이 요청을 처리하기 위한 다양한 서버들을 기다리는데 필요한지 보여준다.


메시지들이 꼼짝 없이 붙들려 있어야 하는 곳들이 전송되는 길 곳곳에 있다. 라우팅 서버에서는 데이터가 트래픽에 따라 목적지를 향해 서로 다르게 분배되어야 하는 큐가 점점 길어질 수 있다. 그중 최악은 ISP 쪽의 DNS라 불리는 도메인 네임 서버가 이용자가 방문하고자 하는 사이트(예를 들어 www.economist.com)를 실제 인터넷 주소(216.35.68.215)로 변환하느라 정신이 없이 바쁜 상황이다. 만약 안다면, 웹 사이트의 실제 숫자 주소를 장황한 URL 이름 대신에 시도해보라. 응답시간을 절반으로 줄일 수도 있다.


DNS 변환에서든, 라우팅 컴퓨터에서든, 아니면 호스트 서버 자체에서든 이러한 병목 현상들은 대부분 인프라가 처리할 수 있는 것 이상으로 인터넷 트래픽이 혼합되는 양상이 변해온 것에 기인한다. 한때 단지 50킬로바이트의 텍스트와 조그만 그림들로 이루어졌던 웹 사이트가 현재에는 음악, 비디오와 애니메이션으로 이루어진다. 유투브, Hulu, 아이튠즈, 비트 토런트도 이러한 문제를 겪고 있다.


이동 통신사의 사설 망에서 문제는 더 심각해진다. 통신사들은 가입자들의 스마트폰을 사용하면서 페이스북을 확인하고 유투브에서 비디오를 보고, 대화형 게임을 하는 등, 요구를 맞춰주기 위해 노력하고 있다. 중간 범위의 스마트폰들은 보통 한 달에 100메가바이트 정보의 데이터를 소비하지만, 완벽한 브라우징 환경과 수 천 개의 다운로드형 어플리케이션을 갖춘 더 발전된 애플의 아이폰이나 모토롤라의 드로이드 같은 모델에서는 한 달에 500메가바이트 이상을 소비하는 경향이 있다. 곧 출시가 임박한 무선 모뎀을 갖춘 아이패드 같은 태블릿 컴퓨터에서는 다운로드 데이터 사용량이 한 달에 1기가바이트에 달할 수도 있다. (이번주 비지니스 섹션의 lead story 참고)


그리고 이것은 단지 시작에 불과하다. 인터넷의 상황을 보면, UCLA에 의해 운영되는 네트워크 기상 보고에 따르면 미국 기업의 웹 사이트들의 평균 지연시간은 현재 350ms 근처이다. 구글의 지연시간이 150ms, 페이스북이 285ms, 그리고 유투브가 515ms이다. 영상회의, 고해상도 실시간 비디오, 원격 수술 등 다음 세대의 인터넷 어플리케이션들이 구현되기 위해서 이러한 지연시간들은 상당한 양 짧아질 필요가 있다.


미래는 매혹적이다. Netflix는 Full-HD 사진의 해상도(1080p라 불리는, 사진에 총 1080의 선을 가진)와 5.1 채널의 입체음향을 가지는  주문형 실시간 비디오 서비스를 제공할 것이라고 발표했다. 깨끗하고, 조밀한 영상과 선명한 음질을 구현하기 위해서는 각 회선당 1초에 1메가의 대역폭과 60ms 이하의 지연시간이 요구된다.


인터넷 서비스 제공자들에게 이는 투자를 상당히 증가 시킨다는 것을 의미한다. 하지만 엄청나게 많은 라우터를 인터넷에 추가하는 것은 일을 더 복잡하게 만들 뿐 지연시간 문제를 해결 하는 데는 별 도움이 안될 수 있다. 무엇을 하든, 그것은 사실 잠재적인 병목현상의 수를 증가시킬 수 있다. 닷컴 붐으로 잘 나가던 시절에 설치되었지만 10여 년 전 거품이 꺼진 뒤부터 거리 지하에 방치되어있는 “Dark fiber”를 사용하는 것이 더 나은 해결책일 것이다. 이는 다수의 보안 회사들이 조용히 진행하던 일이었다. 자동화된 주식거래에서 1밀리초를 단축하는 일이 100만불의 수익증가를 불러오는 이 상황에서 지연시간이 0에 가까운 사설 광 네트워크를 구축하는 것은 충분히 매력적이다.


사실, 구글은 이번 주 통신사들이 새로운 광 인터넷을 구축하기를 기다리며 시간을 허비하지 않겠다고 발표했다. 구글은 초당 100메가바이트를 50,000에서 500,000명의 사람들에 제공 가능한 낮은 지연시간을 가지는 광 네트워크를 만들 계획을 세우고 있다. 운이 좋으면, 다른 모든 인터넷 서비스 제공업체들이 이를 알게 될 것이다.


영어 원문


[#M_ more.. | less.. | 

EVER noticed how long it takes for web pages to load these days? You click on a link and wait and wait, and then wait some more, for the content to trickle in. If nothing has happened after ten seconds or so, your impatient correspondent hits the browser’s stop button followed by the reload key. In desperation, he sometimes loads the link into a second or even a third browser tab as well, and bombards the website’s server with multiple requests for the page. If that fails, he gives up in disgust and reads a newspaper instead.


Back in the early days of the internet, when most web users relied on dial-up connections, browsers were crude and web graphics were clumsy GIF files, eight seconds was considered the maximum people would stick around for a page to load. To increase “stickiness”, web designers pared their HTML code to the bone, collated their style-sheet data and JavaScripts into single files for more efficient caching elsewhere on the web, used fewer graphics and embraced the PNG and JPEG picture formats, with their smaller file sizes, as soon as they became available. Compared with text, pictures really were the equivalent of 1,000 words, at least when it came to the time taken to transmit them.



When your correspondent hand-coded The Economist’s first website back in 1994, a typical web page was about 50 kilobytes in size and dial-up modems could transfer no more than three kilobytes a second. To stay under the “eight-second rule”, pictures were kept to a minimum, so no page took more than three or four seconds to begin loading and never longer than 20 seconds to complete. The irony is that, with broadband nowadays more or less everywhere, overall connection speeds have gone up by leaps and bounds, yet the time taken to load web pages seems only to have got longer.


Your correspondent is admittedly near the end of the road for a digital subscriber line (DSL) connection. But even at three miles (5km) from the local telephone exchange, the speed of his broadband connection has inched up over the past few years from 65 kilobytes a second to more than 90 kilobytes a second—as the local line has been tweaked and legacy equipment like echo-cancelling coils removed from its junction boxes.


Sure, he could get 650 kilobytes a second or more from a cable connection. But that would mean ditching his otherwise excellent satellite-TV service. Besides, optical fibre is slowly working its way up his hillside. He could soon have access to the internet at more than six megabytes a second—providing he is prepared to pay $140 a month instead of $21 for his existing DSL connection.


A 70-fold increase in speed for a sevenfold increase in price would seem a bargain. But your correspondent is not sure that more raw speed will solve the glacial loading problem. Even with his wimpy DSL connection, pages are rendered quickly enough once the website’s servers (and all the other computers along the route, plus those used to host adverts, graphics and miscellaneous layout bits) start giving his browser’s request some attention. The trouble is getting their attention in the first place.


Before two computers can exchange information, they have to agree to talk to one another. Under normal conditions, this requires the user’s computer to send a request to the host computer, which then sends a response back to the user. Only after this “handshaking” is complete can the exchange of data commence. The time taken for this round-trip of request and acknowledgment determines the network’s latency.


The latency cannot be less than the distance the electromagnetic signal has to travel divided by the speed of light. For instance, your correspondent’s home in Los Angeles is 400 miles from a colleague’s in San Francisco. In theory, then, the shortest round-trip between the two locations is 4.3 milliseconds. But if you “ping” the other computer, you’ll get a round-trip time of typically 700 milliseconds. That is still pretty quick, but it shows just how much time is spent waiting around for the various servers involved to handle the request.


There are many places along the way where the message can get bogged down. Queues can build up at routing servers that switch data packages along different routes to their destinations depending on the traffic. Worst of all, the DNS (Domain Name Server) computers used by your ISP can be overwhelmed as they try to translate the names of all the websites subscribers want to visit (say, www.economist.com) into their actual internet addresses (216.35.68.215). If you know it, try using the website’s numerical address rather than its verbose URL (Universal Resource Locator) name. That can sometimes halve the response time.


The bottlenecks—whether at the DNS translators, the routing computers or the host’s own servers—stem largely from the way the mix of internet traffic has changed faster than the infrastructure used to carry it. Websites that were once just 50 kilobytes of text and tiny pictures now come with music, video and animated graphics. YouTube, Hulu, iTunes and BitTorrent have much to answer for.


It is even worse on the mobile phone companies’ proprietary networks. Carriers are struggling to keep up with demand as subscribers use their smart-phones to check Facebook, stream videos from YouTube and play interactive games. Where a mid-range smart-phone would consume about 100 megabytes of data a month, more advanced models like the Apple iPhone or Motorola Droid, with fully fledged browsers and access to thousands of downloadable applications, tend to consume over 500 megabytes a month. With the imminent arrival of tablet computers like the iPad, which come with wireless modems, the appetite for downloadable data could hit a gigabyte a month (see the lead story in this week’s Business section).


And this is just the beginning. On the internet, the average latency for corporate websites in America is currently around 350ms, according to the Network Weather Report operated by the University of California, Los Angeles. Google’s latency is 150ms, Facebook’s 285ms and YouTube’s 515ms. Such latencies will have to come down considerably if the next generation of internet applications, such as telepresence, high-definition video streaming and remote surgery, are to fulfil their promise.


The future is beckoning. Netflix has just announced an on-demand video-streaming service offering full high-definition picture quality (so-called 1080p, which has 1,080 lines in its picture) with 5.1-channel surround sound. Each stream being watched will require a megabyte a second of bandwidth and a latency of less than 60ms if it is to deliver crisp, pin-sharp video and pristine sound.


For the internet service providers, that means stepping up investment substantially. But adding a lot more routers to the internet would complicate matters hugely and do little to solve the latency problem. If anything, it would actually increase the number of potential bottlenecks.


A better solution might be to light up more of the “dark fibre” installed during the heady days of the dotcom boom, but left lying unused beneath the streets since the bubble burst nearly a decade ago. That is what a number of securities firms have been quietly doing. When shaving a millisecond off the time needed to execute automated trades can increase revenue by $100m, there is plenty of incentive to build private optical networks with latencies approaching zero.


Indeed, Google said this week that it was not going to hang around waiting for the telecoms industry to build the new optical web. The company is planning a low-latency fibre network that will be capable of delivering speeds of over 100 megabytes a second for communities of 50,000-500,000 people. With luck, other internet service providers everywhere will get the message.

_M#]