100ギガビットネットワークを高効率利用する
TCP通信技術を確立
－日米間100ギガビットネットワークを用い
73ギガビット/秒のTCP通信を実現－

平成27年12月11日
国立大学法人　東京大学
国立研究開発法人　科学技術振興機構

1. 発表者：

平木　敬　（東京大学大学院情報理工学系研究科　教授）

2. 発表のポイント：

• 従来のTCP（注1）の理論限界を大きく超し、世界初のTCPデータ転送速度を実現する新しいTCP通信技術（LFTCP、注2）を確立しました。
• 本技術により科学技術機器から連続的に生成される超多量測定データの超高速通信が可能になります。
• 本研究成果は、科学技術研究分野だけでなく、ビッグデータ処理や超高速Webアクセスなど広く情報社会全体の高速化に貢献します。

3. 発表概要：

東京大学大学院情報理工学系研究科の平木敬教授らの研究グループ、WIDEプロジェクト（注3）、NTTコミュニケーションズ（株）（注4）と国内外のネットワーク機関による国際共同チームは、超高速科学技術データ通信・利用研究の一環としてTCP通信を超高速化する研究を実施してきました。今回、100ギガビットネットワークを通信距離にかかわらず高効率利用するTCP通信技術（LFTCP）を確立し、同技術の有効性を2015年11月に利用可能となった日米間100ギガビットネットワーク（注5）を用い73ギガビット/秒のTCP通信を実現しました。現在広く用いられているTCP通信の限界（本実験ネットワークにおいては29ギガビット/秒）の2倍を超える通信速度を実現したことは世界初です。100ギガビットネットワークの活用、特に最先端の観測・測定機器から生み出される超多量のデータを利活用するための基本技術として使用する予定です。本成果は、内閣府革新的研究開発推進プログラム（ImPACT）「セレンディピティの計画的創出による新価値創造」（注6）（合田圭介プログラム・マネージャー）に基づく成果です。

4. 発表内容：

これまで、多量データの高速通信は、科学技術研究に不可欠な技術として、その重要性は広く認識され、10ギガビットネットワークを用いた通信は天文学、高エネルギー物理学や超高精細度画像通信に広く用いられてきました。本研究チームは10ギガビットネットワークを高効率で利用するためのTCP通信技術を確立し、10ギガビットネットワークが広く用いられる技術的基礎を築きました。しかしながら、新たに登場した100ギガビットネットワークでは、その超高性能のため現在使われているTCP通信技術を用いては性能をフルに活用できず、活用にはUDPプロトコルを用いる、多数のTCP通信を並列に使うなど、通信方式の変更が必要でした。

今回、TCPソフトウェアを改良し、100ギガビットネットワークを遅延時間の大小に関わらず高速なTCP通信で活用するLFTCP（Long Fat pipe TCP）ソフトウェアを開発しました。LFTCPは従来のTCP通信速度限界をプロトコルおよびTCPソフトウェアを拡張することにより、TCPプロトコルとしての性質を変えずに100ギガビットネットワークに対応できます。LFTCPを、精密ソフトウェアペーシング方式と組み合わせることにより、単一のTCP通信で従来のTCP通信の限界を大きく超えることが可能になりました。LFTCPはTCPプロトコルであるため、複数のTCPストリーム（注7）でネットワークを共用する場合にも、公平な帯域（注8）の分割利用が可能であるとともに、パケットロスがあるネットワークにおいても信頼性を持ってデータを転送することが可能です。なお、このLFTCPはオープンソース・ソフトウェアとして公開し、他の研究機関等で利用することが可能です。

今回行った実証実験は、2015年11月に利用が開始された、日米間で最初の100ギガビットネットワークであるTransPAC/Pacific Waveネットワーク（注9）を用い、米国テキサス州オースチン市で開催されたSC15（スーパーコンピューティング2015）国際会議の展示場に設置された東京大学のPC2台の間のデータ通信により実施されました。

ネットワークの経路は、（1）SC15のネットワークであるSCinet、（2）米国内はCenturyLink、（3）太平洋横断はTransPAC/Pacific Wave,（4）日本ではWIDEプロジェクト/Pacific Waveのルータにより折り返し、逆経路でSC15展示場に設置され、もう一台のPCでデータ受信しました。この経路は全て100ギガビットネットワークです。実験で用いたネットワークの往復遅延時間は296ミリ秒で、米国テキサス州オースチン市と東京の往復距離は21,153kmです。(図1、図2）なお、本実証実験は、この TransPAC/Pacific Wave回線での最初の成果でもあります。

データ送信・受信に用いたPCは、安価なデスクトップPCで、プロセッサにはインテルのCorei7 6770K（Skylake世代）、ネットワークインタフェースにはメラノックス社のConnectX®-4ネットワークアダプタを用い、PCのOSにはCentOS Linux 7.1 (1503)を用い、データ通信ソフトウェアとしてiperf3を使用しました。実験は2015年11月16日から17日にかけて実施しました。（図3）

実験の結果、通常のTCPを用いると29ギガビット/秒のデータ通信速度（理論値の97.7％）しか得られなかったことに対し、LFTCPを用いると73ギガビット/秒の通信速度を達成しました。これは、単一のTCP通信によるインターネット上の通信速度として従来の記録を破る世界最高値です。（図4）

本成果は、「内閣府革新的研究開発推進プログラム（ImPACT）セレンディピティの計画的創出による新価値創造」の東京大学研究チームの研究実施によるものです。本プロジェクトでは、高速流体中の細胞を一つずつ超高速に計測し、その結果に対しビッグデータ処理を行うことで、非常に希少な細胞を弁別する情報処理システムの研究開発を行っています。このビッグデータ処理を実現するためには、非常に多数の細胞の超高速計測が必須であり、50ギガビット/秒を超える超多量データが連続的に生成されます。このデータの転送を実現するためには、LFTCP技術は不可欠であり、本ビッグデータ処理を実現するための基礎技術として重要な役割を果たします。

この成果に関して特筆すべきことは、以下の通りであり、日本の高速インターネット技術が世界の最高レベルであることを、具体的な形として示しています。

1. これまでのTCPの理論限界の2倍を超えるデータ転送速度を実現し、100ギガビットネットワークおよび更に高速な将来の超高速インターネット利用に道を開きました。
2. 使用したシステムは通常のPCであり、そのオペレーティングシステムに、Linuxオペレーティングシステム、両端に設置したサーバのネットワークインタフェースカードにはメラノックス社製ConnectX®-4を用いました。これらのシステムは特殊なものではなく、一般的に入手可能なものです。また、LFTCPは送信側PCに用い、受信側PCでは従来のTCPで受信します。従って、今回実現した技術は広く、容易に利用可能です（図5）。



3. 本技術により、科学技術データのビッグデータ処理に必要な連続的に生成される超多量測定データの通信に道が拓かれました。東京大学の研究チームが取り組んでいる、IPネットワークで統一するビッグデータ処理システムの基盤技術となります。

本発表の研究チームメンバーは、（東京大学情報理工学系研究科）平木 敬、稲葉真理、浅井大史、小泉賢一、（東京大学理学系研究科）玉造潤史、本城剛毅、下見淳一郎、（WIDEプロジェクト）村井 純、加藤 朗、山本成一、関谷勇司、（NTTコミュニケーションズ）長谷部克幸、（Pacific Northwest Gigapop） Jonah Keough、Schlyler Bateyで構成されています。

なお、本報道発表は下記URLからもアクセスできます。
http://data-reservoir.adm.s.u-tokyo.ac.jp/press20151117/

5. 用語解説：

注1　TCP（Transmission Control Protocol）

ネットワーク上では、エラーの発生、複数の通信の衝突による利用可能バンド幅の減少と不安定性が問題です。これを解決するため、TCP通信では、受信側が送信側に正常に受理した確認（アクノレッジ）を返すことにより、送信側は正常に通信が行われたことを確認するとともに、次に送る流量を決定します。正常なアクノレッジが返らなかった場合には、データの再送により、信頼ある通信を実現します。ウェブページのアクセス、メール通信、ファイルアクセス、データベースシステムなど私たちが日常的に使う通信の大部分はTCPを用いています。

注2　LFTCP（Long Fat pipe TCP）

東京大学が研究開発した100ギガビット/秒以上のネットワークのための超高速TCP。従来のTCPは内部変数として32ビット値を用いるというプロトコルの規定、パケット形式の規定と実装上の制限から性能の上限があり、100ギガビットネットワークを埋めるだけデータ送信ができず高効率利用が不可能でした（図6は、送信バッファ領域と転送中領域や受信バッファ領域のそれぞれを確保する必要があるため、一度に送ることのできるデータ量が1ギガバイトに制限される状況をしめしています）。東京大学の研究チームは、TCPの基本性質、輻輳制御アルゴリズムを変えることなくこれらの制限を超え、100ギガビット/秒以上のネットワークを高効率に利用可能なTCPソフトウェアを開発しました。LFTCPでは、送信側バッファに関連する変数を64ビット値に拡張すること、パケットフォーマットに工夫をすることで、ユーザが十分に大きなバッファサイズを指定することを可能とし、またパケット送出のタイミングを制御する関数を変更することで、従来のTCPを大バンド幅ネットワークに適合する実装に変更しました。

それ以外のアルゴリズム、特に輻輳制御アルゴリズムは従来のTCP CUBICと同じものを使用しているため、TCP通信の重要な性質である公平性は保証されています。この点が、UDTなどのUDPを用いた、信頼性がありTCP親和性を目指しているプロトコルと大きく異なります。また、TCPそのものを用いているため、最近のネットワークアダプタに備わっているTCP加速機構を有効に使用することが可能であり、通常のPCを用いても73ギガビット/秒の高バンド幅通信を実現できます。

注3　WIDE プロジェクト

インターネットに関連する各種技術の実践的な研究開発を行う研究プロジェクトであり、1988 年から活動を行っています。多くの産学関連組織と連携して、インターネットの様々な発展に寄与してきました。Root DNS サーバの一台である M.ROOT-SERVERS.NET の運用を 1997 年から行っており、また 今回の実証実験で用いた100 ギガビットネットワークの日本側ホストとして、Tokyo Research Exchangeの構築を進めており、内外の研究ネットワークの相互接続を促進する予定です。WIDE プロジェクト ファウンダーは慶應義塾大学環境情報学部教授 村井純。詳細は http://www.wide.ad.jp/ を参照ください。連絡先は、press@wide.ad.jp、Tel: 0466-49-1100, Fax: 0466-49-1101。

注4　NTTコミュニケーションズ株式会社

NTT Comは、「Global Cloud Vision」に基づき、お客さまのICT環境のクラウド化・データセンターへの移行を契機に、ネットワーク・音声などのアプリケーション・セキュリティまで含めたグローバル共通品質のサービスを最適に組み合わせ一括運用する、通信事業者ならではの「シームレスICTソリューション」を通じ、お客さまの経営改革に貢献してまいります。詳細は、 http://www.ntt.com/ を参照ください。

注5　100ギガビットネットワーク

1秒間に100ギガビット、すなわち125億バイトのデータを送る能力のあるネットワーク。従来高速ネットワークとして用いられてきた10ギガビットネットワークより10倍高速なデータ転送能力を持ちます。具体的には、2枚のDVDを1秒弱で転送する速度です。

日本では、2014年10月からJGN-Xネットワークの一部として東京・大阪・小松間で運用が開始されました。海外との接続では、2015年11月からTransPAC/Pacific Waveネットワークの一部として東京・米国シアトル市間で運用が開始されました。

注6　内閣府革新的研究開発推進プログラム（ImPACT）「セレンディピティの計画的創出による新価値創造」

内閣府革新的研究開発推進プログラム（ImPACT）「セレンディピティの計画的創出による新価値創造」（合田圭介プログラム・マネージャー）ではライフサイエンスにおける「砂浜から一粒の砂金」を高速・正確に発見・解析し、セレンディピティ（偶然で幸運な発見）を計画的に創出する革新的基盤技術を開発します。従来、計測の正確性と速度にはトレードオフの関係があるため、発見確率の低い事象を探索しようとすると試行錯誤的な処理に陥ってしまい、セレンディピティに至るまで長時間を必要としていました。このトレードオフを打破し、有限時間内に希少な事象を計測可能にすることにより、膨大な数（１兆個以上）の細胞集団から、稀少だが大きなインパクトを持つ細胞を迅速・正確・低コスト・低侵襲に発見し網羅的に解析する、夢のセレンディピター（計画的にセレンディピティを行う細胞検索エンジン）の実現を目指します。詳細は http://www.jst.go.jp/impact/serendipity/　を参照ください。

注7　単一ストリームTCPと複数ストリームTCP

上記のように、TCP通信では、受信側からの正常に通信が行われたことを通知するアクノレッジを待ちながらデータ通信を行います。従って、遅延時間の長いネットワークでは、ともすると低いバンド幅でしかデータ通信が行えず、一個だけのTCPコネクションだけで高いバンド幅を実現することは困難と考えられてきました。複数ストリームTCPは、この問題を回避する目的で、一対のサーバ間で多数のTCPコネクションをはる通信方式です。

しかしながら、複数本のTCPストリームで同一目的の通信を実現すると、他のTCPストリームから見ると複数本倍ネットワークバンド幅に対する占有率が増えるため、大きくTCP公平性を損ないます。今回の成果のLFTCPでは、超高バンド幅通信におけるTCPの根本問題を解決し、単一ストリームで困難なく高い性能を得ることができたため、複数ストリームを用い、公平性を犠牲にして性能を上げる必要性はなくなりました。

注8　TCP公平性

TCP公平性は、データを確実に転送する高信頼性、同一ネットワークに多数のTCP通信が殺到した場合の輻輳回避とならびTCP通信の基本的特徴です。すなわち、往復通信遅延時間（RTT）が同じ複数のTCP通信が同一ネットワークのバンド幅を取り合う場合、等しいデータ通信バンド幅が割り当てられる性質のことです。ある通信方式がTCP公平性を持つとは、同一ネットワークにおいてバンド幅を取り合う場合に、他のTCP通信と公平にバンド幅が割り当てられることです。

ただし、TCPプロトコルで今までに用いられてきたものは多種あり、各々公平性に関する振る舞いが異なっています。例えば、古典的なTCP newRenoはTCP Vegasより強い一方で、TCP CUBICより弱いことが一般的に知られています。また、RTTが異なるTCP通信間での公平性をどのように定義するかについては、決定的な定義は未だ確立していません。

注9　Pacific Wave

米国シアトル市 にあるワシントン大学が運営する学術相互接続地点を含むPacific Northwest Gigapop と California 州の学術ネットワークであるCENIC の共同運営のプロジェクトで、太平洋地域の各国の学術ネットワークとの高速な相互接続を実現しています。詳しくは http://pacificwave.net/ を参照ください。