未来はすでに到来している。ただ満遍なくいきわたっていないだけだ。

ウィリアム・ギブソンのファンであれば、この言葉を知っているでしょう。この小説家は数十年前、その当時のトレンドを観察しそれに基づいて想像することで、現代社会のさまざまな側面を恐ろしいほどに予見しました（また、そのなかで素晴らしい作品を生み出しました）。

情報に精通した現代の組織にも同様の予見力があるでしょう。その中でも、データに関して先見性のある人（＝ビジョナリー）は、興味深い方法で来るべきものを予測しています。

ものごとを関連付ける

個々の独立したデータソース自体も興味深いもので役に立ちますが、うまく結び付けられて容易に消費・活用できるようになると、その価値は飛躍的に高まります。この観点からすると「データプラットフォーム」の存在根拠はいたって単純です。つまり、これは一か所で、さまざまな形式のデータを取り込み、関連付け、簡単に消費・活用できるようにする場所なのです。

こういったプラットフォームの構築・導入経験がある人に話を聞くと、必ず「アジリティ/アジャイル」という言葉が出てきます。アジリティがある人は、これを高く評価しますし、アジリティがない人はこれを強く渇望しています。

製造業の多くがコアビジネスを支えるアジャイルなサプライチェーンを重視するように、インフォメーションセントリックな企業もデータサプライチェーンのアジリティについてほぼ同じように考えはじめています。

ここでいう「データアジリティ」とは多次元的なものであり、データサプライチェーンのあらゆる場所において、必要に応じてあらゆる要素を迅速に変更できる能力のことです。つまりこのコンテキストにおいては、これは「新しいデータソースを簡単に利用でき、新しい関係性を作成し、意味を変え、新しい方法で提供でき、そのような変更をすぐに全体に伝え、これに基づいてすぐに行動を起こせるようなもの」だということになります。

これこそが「データアジリティ」なのです。

この観点からすると、統合データプラットフォームには長い歴史があります。初期のデータウェアハウスから最近のデータレイクまで、常に投資がなされてきています。しかし残念ながら、そのほとんどが本来の目的を達成できていないことに多くの人が同意するでしょう。

しかし、興味深い例外もあります。ビジョナリーたちは、3つの重要な点において問題を解決したように思えます。

成功のためのビジョナリーパターン？

さまざまな経験を積んだ上級者は、うまくいったこと/いかなかったことについて実践的な経験があるため、問題の捉え方が他の人とは違う傾向があります。彼ら（そして私）は、このように苦労して得た貴重な教訓を常に念頭に置いています。

ここでは、そもそもデータはリッチなコンテキストのなかでしか（つまりそれ以外の既知のことすべてと関連付けられなければ）価値を発揮できないと考えられます。「顧客が製品を購入した」という事実は、顧客や製品に関する既知の確実な真実に照らし合わせることで、最大限活用できるようになるのです。

ナレッジワーカーにとっては、これは強力な機能となりえます。例えば、任意のエンティティ（名前や分子構造といった興味の対象）をクリックすると、詳細を表示できます。これにより、広範かつ深い関係性を簡単に探索できるので、このデータが組織全体のワークフローのどこに位置付けられるのか、他にどこで使われているのかなどを確認できます。このように情報自体および情報の意味や関係性を簡単に確認できるので、組織内の知識を大きく増幅できます。

生データを大量に入手し軽くフィルタリングして大量に提供するという通常の方法では、強力な関係付けを行い共通理解を深めるという面倒な仕事を、不幸にもエンドユーザー側に押し付けることになってしまいます。これはかなり非効率的なだけでなく、全員が共有できアクションに繋げられるような「真実」に近づくことが非常に困難です。

このように、コンテキストが重要なのです。では、どうしたらデータ用の共通コンテキストを構築できるのでしょうか。ビジョナリーたちは、3つの重要な要素を指摘しています。

アクティブなデータ、アクティブなメタデータ、アクティブな意味

「メタデータ管理」というものが存在するのは、異なるエンティティとそのデータ要素の定義、関連付けの方法および関係性自体を詳細に設定することにより、再利用可能な共通コンテキスト（つまり組織的なナレッジ）を提供したいというニーズがあるからです。

しかし通常は、メタデータのラベルおよびその関係性はソースデータから切り離され、それ自体で1つの世界を構成しています。これは便利ですが、限界があります。ビジョナリーのなかには、メタデータ管理をデータ管理と別に考えるべきではないと主張する人もいます。

現実世界ではパッケージとそのラベル（例えば荷物と伝票など）を別々に扱うことはありませんが、なぜデジタルの世界ではこうなっているのでしょうか。適切なラベルがないと、パッケージ（やデータ）を活用することは困難です。

パッケージのラベル（あるいはラベルの解釈）が配達中に変われば、その配達先も変わってきます。同じことをデータについても考えてみましょう。例えば、データの使用方法も途中で変更されることが考えられます（新しい関係付けや観点、セキュリティ規則などにより）。これは必要であれば即座に変更されるでしょう。

アクティブなデータには、アクティブなメタデータも必要です。

こういったことを考慮すると、選択すべきプラットフォームも変わってきます。具体的にいうと、データとメタデータが一緒に保管できるものが求められます。つまり、ソースデータ、そのラベル、設定済みのメタデータの関係性（ビュー、ナレッジグラフなど）を、別々にではなく1つの統合されたデータ層で扱うということです。これにより、データにはその意味が付与され、役割が説明され、他のすべてのデータとの相対的な位置付けがマッピングされマーク付けされるようになります。つまりパッケージとラベルが一緒に保管されるのです。

そして、理想的にはこれらをアクティブかつ並列処理できるプラットフォームで扱うべきです。ここで新しい形式のデータを取り込むと同時にメタデータをアクティブに作成して関係付け、下流の複数のユーザーが複雑なクエリを実行したり、アプリケーションや分析などで利用できるようにします。すべてを1つの全組織的なナレッジベースに接続し、今取り組んでいるタスクで必要な形で利用できるようにするのです。

アクティブなデータには、アクティブなメタデータが必要です。しかし、あるコンテキストにおいて情報をどう解釈するのか、つまり意味を決定するのかは、ダイナミックに変化することもありえます。ここにおいて、アクティブな意味が必要になります。

意味はいつでも大切

こういったことをすでに実践している人に話を戻すと、意図や意味は誰にとっても常に大切だけれども、そういった「意味自体」も変化しうると、彼らは認識しています。実際、人間の知能の重要な側面として、「今目の前にあるもの（報告書や何らかの危険といった複雑なものを含む）の意味を理解する」という能力があります。また、これまでの知識を新しい視点から評価したいというニーズもあるでしょう。では、これにはどのようなプラットフォームが必要なのでしょうか。

ここで「意味の科学」である『セマンティック』が登場します。また、意味や意図を見極めるという重要な作業に関してヒトを拡張する新しいAIも登場します。

意味の理解というニーズは、データサプライチェーンの文字通りあらゆるところに存在します。入力データの最初の解釈、データ間の新たな関係性の作成、そして最終的にはエンドユーザーやアプリケーションによる結果の解釈の改善などにもニーズがあるのです。

しかし、何事でもそうであるように、一般に共有・再利用可能な「理解」がある一方で、ある業務部門でしか通用しない特定分野に特化した「理解」も存在します（大企業内の税制、製造業の物流、人事部門の最適化、創薬、不正調査といった分野において）。

新しいコンテキスト（新しいルール/インサイト/問題など）が発生すれば、組織内の多くのユーザーたちも自らのコンテキストを変更しなければなりません（それもできる限り迅速に）。これこそがデータアジリティの重要な側面です。

欲望のネットワーク効果

利用者が増えるほど学習がすすみ価値が上がっていく製品やサービスがあることはよく知られています（ソーシャルメディアがその代表です）。例えば、Facebookをあまり利用しないユーザーであっても、知り合いのネットワーク自体や彼らの興味関心などを自分も共有することで、より豊かな体験を得ることができます。

組織内のナレッジに関しても、同じようなネットワーク効果が期待できます。つまり、人々の関与が多ければ多いほど良いものになっていくのです。ここで生み出される価値は、ソーシャルメディアプラットフォームと同様に、指数関数的に驚くほど増加します。一つのことが必然的に次へと展開し、この取り組みは新しい領域に入っていきます。

ビジョナリーであれば、こういった取り組みの導入具合はアジリティによって決まると言うでしょう。アジャイルではない反応・対応は、アジャイルなものほどユーザーの興味を引くことができません。アジリティ（つまりデータのアジリティ）が、他のすべての選択肢よりも大切なのです。

なぜアジリティが重要なのかは明らかでしょう。何らかの問題に対して、アジリティがあれば、想定よりもかなり短期間で素晴らしい答えが得られるのですから。人が増えれば問題も増えます。彼らに対して予想以上に早く、良い答えが返すことができるのです。誰だって難問を早く解決したいでしょう。

そのうちデータアジリティによって、より早く、より低コストで、より質の高い結果をもたらされることが評判になり、目的ごとにさまざまな補助ツールが導入されることになります。これに注目する人が増えますが、彼らはデータや問題だけでなく、組織のナレッジももたらします。

時間が経つにつれ、この新しい「システム・オブ・レコード」上に新しいアプリケーションが複数構築されていきます。これらのアプリケーションは従来のものとは大きく異なり、目の前のタスクに取り組む際に全社的/全組織的なコンテキストをすべて活用できます。

これが実現されれば、想像もしなかった桁違いの価値がもたらされる好循環がもたらされます。また、そのような価値は頻繁に実現されるのです。

ここにはパターンがある

私たちが思うに、彼らの成功は、知識資本に投資したことと、それを実際に活用することで「組織のインテリジェンス」を構築したところにあります。「心」と「体」が切り離されていないので、結果的に素晴らしいことができています。

1つのことが次のことに繋がっていったという話をよく聞きます。新しい価値が、古い価値の上にすぐに築かれるのです。人々は、たくさんの大切なことについてどんどん（かつすぐに）賢くなっていきます。また彼らは、こういった取り組みは今後もずっと続くと考えています。つまり、データアジリティによって、組織的な学習が継続するのです。

また今日では、「アジリティ」によって、組織が「どれだけの量」学習できるかだけでなく、「どれだけ早く」学習できるかにも、直接的なインパクトがあるということがはっきりと理解されるようになっています。ここで得られるのは、決して忘れさられることのない永続的かつ再利用可能なナレッジであり、来るべき問題の解決のための準備にもなっています。

そしてアンチパターンもある

この件に関しては、明らかに悪い注意すべき選択もたくさんあります。これらはいずれも、「別個の機能を統合した結果、扱いにくくなってアジリティがなくなってしまう」という同じ罠に陥っています。アジリティがなければ目の前の問題は解決されないので、こういった取り組みはそもそも本格的に始める前にうまくいかなくなってしまいます。これが何度か繰り返され、結果としてこの問題がさまざまな形で現れてきますが、結局のところ満足のいく結果は得られません。

例えば、データの品質が重要であることは広く認識されていますが、それを実現するためのベストなやり方は何でしょうか。一貫性があり、アクティブでアクションに繋がり、共有可能なメタデータの提供なのでしょうか。あるいは扱いにくい、アドホックなツールやルールの集合体なのでしょうか。後者は間違いなくアジャイルではありません。

また「データの質の向上に関するベストなやり方は何か」という議論もあります。これに対する答えは、「あらゆる場所で継続的、ダイナミック、かつアクションに繋がるプロセス」となります。これは、データの取り込み時、分類・評価時だけでなく、データの利用時においてもそうです。

製造業と同様に、データ品質は最初から最後まで、あらゆる場所かつさまざまな方法で必要とされています。そして、ここでもアジリティが重要なのです。

他にも、無駄に複雑なためにアジリティが阻害される例として「複数のデータベースやツールを統合しようとする」「別個にメタデータレイヤーを作成しようとする」「複雑なデータを分析プラットフォームに押し込もうとする」「AWS上などでさまざまなものを継ぎはぎして使う」などがあります。

これらはすべて素晴らしいものであり、その方向性は間違っていませんが、「アジャイル」ではありません。また従来のITプロジェクトのやり方も、ここでは役に立たないことも述べておきます。なぜでしょうか。これらもアジャイルではないからです。

ビジョナリーたちは、これらのうちのいくつかを（また他のものも）試してみた結果、この問題の本質の理解が深まったと言うでしょう。最終的には、組織全体としての考え方を乗り越えて次のステップに進むしかありませんでした。問題をばらばらに分けたうえでコア機能を統合しようとする試みは、「アンチパターン」（典型的な悪い例）なのです。

ガートナーが普及させた「データファブリック」の概念は、ここにおいて、本来的にはアンチパターンではありません。しかし他の概要的なアーキテクチャと同様に、どこに境界があり、どのような統合ポイントが必要なのかを考えておく必要があります。いずれにせよ統合が必要な場合、その対象は少ない方がよいでしょう。

アクティブなメタデータ再考

アナリストたちの間で、「アクティブなメタデータ」という概念が有望視されてきています。「アクティブなメタデータ」とは、必要に応じてリアルタイムにデータの処理方法を変えられる、データを記述するラベル（およびその意味）のことです。これは非常に理にかなっていますが、ではどのようにこれを実現したら良いのでしょうか。

メタデータとデータを分けるという一般的な認識（ソースデータとは別のものと考えること）では、データのアジリティが常に制約されます。おおまかにいうと、この2つの機能を別々に考えた場合、学習や行動が非常に難しくなります。

「心」と「体」が一緒の方が、より良い結果が得られるのです。端的に言って、アクティブなメタデータは「データのアジリティ」を実現するものであるべきです。

ビジョナリーはどこにでもいる？

MarkLogicにとってベストな顧客というのは、多くの場合「大規模なエンタープライズITの現場で、解決すべき非常に大きな問題を抱えている人」になります。彼らは現状に甘んじることなく、自分が正しいと思う方向に人々を導いていこうとします。実は彼らが最初にMarkLogicを選ぶことはほぼありません。他のもので何回か失敗した後、かなりの反対を押し切ってMarkLogicを採用することが一般的です。

彼らのストーリーには説得力があります。大きな問題を抱え、何度も失敗した後、新しいアプローチを試したところ、他よりも早く結果が出て、機運が盛り上がり、外部関係者の要件も満たされ、問題が解決し、物事を進め始めた結果、本当に素晴らしい結果が得られるようになり、今もそれが続いている、というストーリーなのです。

• 単にコンテンツ整理が目的だった技術ドキュメントプロジェクトが、今や有料会員向け検索ポータルとなっている
• 航空機の製造・試験飛行に関する「single truth（唯一の真実）」を実現した航空機製造企業
• 単一のプラットフォームで60以上のレガシーシステムを統合しモダナイズした米国の大手政府機関
• あらゆるソースからデータを受け取り、解釈し、あらゆる目的のために役立てるデータハブを作成した保険会社
• 関連するすべての顧客情報を一元管理し、複数業務で活用している超大手銀行
• ダイナミックかつ一元化されたビュー（単に情報を貯めているだけでなく）で価値を高めている、大手製薬会社のR&D部門
• サプライチェーンの課題に対応できる新たなアジリティを実現した物流企業
• より効果的に不正に対抗しているエネルギー取引企業
• 情報の断片をよりうまく組み合わせてアクションに繋がるインテリジェンスを提供できるようになった米国情報機関

ここには、新しいパターンが登場してきています。つまり「メタデータセントリックかつセマンティックに基づくプラットフォームを使うことで、重要なコンプレックスデータ問題を解決している」というパターンです。ここにおいて「未来はすでに到来している。ただ満遍なくいきわたっていないだけだ」と言うことができるでしょう。

ビジョナリーからメインストリームへ

私は、ビジョナリーな（先見の明がある）新しい技術が主流になっていく様子や、それ以外の技術がいわゆるキャズム（ギャップ）を越えられない様子を見るのが好きです。私が気づいた共通点はシンプルです。つまり、「成功しているものは、他の方法では簡単に解決できない、重大かつ重要な問題を解決している」のです。新しいものは面白いかもしれませんが、必ずしも役に立つとは限らないのです。

「コンプレックスデータ・ミーツ・アクティブメタデータ」というプラットフォームは解決しなければならない問題も数多く抱えており、この問題は日々増え続けているように見受けられます。良かったら、こちらの顧客事例ページもご覧ください。

それぞれの事例には素晴らしいストーリーがあるのですが、その中からいくつかをご紹介しています。彼らが学んだことや使用しているパターンが示されていますが、これらは他の場所でも活用できるでしょう。

私たちのベストカスタマーにおいて、ビジョナリーは「ニューノーマル」となっているのです。