抽象化のパワー

「抽象化がもたらすインパクト」および「それがいかにしてより多くのことを可能にするか」ということは、コンピュータ（≒人類の思考）の歴史を通じて、1つの大きなテーマでした。コンピューティングにおける抽象化により、さまざまな問題が解決され、さまざまな分野において全く新しいことが可能になります。

あまり昔の話をしてもしようがないかもしれませんが、COBOLは最初のポータブルプログラミング言語であり、本質的にはハードウェアをロジックから抽象化したと言えます。その後インフラにおいては、仮想化によって演算処理/ストレージ/ネットワークが抽象化され、その結果、「コンテナ」という新しい抽象化が生まれました。そして新しい言語によって、ロジックの抽象化が改善されました。また、ブラウザはユーザーエクスペリエンスを抽象化しました。これらはほんの一例です。

どの抽象化においても、「問題を解決し、まったく新しいことを可能にする」という点は同じです。

しかし、データそのものについてはどうでしょうか。どのようにしてデータを抽象化し、使い易くできるのでしょうか。もっと役に立てることができるのでしょうか。問題を解決し、新しいことを可能にできるのでしょうか。

その答えは、多くの人が言うように、「メタデータを作ること」です。情報をそのまま使うのではなく、その情報に関するタグやラベルを作るのです。具体的な例として、金融サービス/複雑な製造過程/製薬/治安対策などの分野では、スマートな検索、クエリ、発見が重要な役割を果たしています。こういった分野において「メタデータに基づく強力なデータ抽象化」は、贅沢ではなく必須なのです。

「メタデータによるデータの抽象化」という概念は、新しいものではなく、特にコンプレックスデータの世界においてはだいぶ前からありました。

これまでのこういった取り組みのほとんどは、不十分だとみなされました。というのも、人々がメタデータを使ってやりたいこと、つまり、「手元にあるデータの重要な側面を素早く捉え、それを新たな方法で活用する」ことを実現できなかったからです。これらのプラットフォームは本質的に融通が効かず、有用な抽象化を実現できませんでした。

「メタデータをよりアジャイルかつ抽象的にする」ためのさまざまな試みを見ていくと、あることに気づきます。つまり「基となっているデータベースがそもそもその目的に向いていなかった」のです。柔軟性がないという問題の多くの部分は、「リッチでアジャイルなメタデータ」を「静的なリレーショナルテーブル」などで表現しようとしたことに起因しています。

大規模なIT部門が、複雑なメタデータ管理の問題を自分たちが使い慣れたツール（この用途に作られていないもの）で解決しようとした場合も、同様に非生産的な結果となってしまいます。

アジリティはどうか

過去における抽象化へのさまざまな取り組みを見てみると、それぞれすべてが新しい形でアジリティを提供し、人々に支持されてきました。

メタデータの抽象化において、「なぜアジリティが重要なのか」という疑問はもっともです。簡単に答えると、このニーズの実現において組織全体の学習が求められるからということになります。何か重要なことについて学習したいと思ったらならば、それにすぐに取り組むべきですし、途中でやめるべきではありません。またどんなに計画を立てたとしても、学習の結果が直線的に累積していくこともありません。

柔軟性に欠けると、結局のところ期待した成果が得られなかったり、またIT部門主導のプロジェクトが意図は良かったにも関わらずあまりうまくいかなかったりします。以上の説明で、この問題が若干わかりやすくなったのではないでしょうか。

「メタデータを活用してデータのアジリティを高める」ことに真剣に取り組んでいる興味深い業界や魅力的なユースケースに話を戻すと、共通しているのは「自分たちにとって大切なことの理解を深めたい」ということです。問題の答えは、そのままでは簡単に使えないデータの中に埋もれています。このデータは複雑であり、まず最初に抽象化する必要があります。

通常のデータベース/データウェアハウス/データマート/データレイクなどでは、この問題を解決できません。というのも、そもそもこれらはコンプレックス（複雑な）データをメタデータで抽象化する目的で設計されていないからです。

具体的に「何が重要か」「それをどう説明するのか」は、各組織ごとに違っています。しかし、あらゆる企業において重要性自体が極めて高いことは共通しており、経営陣もその取り組みに関与しています。

業界アナリストの間では「メタデータによる抽象化の必要性」についての意見がちらほらと見受けられる程度です。つまり彼らは「これらの抽象化が興味深い問題を解決する」（つまり複雑だけれども自分たちにとって重要なデータについて学習したい組織にとって役に立つ）ということを理解していないのです。

そのため、この問題を解決するための明確なフレームワークは存在せず、有用な指針もありません。いずれにせよ、そう遠くないうちにこれに対処するための手法が生みだされることでしょう。繰り返しになりますが、データの抽象化は強力なコンセプトなのです。

現状および今後の展開

「パワフルな抽象化」は、長い歴史の中で本当に良いものになりました。今や私たちは、データを抽象化する方法、つまりメタデータを知っています。しかしそもそもメタデータの抽象化用に作られていない仕組みを使用すると、予想外に複雑になり、アジリティが急速に失われます。

これは重要なことです。なぜなら、問題解決に向けた組織内での学習においては、本質的にアジリティが必要だからです。アジリティがないと、ミッションを成功させられません。

ここで一言付け加えたいのは、「MarkLogicはメタデータセントリックなデータ管理抽象化システム」つまり「データベース」であるということです。これはそもそも複雑なデータにおけるアジャイル性実現を目的として作られています。この独自性により、お客様に支持されているのです。

MarkLogic創業当時の複数のアイデアの中には、これも含まれていました。創業者たちはこのアイディアを採用し、関連する他の内容も取り込みました（検索セントリック/スキーマオンリードなど）。そしてその後、「メタデータセントリックなデータ管理プラットフォーム」があちこちで必要とされていることがわかってきたのです。

こういった強力なアイデアをめぐる議論は、結局のところ「タイミングの問題」に集約されます。適切なアイデアを適切なタイミングで提供できること、そしてできればそこに解決すべき重要課題があることが重要なのです。この点において、コンプレックスデータに関する火急の問題が大量に存在していることは間違いないでしょう。

そしてここで問題となるのは、新しい抽象化手法の場合と同様に、人々が自分たちの考え方を変えることなのです。