我々は知っていることをどのように知るのか

4月 04, 2022 データと AI, MarkLogic

私たちは皆自分が「知っていること」と「知らないこと」があると思っています。しかし、これら2つはどのように区別できるのでしょうか。

ある理論によると、私たちは「何らかのパターンを見出し、その後フィードバックによってこれを強化」します。知識の「パターン」が物事を説明するのに有効であればあるほど、私たちはそれを「知りたい」「適用したい」と思うようになります。こうすることで予測や説明のパターンは強化され、あまり役に立たないパターンは見直されてもっと良いものが求められるようになります。

これはなかなか良い仕組みに見えますが、完璧ではありません。実際、人間にはさまざまなバイアス(偏見)があるため、これは現実においては想像以上に難しいことがこれまで何度も言われています。例えば、15~20年前、データサイエンティストはHPPO(Highest Paid Person’s Opinion:一番偉い人の意見)よりも事実や解釈について優れた見解を持っているかもしれないということが理解されはじめました。つまり「事実と解釈が重要」なことが判明したのです。

組織的知識の共有

組織的知識(ナレッジ)も同じような課題を多く抱えています。私たちの組織は物事を「知っている」のですが、それでは「知っていること」と「そうでないこと」を、具体的にどう区別しているのでしょうか。例えば新しい情報を提示された際に、不完全な人間の判断にできるだけ依存しないようにしながら、説明モデルをどのように変更できるのでしょうか。

組織的知識の共有/改善/再利用には、「セマンティックナレッジグラフ」(SKG)が最適であることは広く知られています。このデータ構造は、知識を集合的に表す事実、関係、意味、解釈をコード化したものです。

共有される組織的知識(およびその知識を生み出すために使われるデータ)という共通基盤上に構築されている組織には、強い競争力があり、新しい知見の学習や適用に必要な時間が短縮されるだけでなく、過去の経験をより効果的に活用できるようになります。

こういった組織が成功する傾向が高いのは、頭が良い人々が成功するのと同じ理由からです。つまり「知的なアジャイル性」があるからです。

SKGは確かに普及しつつありますが、提案されているアプローチの多くは、リアルなデータから基本的に切り離されています。抽象的にコード化された知識の塊がこのようにして生まれ、成長し、使われなくなるのには、大きな原因があります。つまり、コード化された知識の作成に使用された「観察データや既知のファクト(事実)」に十分な根拠がないのです。

これは研究結果そのものを自分で確認するのではなく、第三者に感想を聞くようなものです。そもそも、我々は知っていることをどのようにして知るのでしょうか。

自分自身の最新の研究結果であれば、さまざまなウェブサイトにアクセスし、そのコンテキストや意味を理解できます。また、その研究結果の評価おいて、コンテキスト(つまり私自身の状況)をよく理解しています。

この場合、他人からの一般的な研究評価には同意できる場合もできない場合もあります。しかしいずれにせよ、そういった他人の評価や研究結果も役に立つでしょう。もしかすると他人からのアドバイスに従う可能性すらあります。

このような一般的な研究結果の解釈についてはこの辺にしておきますが、例えば医療においては、どの検査が、なぜ重要で、何を意味するのかは、時間とともに大きく変わることは間違いありません。「新しい知識は古い知識から生み出される」のです。私のコミュニティにおいては、こういった研究結果に対して2つの異なるアプローチがあるようなので、こういったことは重要なのです。私は情報に基づいて意思決定をしたいのですから。

フィードバックループ

科学とはいわば、ある理論を提案し、それを検証し、結果を測定し、結論を出すという、「フィードバックループ」のようなものです。かつてシャンプーの宣伝文句に「泡立てて、すすいで、繰り返して」というのがありました。きちんとした科学においては、結果に至るまでの経緯を示すことができます。つまりデータおよび使用された推論が証拠となるのです。

このようにコード化された知識は、再利用性が高いので魅力的です。

実用的な側面はさておき、学び続ける組織が「そこまで厳密なものは必要ない」と考えているとしたら、なぜそんなふうに考えられるのか私には理解できません。有用なインサイトというものは、それを生み出すために使用されたデータとともにきちんと記録され、いつでも誰にでも説明可能でなければなりません。

「ブラックボックス」(謎の機能、記録されていない仮定、未踏査の地域など)は、はっきりと特定されなければなりません。

話を戻しますが、科学とは、広く合意されている既知のことに関して、共有され再利用可能なコンテキストを対象とします。ここで重要なのは、このような共有知識は変化・進化する可能性があるということです。しかし科学においては、出発点となるべきファクトと適用された推論による基礎がきちんと確立されているのです。

こういったものがなければ、どんな科学活動もほとんど実を結ばないことでしょう。

私はここで極めて明らかなこととして、根拠のある共有されたファクトおよび解釈の基盤がない限り、意味のある大規模な組織的学習はほとんど不可能だ、ということを述べておきます。「検証可能な主張」および「その基となる事実」自体に関しては、特に「学習」すべきことは何もありません。このため、単なる意見であれば「無罪が証明されるまでの推定有罪」といった扱いを受けることになります。

そのような知識は通常、十分にコード化されていませんし、その知識を生み出すために使われたデータやファクトとは論理的に分離されています。これらは、メインの作業とは別のどこか隠れた場所で扱われているのかもしれません。あるいは再利用可能になっていないのかもしれません。

いずれにせよ、あまり進歩に貢献するようなものではない、ということです。

人間的な観点から

私たちは物事を知っていることが好きで、知らないと不安になります。たとえば重要な会議において、大切な質問に対して誰も答えられなかったときの気分を思い出してみてください。

私たちは、物事を知っていると気分が良いので、自然とその状態を守ろうとする傾向があります。また自分たちのモデルにうまく当てはまらない新しいデータや、そういったデータを提示した人に本能的に取り組もうとします。しかし、共有可能な説明モデルを新しく生み出すには、共同で作業を行わない限りうまくいかないでしょう。

共通の目標が「組織的知識のコード化と再利用」へと進化した場合、興味深いことが起こります。もはや「正しいのは誰か/間違っているのは誰か」ということが問題ではなくなるのです。

ここでは「何を知っているのか、どうやって知ったのか、それをどこで使えるか」ということの方が論点となります。

こういった問いに答える場合、セマンティックナレッジグラフおよびその作成用のデータが必要になります。またここにおいて、過去に行った推論まで時間を遡れれば非常に便利です(ウィキペディアのようにそこに至った経緯を提示できるものです)。フィードバックループの話に戻りますが、これにより「その時に何かをわかっていたと考えた理由」を簡単に理解できます。

シックスシグマの講義を受けた人なら誰でもわかるように、「うまく当てはまらないもの」は有意義なフィードバックとなる可能性があります。外れ値は、苛立ちではなく好奇心をもたらすものであるべきです。

共有知識の拡大

私がいるエンタープライズITベンダー業界においては、大企業は小規模でアジャイルな会社に仕事を取られるんじゃないかと心配していますが、これは当然のことでしょう。小規模な会社と大規模な会社の両方で働いた私の経験からすると、小さな会社の方が、現場の事実を解釈し、共有知識を構築し、それに基づいて迅速に行動することにおいて明らかに優れています。

彼らは「自分たちが何を知っているのか」そして「それをどのように知ったのか」を理解しています。少人数のチームなので、これをフォーマルにやる必要はありません。しかし規模が小さいために、業界にはそれほど大きなインパクトを与えることができません。

大手ITベンダーであれば、規模が大きいために与えるインパクトも大きくなります。しかし彼らは、現場での事実の解釈、仮説の作成、それに基づく行動、結果の測定、それに基づく調整などがあまり得意ではありません。

彼らは「自分たちが何を知っているのか」「どのように知ったのか」についてそれほど確信が持てないのです。組織が大きくなればなるほど、この状況は悪化します。彼らは、荒野を切り開く道を示してくれる、強力で、先見性のある、カリスマ的なリーダーシップを求めています。そういう人がいない場合、悪い結果がもたらされる可能性もあるのです。

少なくとも私がずっと働いてきた業界では、 大規模な組織には大規模な知識が必要だということができます。

ではあなたの業界はいかがでしょうか?

チャック・ホリス

2021年に、ポートフォリオマネジメント担当SVPとして、オラクルからMarkLogicに入社しました。オラクル以前は、VMwareで仮想ストレージに取り組んでいました。VMware以前は、EMCで約20年間、さまざまな分野、製品、アライアンスのリーダーを担当していました。

チャックは妻と3匹の犬と一緒に、フロリダ州ベロビーチに住んでいます。彼はIT業界を形成するような大きなアイデアを議論することを好んでいます。