データ活用コンサルティング
データ活用の重要性
データ活用の起源は、遡ると1960年台に「集計して状況を把握・報告する」ビジネスインテリジェンス (BI)が先駆けになると考えられています。その後、売上、在庫、顧客、会計、取引といった数値的なデータ「構造化データ」の管理システムであるリレーショナルデータベースが誕生しました。更に部門横断でデータを統合する管理基盤としてデータウェアハウスの導入が普及し、構造化データ以外のファイル、文書、画像、動画といった「非構造データ」の管理も発展してきました。
構造化データは古くから例えば金融領域においては市場分析、保険領域ではリスク分析、医療領域ではゲノム解析等といった領域で活用がされ、分析には古典的な統計解析が中心として用いられてきました。これらの基礎は今日、日本の学習指導要領に含まれ、データ分析として高等教育の一部となっています。
2000年台に入り、GoogleやAmazonといったプラットフォーム企業が躍進し、データはこれまでのリスク・業務管理的を中心とした利用から、レコメンド、検索、広告などプロダクトやサービスそのものを駆動する資源として扱われ、「データは21世紀の油田」としてその重要性が広く認識され始めました。
非構造データの解析は従来の統計解析では困難でしたが、機械学習・ディープラーニングの発展によりその活用に注目がされ始めました。しかし、これには目的に応じた学習データの収集と巨大な計算リソースを投じたモデルの学習が必要になり、多くの企業にとってその活用は限定的でした。
今日、基盤モデルの誕生により、非構造データも多くのモデル学習を必要とせず扱えるようになってきました。また、チャット形式の対話が可能になったことにより、データ活用は一部の専門家から、一般への活用に広く普及したと言えるでしょう。企業において「データ活用」は、これらの強力なツールを活用することで、これまでにないより大きなポテンシャルの実現可能性を持ち、企業の競争力維持のための重要性を担っていると言えるでしょう。
データ活用の推進
社内のデータ活用の進み具合には段階があります。「データ活用の進み度合い」という一つの観点では企業毎に差異がありますが、そもそもソフトウェアを前提としたビジネス形態 (Google、Amazonなどのプラットフォーム型)か、そうではないビジネス形態 (不動産、建設、人材、物販などそもそもプラットフォームに依存していないもの)によってその違いがあるのは自然です。
新興企業・スタートアップの多くはプラットフォームを前提としたビジネスモデルを作り、大企業をはじめとする既存企業では既に蓄積したデータを有効活用するか、といった点にそれぞれ焦点があります。つまり、スタートアップが先に顧客・ユーザーを獲得しデータを新たに蓄積を行っていくか、もしくは大企業が既存のデータを有効活用することで、どちらが利便性の高いサービスを提供し、後者は競合・新興企業への顧客流出を防ぐか、といった競争という観点で考えることができます。
データ活用の状態による分類
データ活用は大きく「いかに新たにデータを蓄積していく」か、「いかに既存のデータを活用するか」によって、プロダクトやサービスを改善する方向性が分かれます。企業のデータ管理の現状を元に、既存データ活用型と新規データ収集型の二つに分けて考えることができます。
既存データ活用型
既存データ活用する場合は、下記のような状況に依存します。
1. 既に社内にデータベースがある状態
自社またはベンダーにより、データウェアハウスやデータベース等を管理している場合が該当します。 この場合は即座にデータサイエンティストがAIエンジニアがデータ活用を試みる基盤が整っている状態といえます。
2. 自社SaaS型データ活用
プラットフォーム提供企業は、自社またはベンダーによってサービスをシステム化しているため、そのデータは必然的にシステムのデータベースに格納されています。このデータベースを直接利用することは、既存システムに影響を与えかねず、データウェアハウスや分析用データベースを別途作ることが望ましい場合があります。この際にはデータの転送・収集・過去 (ETL)によるデータパイプライン設計が必要になり、データエンジニアリング・データマネジメントといった領域の専門家の手助けが必要になるでしょう。
データエンジニアにより分析用データベースやデータウェアハウスが完成した場合、1.既にデータベースがある状態に移行します。
3. 導入済み他社製SaaS型データ活用
今日、外部SaaS (ソフトウェアサービス)を活用している企業は少なくないでしょう。Google, Box, SalesForceなど、業務ソフトウェアを導入して業務を効率化している場合、データ蓄積はそのソフトウェア上で行われます。
外部SaaS上のデータは普段利用する上では問題なく閲覧できるものの、本格的にデータ分析・活用をしようとすると、そのシステムが裏に持つデータベースにアクセスが困難なケースが多く発生します。一部のサービスはAPIを介してデータ取得を可能にしていることもありますが、一般にそれは困難で、またデータ取得に対して重課金性の料金体系を持つSaaSも多くあります。
そのため、他社SaaSのデータ活用はコストやそもそものデータ利用可能性といった制約下で行右必要があります。昨今、生成AIにより高額な月次利用料の発生するシステムを刷新するケースが増えてきています。
APIやRPA (オートメーションツール)等でSaaSからのデータ取得が可能だった場合、分析用のデータベースを作成し、1.既にデータベースがある状態に移行することができます。
4. 外部・オープンデータ活用
官民データ活用推進基本法の方針の後押しもあり、地方自治体や公共団体がデータを公開し、かつそれを営利利用可能にしているケースが多くあります。ビッグデータラボでも、不動産取引に関する種々のオープンデータを活用し、物件の需要予測を行うシステムを公開しています。
オープンデータはデータ活用の上で整形が必要なものと、即利用しやすいものが多種存在していますが、基本的にはCSV・ExcelまたはAPIによりデータを公開しており、データベースに格納したり活用することは多くの場合容易です。
5. ファイルシステム的にデータが散らかっている状態
社内サーバーや各種従業員のPCにデータが整理されていなかったり、属人的な形式でExcelに保存されているケースでは、基本的にデータベースを準備するだけでなく、業務プロセス自体に新たにソフトウェアを介在させ、構造的にデータが蓄積される状態を実現する必要があります。
従来は用途に合うSaaSを導入するケースが一般的でしたが、今後は生成AIの社内利用の普及に伴い、そういったシステムを内製・外注により開発するケースも増えていくと予想されます。
新規データ収集型
5. ファイルシステム的にデータが散らかっている状態の際に業務効率化システムを導入したり、もしくは新規事業等で新たにシステムを開発する場合は、必然的にデータ管理の方法を検討する必要があるため1.既にデータベースがある状態に移行します。
当社では、このデータ収集を見据えたデータ駆動型の次世代システム・プラットフォームを開発しております。特に、データを元に利用者の嗜好を元に能動的にサービスやアクションをおすすめするレコメンドシステム、異常検知等の注意喚起を必要とするアラートシステム、及び双方向のレコメンドや仲介者によるマッチング補助を目的としたマッチングシステム等を含むシステムの開発と提供をしております。
目的による分類と事例
データベース等により収集されたデータにより、多種多様なデータ活用が実現可能です。既存の業務効率化による経費・コスト削減を目的とした守りのDXと、新規価値創造を目的とした攻めのDXとしてよく議論がされます。
実際のAIやデータ活用の事例は当社の事例DBによって整理・紹介しております。
業務効率化 (守りのDX)
守りのDXでは、既存の業務の内コストのかかるものをAIやデータにより工数削減を行います。既に発生している工数と費用が基準軸となるため、費用対効果の算定は通常容易で、導入に踏み切られやすい取り組みです。一方で、このような業務は会社ごとに多種多様であり、既存のSaaSで直接解決が困難な場合も多く、開発相談として多くいただくものでもあります。
このような既存の対象業務は深く属人化していることも多く、システム導入や開発の検討の際にその全貌を把握することが難しく、開発後や導入後に問題が発覚することもあり、非常に注意深い仕様の精緻化が重要になります。