コンサルタント記事

1日に数億件発生するデータをリアルタイムに処理できるデータスフィアとは|DXの現場

SHARE
Digital Library Digital Library Digital Library Digital Library

1日に数億件発生するデータをリアルタイムに処理できるデータスフィアとは|DXの現場
  • 話者:櫻井 秀知
  • PMOコンサルティング事業部
  • SAP認定コンサルタント(FI)

「DXの現場」では、ノムラシステムコーポレーションの現役コンサルタントが、SAPの導入をはじめ、DXに20年以上携わった経験から、DXで重要となるポイントについて紹介します。

今回のテーマは「SAPのリアルタイム性」です。大規模なシステムになると必要な処理件数は1日に数億件にのぼります。この膨大なデータをリアルタイムで処理するために SAP社が構築した技術が「データスフィア(SAP Datasphere:以下、データスフィア)」です。

本記事では、リアルタイム性を追求するためにSAP社が構築したデータスフィアの技術的特徴と、どのようなデータがリアルタイムで見ることができるのか、その具体例についてご紹介します。

SAPにおける「リアルタイム」とは?

リアルタイムという言葉は、受け取り手によって意味が異なるのではないでしょうか?

もしデータの収集が四半期に一度の企業様であれば、1日でデータが揃うことはリアルタイムだと思われるかもしれません。

SAPにおけるリアルタイムとは、広範なシステム上のどこかで起こったことが「即座に」システムに反映され、常に最新の状態を参照できることを意味します。

大企業であれば、1日に何億件というデータ処理が発生することは珍しくありません。このような膨大なデータであってもリアルタイムで処理し、ビジネスダッシュボードに反映することで経営判断に活用できることがSAPの強みです。

エンジニアの視点からみるデータスフィアの革新性

私は現在、PMOコンサルティング事業部のBIチームに所属しています。BIとはBusiness Intelligence(ビジネスインテリジェンス)の略で、企業のデータを収集・分析し、意思決定に役立てるための技術やプロセスを指します。

今は入社後約13年ですが、入社から約8年間はエンジニアとしてBIシステムの開発に携わってきました。

私がエンジニアとしてBIを構築していた際は、SAPはデータをBW(Business Warehouse:ビジネスウェアハウス)から取得していました。BWとは、社内データソースから収集した大量のデータを一元的に保存・管理・分析するためのシステムです。

SAPはBWからデータを取得する場合、レポート作成時に毎回データベースからデータを直接取得するという方式を採用していました。

この手法は最新のデータを参照できる反面、大量のデータ処理が必要なため、レポート生成時にパフォーマンスが低下する場合があったのです。

一方、2023年からSAPが採用しているデータスフィアという技術は、「中継点」という考え方を導入しています。

データに変更点があった場合は、変更を中継点にのみ反映させます。そして、レポート作成時には中継点からのみデータを取得するのです。

SAPはこの方式を用いることにより、リアルタイム性を保ちながらもパフォーマンスを大幅に向上させることに成功しています。

さらに、従来のBWではSAP独自の言語であるABAP(アバップ)しか用いることができませんでしたが、データスフィアではPythonやSQLなど一般的なプログラミング言語も使用できるようになりました。

データスフィアが実現するセルフサービス化

レポートの取得に一般的なプログラミング言語も使えるようになったことで最も大きな影響は、ユーザー自身が「セルフ」でレポートを作成しやすくなったことです。

業務内容を最もよく理解しているのは、その業務を実際に行っている方々です。そのため、現場でもレポートを作成したいというセルフサービス志向も高まっていました。

SAP社は現場の方々が、自身でデータを分析できる環境を整えることで、これまで以上に現場での判断ができるようにサポートしようとしているのです。

製造現場とリアルタイムで得られるデータの粒度

ここまではリアルタイムで取得できるタイミングとそれを可能にする技術についてお伝えしました。ここからは、どれぐらいの粒度でデータを可視化できるのかについてご紹介します。

例えば、ある製造業のプロジェクトでは以下のようなデータがリアルタイムで取得できるようになりました。(一部)

  • 拠点ごとの在庫状況
  • 工場の各設備の稼働状況(工場ごと/ラインごと)
  • 品目ごとの滞留期間(工場ごと/ラインごと)
  • 電子部品の不良品率

これらのデータは、拠点が数十箇所に及ぶ場合でも、問題なく数値を取得することができています。

特に在庫データは、一般的には把握が難しいデータです。というのも、日次 / 月次の在庫は日次締めや月次締めとしてスナップショットとして計算することもできますが、リアルタイムの在庫を算出するには期間内全てのデータを計算する必要があるためです。

SAPは大量のデータ管理に長けているため、販売や出庫などの計算をリアルタイムで処理できます。在庫管理や単品管理のように何億という膨大なデータが発生する場合でも計算が可能です。

このように、設計次第で様々な粒度でのデータ取得が可能となります。

データをどのように取得するか

同様に、レポート作成時の設計が課題になる場合もあります。以前課題となったのは、商品一つに対する売上・利益を分析する「単品管理」というレポートです。

通販商品の場合、一件の販売実績に対して以下の情報が異なる場合があります。

  • 梱包資材:どのような梱包材(段ボールなど)を使うのか
  • 緩衝材:どのような緩衝材(プチプチなど)をどのぐらい使うのか
  • 発送費用:どの業者を使うのか
  • 在庫回転率:どのくらいの頻度で売れていくのか

商品一つの収益性を正確に把握するには、これらの要素をすべて考慮したレポートが必要となるため、お客様と相談しながら一緒にデータの取得・計算方法を設計、構築していきました。

複雑だと思われるからこそ、わかりやすい言葉で伝えたい

SAPは専門用語も多く、これまでSAPの情報を取得して来られた方の中には、難しいと感じている方も多いのではないでしょうか?

だからこそ私は、お客様に対してもエンジニアに対しても、なるべく分かりやすく説明するよう心がけています。

特に、元々エンジニアだったからこそ、お客様が求めている機能がどのようなものかを、実際の画面をお見せしながら説明することで、お客様の理解の一助になりたいと考えています。

また社内のエンジニアに対しても、お客様が求めている機能の背景を伝えることで、よりお客様のお役に立てる提案ができることがあります。

背景がわかることで、BIレポートにおける初期表示の分析軸に加え、追加の分析軸として「これがあると便利だろうな」と想像して設定することができるのです。

このような形でご提案した上で導入に至った場合、お客様から「ありがとう」と言っていただけることがあります。新たなシステムを導入した際にお客様からねぎらいの言葉をいただけるのは嬉しく、やりがいを感じています。

日々、新たな技術や製品がリリースされますが、DXコンサルタントとして、データスフィアなど新しい技術については自分で一つひとつ手を動かしながら機能を学び、お客様のアイデアを形にするお手伝いを今後も続けたいと思っています。

まとめ:お客様のアイデアと技術をつなぐ橋渡し役として

SAP社はデータスフィアを構築することで、膨大なデータ処理の課題を「中継点」という考え方でアプローチし、よりシームレスなデータ取得を実現させました。

この技術革新は単なる処理速度の向上にとどまらず、PythonやSQLといった一般的なプログラミング言語の導入により、現場の専門家がセルフサービスでデータを活用できる環境を実現しています。

このように技術は日々進化していきますが、これらの技術をビジネスに実装し価値を生み出すための「橋渡し」も重要だと考えています。だからこそ私たちは、最新技術を自ら学び、ご提案やお客様のアイデアを形にすることで、課題解決のお役にたちたいと考えています。

SHARE
Digital Library Digital Library Digital Library Digital Library
お問い合わせ