IoT における隠れた戦争:エンジニアとデータサイエンティストの特別な事例

モノのインターネット (IoT) の中核は、十分な量のデータがプロセスとシステムへの新たな洞察につながるという前提に基づいています。これらは意思決定支援や新製品やサービスに使用できます。。 または、社内の節約や新しい外部収益源につながります。また、IoT 実装プロジェクトを成功させるには、エンジニアとデータサイエンティストという 2 つの主要なアクターが必要です。

機械で生成されたデータを迅速に処理して分析することで、予知保全と生産プロセスの最適化に良い結果が得られます。しかし、ユーザーの行動をよりよく理解するのに役立つので、顧客満足度の向上にもつながります。少し前に、 マッキンゼーによる包括的な研究 機械を接続して監視すれば、工作機械の生産性と寿命を向上させ、メンテナンス費用を10％から40％削減し、エネルギー消費量を最大20％削減できると推定されています。

決定的な行動につながる合理化されたサイクルは、IoTを取り巻く基盤となる戦略の中心です。この文脈における課題は エンジニアリングとデータサイエンスの世界を結びつけましょう。IoT のコンテキストでは、これら 2 つの専門分野は、摩擦を最小限に抑えながら最も効率的な方法で機能する必要があります。

データジャーニーのどの段階で、企業はエンジニアリング（ハードウェア、マイクロコントローラー、チップ、エレクトロニクスの世界）とデータサイエンスの間のギャップを埋めるのか （データウェアハウス、アルゴリズム開発、データ分析の世界）は、広範囲にわたる結果を伴う戦略的決定です。以下では、エンジニアとデータサイエンティストが IoT エッジシナリオ全体で連携する方法を提案します。

エッジコンピューティングへのシフト

シフトの動機は何か エッジコンピューティングに向けて、なぜインテリジェンスをIoTネットワークのエッジに移動する必要があるのでしょうか。 この傾向の背後にある主な要因は、同時にビッグデータシステムに共通する課題です。これは、さまざまな異種ソースから大量のデータを収集する必要があるということです。

エッジはスピードの代名詞になります

さらに、データは複数の段階で分析できるように準備する必要があります。これには、データ検証、データクリーニング、変換、インデックス作成、集約、保存が含まれます。データの性質と念頭に置いているビジネス目標にもよりますが、企業には適切な処理手法も必要です。これは、バッチ処理からリアルタイム処理まで多岐にわたります。

大量のデータを処理する人にとっては、生成された場所の近くでデータを処理するのが理にかなっています。これは、エンドツーエンドのシナリオや、センサーを大量に消費し、したがってデータ集約型の環境でIoTを活用する場合に当てはまります。これは、帯域幅、ネットワーク遅延、全体的な速度など、データジャーニーにおいて避けられない課題があるためです。エッジコンピューティングは、ミッションクリティカルなコンポーネントやリモートコンポーネントを使用する IoT アプリケーションに特に適しています。ここで、エッジコンピューティングはデータ損失のリスクを最小限に抑えます。しかし、さらに重要なのは、IoT の取り組みにおいてスピードが重要な差別化要因であるシナリオでも加速できることです。

データ分析のスピードは、多くの産業用IoTアプリケーションにおいて不可欠になっています。企業がシステム、アクチュエータ、制御による自律的かつ半自律的な意思決定に移行する中、スピードは産業変革の重要な要素です。集約され分析されたデータの生成を加速する必要があります。 これは実用的な情報として役立ちます。そして、迅速な意思決定の道も必要です。

エッジとクラウド

データをクラウドに保存して分析することは、より深く、より包括的な処理を意味しますが、エッジコンピューティングはデータ処理の速度と即時性を提供します。クラウドシステムでは、より包括的な処理を行うことができます。そこでは、さまざまなソースからのデータを組み合わせて、エッジではすぐには得られない洞察を得ることができます。しかし、処理速度、意思決定の迅速化、自律性の向上、ひいては自動化レベルの向上という点では、エッジでの処理がより高速でスマートなアプローチとしての地位を確立しています。

さらに、IoT ネットワークのエッジでデータを処理することで、組織は機密性の高い情報や機密性の高い情報を完全に管理できます。意思決定はエッジで行うことができます。これにより、すべてのデータは社内に残り、機密ではない情報のみがクラウドに送られます。また、企業データの匿名化をエッジで行うことができるため、企業は重要なデータ資産をセキュリティ侵害から保護することができます。

包括的な IoT ソリューションでは、エッジレイヤーでデバイスを管理し、デバイスを接続して、デバイスからデータを収集します。しかし、データ管理、データ変換、高度な分析のためのビッグデータ技術にも対応することになります。IoT とビッグデータを統合して、IoT デバイスを管理し、アプリケーションをリアルタイムでデプロイすると同時に、ビッグデータフレームワークとアプリケーションを活用して IoT によって取得された産業用ビッグデータを保存、処理、分析、視覚化することもできます。このコンフルエンスを実現するにはどうすればよいでしょうか。

エンジニアリングとデータサイエンス:ギャップを埋める

エッジコンピューティングは通常、エンジニアリング部門が所有および管理します。これはハードウェア、マイクロコントローラー、チップ、エレクトロニクスの世界です。エンジニアは通常、全体の機能に影響を与えずにマシンにアクセスしたり、物理デバイスからデータを収集したり、入ってくる大量の未加工データに対処したりするという、ゆっくりとした開発サイクルで仕事をしています。

クラウドサービス、データ処理、分析は通常、IT部門とデータサイエンティストが所有しています。これは数学、情報技術、抽象的知識、理論モデルの世界です。このスケールの先には、アジャイル開発、迅速な試行錯誤シナリオ、アルゴリズム開発、データサイエンスなど、広く考えられています。従来の構成では、エンジニアリング部門が産業用デバイスから抽出したデータを提供してデータサイエンティストに送信し、データサイエンティストがインサイトの生成に取り組み、実行可能な意思決定を行えるようにします。

IoT 開発における典型的なボトルネック

今日のシナリオは？そうですね、エンジニアとデータサイエンティストという 2 人のアクターの間で、誤解が生じることがよくあります。エンジニアはマシンから大量のデータを収集します。そして、プロセスの特定の側面を合理化するために、データに対してデータサイエンスを実施したいと考えています。そこで、データサイエンスチームを雇ってそのデータの処理を行います。しかし、データサイエンティストは、マシンホールにあるデバイスのマシンデータを取得する必要性に直面すると、デバイスからデータを取り出すのは非常に骨の折れるプロセスであることに気付かなければなりません。このようなシナリオを考えると、IoT プロジェクトのボトルネックは通常、アイデアやアルゴリズムではなく、データパイプラインとデータ品質にあることがよくあります。

エンジニアリング部門からのデータは、形式が間違っている場合や、現時点で必要な形式ではない場合があります。たとえば、データをもっと高い頻度で追跡しなければならないことが分かるかもしれません。エンジニアは、データを抽出する新しい方法を見つけるために、エッジコンピューターに行かなければならない場合があります。使用可能なデータを取得するために、データを抽出するための新しいエッジデバイスを購入しなければならない場合もあります。しかし、繰り返しになりますが、データは依然として使用できない可能性があります。そうなると、より高い反復率やより長い記録時間枠が必要であることが明らかになるかもしれません。そのため、データを別の方法で収集するには、エッジデバイスを完全に再構成する必要があるかもしれません。このようなやりとりを繰り返すプロセスには、何週間もかかる繰り返しが必要な場合があります。

共通の IoT プラットフォームとのより良いコミュニケーション

この場合の実用的なソリューションは、マシンでの作業（データ抽出から開始）からデータサイエンスの成果に至るまで、IoT 開発サイクル全体をカバーする統合プラットフォームです。エンジニアはプラットフォームにログインして、IoT エッジのコンピューティングデバイスにアクセスしたり、プラットフォームツールを介して値を設定したり、リモートにある複数の IoT デバイスに同じコードや構成を導入したりできます。データが取り込まれ始めると、データサイエンティストはプラットフォーム上の場所に保存され、そこからデータサイエンティストは履歴化とバージョン管理プロセスを一目で確認でき、データクリーニングが実行され、データを他のデータとマージしてモデル化し、分析や視覚化タスクに直接利用できるようになります。

そのようなIoTプラットフォームの1つが、エンジニアリングとデータサイエンスの間のコミュニケーションギャップを埋めます。統一された有効化インターフェイスを介してこれらの世界を結びつけます。データサイエンティストは、データを生成し、データ処理を担当するエッジコンピューターに直接アクセスできます。コアマシンコンピューターは完全に分離されたままです。プラットフォームによる保守や管理は行われません。また、データエンジニアリング部門は、実機にリアルタイムでアクセスするという課題に直面する必要がなくなりました。このプラットフォームを通じて、IoT エンジニアとデータエンジニアリングチームの両方がリモートアクセスというメリットを享受できます。無線でコードをデプロイし、デバイス管理機能を使用して、データがどこから来ているのか、どの IoT デバイスが特定の場所にデプロイされているのかを確認できます。

統合ハブとしての IoT プラットフォーム

そのようなIoTプラットフォームの1つが、組織の産業運営の「デジタルバックボーン」になります。ここで、エンジニアとデータサイエンティストという 2 人のアクターがソフトウェアとハードウェアをつなぎ、事業運営から価値を引き出します。

スマートマニュファクチャリングに対応したIoTプラットフォームには、機械学習やディープラーニングなどの人工知能、ビッグデータテクノロジーに加えて、さまざまなデータソースからのデータマイニング、データモデリング、統計分析、データ視覚化のための確立された自動化テクノロジーが組み込まれています。また、あらゆるプログラミング言語と連携する機能もあります。このようなプラットフォームの 1 つは、IoT エコシステムのイネーブラーとして機能するだけでなく、独自のインフラストラクチャをデジタルハブとして活用し、デバイス管理とアプリ開発が高度なデータサイエンスツールチェーンと融合して、より速いペースで実用的な洞察を生み出します。

IoT エッジにおける重要な IoT 課題に対応できる IoT プラットフォームは、IoT エンドポイントの管理や接続性などの機能に加えて、IoT アプリケーション開発および統合ツールを組み合わせたものです。さらに、エンジニアとデータサイエンティストが一堂に会する IoT プラットフォームは、IoT データへのアクセス、取り込み、処理に加えて、IoT データの分析と視覚化によってこれらの機能を補完します。このソリューションの 1 つは、アプリケーション開発と IoT デバイスのリモート管理のための本格的な IoT スタジオです。もう 1 つのレベルは、完全に統合可能なデータウェアハウスインフラストラクチャです。ここで、デバイスから収集されたデータストリームを受け取り、データアナリストが洞察を得られる分析環境を構築します。

重要なポイント

データエンジニアとデータサイエンティストが一堂に会するプラットフォームは、複雑なエンドツーエンドのIoTソリューションを提供します。まず、IoT デバイスからのデータ収集と、IoT ゲートウェイでのデータの収集、前処理、集計を行います。その後、データサイエンティストはそのデータをクラウドデータサイエンスプラットフォームに送信できます。ここでより高度な分析が行われ、ML モデルがトレーニングされます。データサイエンティストがクラウドで機械学習モデルをトレーニングすれば、IoT エッジにロジックを導入できるようになります。このプラットフォームを使用すると、トレーニングしたモデルをさまざまな IoT デバイスに展開できます。このようにして、データの取得、変換、分析、そしてIoT エッジへの展開という繰り返し可能なサイクルを実現しています。

‍