JP7629464B2 - 計算グラフを生成するためのエディタ - Google Patents

Description

（優先権の主張）
本出願は、２０２０年１月２８日に出願された米国特許仮出願第６２／９６６，７６８号の優先権を主張し、その全内容は、参照により本明細書に組み込まれる。

本開示は、計算グラフを生成することに関する。

複雑な計算は、多くの場合、有向グラフフを使用したデータフローとして表すことができ、計算のコンポーネントは、グラフの頂点及びグラフのリンク（弧、辺）に対応するコンポーネント間のデータフローと関連付けられている。かかるグラフベースの計算を実施するシステムは、米国特許第５，９６６，０７２号、名称「Ｅｘｅｃｕｔｉｎｇ Ｃｏｍｐｕｔａｔｉｏｎｓ Ｅｘｐｒｅｓｓｅｄ ａｓ Ｇｒａｐｈｓ」に記載されており、その全内容は、参照により本明細書に組み込まれる。場合によっては、頂点と関連付けられた計算は人間可読形式で記述され、「ビジネスルール」と呼ばれる。

データフローグラフを生成するための１つの技術は、ビジネスルールエディタを使用する。ビジネスルールエディタの例は、米国特許第８，０６９，１２９号、名称「Ｅｄｉｔｉｎｇ ａｎｄ Ｃｏｍｐｉｌｉｎｇ Ｂｕｓｉｎｅｓｓ Ｒｕｌｅｓ」に開示されており、その全内容は、参照により本明細書に組み込まれる。

一般的態様１において、第１のデータフローグラフを第２のデータフローグラフに変換するための方法であって、第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくともいくつかは、第１のデータフローグラフ内の第１のノードによって表されず、この方法は、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することであって、第１のコンピュータ動作のうちの少なくとも１つは、データ処理の１つ以上の結果の１つ以上の特性を指定する宣言動作である、ことと、第１のコンピュータ動作に従ってデータを処理するために第１のデータフローグラフを第２のデータフローグラフに変換することであって、第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のノードのうちの少なくとも１つは、宣言動作によって指定されるロジックを実施する１つ以上の命令動作を表し、１つ以上の命令動作は、第１のデータフローグラフ内の第１のノードによって表されない、ことと、第２のデータフローグラフをデータストアに記憶することと、を含む。

態様１に記載の態様２において、第２のデータフローグラフへの第１のデータフローグラフは、命令動作を作成することと、命令動作を表す所与の第２のノードを作成することであって、所与の第２のノードは、第１のデータグラフに表されない、ことと、を含む。

態様１又は２のいずれかに記載の態様３において、第２のデータフローグラフに表され、第１のデータフローグラフには表されない第２の動作のうちの１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択される。

態様１～３のいずれかに記載の態様４において、第２の動作のうちの１つ以上は少なくとも、（ｉ）第１のデータフローグラフで指定された第１の動作のうちの１つ以上に従ってデータを処理するために必要であるか、又は（ｉｉ）１つ以上の追加動作を伴わないデータ処理と比較して、第１のデータフローグフラで指定された第１の動作のうちの１つ以上に従ったデータ処理を改善する。

態様１～４のいずれかに記載の態様５において、方法は、１つ以上のデータフローグラフ最適化ルールを第２のデータフローグラフに適用することによって第２のデータフローグラフを最適化されたデータフローグラフに変換して、適用前の第２のデータフローグラフの計算効率と比較して、第２のデータフローグラフの計算効率を改善することを更に含む。

態様１～５のいずれかに記載の態様６において、１つ以上のデータフローグラフ最適化ルールは、第２のデータフローグラフから冗長ノードを削除すること、第２のデータフローグラフからデッドノードを削除すること、第２のデータフローグラフでノードの順序を変更すること、第２のデータフローグラフでノードの強度を低減すること、第２のデータフローグラフで２つ以上のノードを統合すること、第２のデータフローグラフ内のノードを直列動作から並列動作に変換すること、又は第２のデータフローグラフで分割動作を挿入することのうちの少なくとも１つを含む。

態様１～６のいずれかに記載の態様７において、第２の動作のうちの少なくとも１つは、自動並列動作又は自動分割動作を含む。

態様１～７のいずれかに記載の態様８において、第２の動作のうちの少なくとも１つは、並べ替え動作を含む。

態様１～８のいずれかに記載の態様９において、第２の動作のうちの少なくとも１つは、第２のノードのうちの１つ以上の間でメタデータを指定する動作を含む。

態様１～９のいずれかに記載の態様１０において、方法は、データを提供して、キャンバス部分及びカタログ部分を含むグラフィカルエディタインターフェースを生成することであって、カタログ部分は、キャンバス部分において、計算のロジックを視覚的に描写するために１つ以上の選択可能なアイコンを含む、ことと、キャンバス部分において描写された計算のロジックを表す、アイコン選択データを受信することであって、アイコン選択データは、カタログ部分から選択され、キャンバス部分に含まれる、１つ以上の選択可能なアイコンのうちの少なくとも１つを指定する、ことと、受信したアイコン選択データから、キャンバス部分で指定されたロジックを表す複数の第１のノードを含む第１のデータフローグラフを生成することであって、第１のノードのうちの少なくとも１つは、カタログ部分から選択された１つ以上の選択可能なアイコンのうちの少なくとも１つを表す、ことと、を更に含む。

態様１～１０のいずれかに記載の態様１１において、選択された各アイコンは、データをプリフォーマットするデータカタログからデータにアクセスする命令を示すか、又はデータカタログを介してアクセスされるデータの形式を指定する。

態様１～１１のいずれかに記載の態様１２において、第１のデータフローグラフは、ユーザ定義のデータフローグラフである。

態様１～１２のいずれかに記載の態様１３において、方法は、データを提供して、キャンバス部分及びカタログ部分を含むグラフィカルエディタインターフェースを生成することであって、カタログ部分は、複数のデータセット選択アイコンと、複数の変換選択アイコンと、を含む、ことと、選択されたデータセット選択アイコン及び選択された変換選択アイコンによって表される記憶ユニットに記憶された要素に従って、第１のデータフローグラフで初期ノードを生成することと、初期ノードにラベルを付けて、ラベル付きノードを提供することと、キャンバス部分にラベル付きノードの視覚的表現をレンダリングすることと、を更に含む。

態様１～１３のいずれかに記載の態様１４において、初期ノードは、動作を保持する動作プレースホルダフィールドと、データのソース又はシンクを保持するデータプレースホルダフィールドと、を有する。

態様１～１４のいずれかに記載の態様１５において、修正することは、動作プレースホルダフィールドに保持された動作の要素を記憶システムから取得することと、データプレースホルダフィールドに保持されたデータソース又はデータシンクの要素を記憶システムから取得して、データのソース又はシンクを指すリンクをデータプレースホルダフィールドに追加することと、を更に含む。

態様１～１５のいずれかに記載の態様１６において、方法は、データを提供して、グラフィカルエディタインターフェースのキャンバス部分に第１のデータフローグラフをレンダリングすることを更に含む。

態様１～１６のいずれかに記載の態様１７において、生成された初期ノードの全てにラベルを付けると、方法は、第１のデータフローグラフの全てのラベル付きノードを、計算データフローグラフである第２のデータフローグラフにコンパイルすることを更に含む。

態様１～１７のいずれかに記載の態様１８において、修正した初期ノードの全てにラベルを付けると、方法は、第１のデータフローグラフの全てのラベル付きノードを最適化することを更に含み、第１のデータフローグラフのラベル付きノードを最適化することは、ラベル付きノードのうちの少なくとも１つに記憶された要素を最適化することを更に含む。

態様１～１８のいずれかに記載の態様１９において、方法は、プロトタイプノードにアクセスすることと、アクセスされたプロトタイプノードからパラメータをコピーして初期ノードのうちの少なくとも１つを修正するアルゴリズムを適用することと、を更に含む。

態様１～１９のいずれかに記載の態様２０において、初期ノードの少なくとも１つのパラメータは、プロトタイプノードによって上書きされない設定パラメータである。

態様１～２０のいずれかに記載の態様２１において、プロトタイプノードは、初期ノード、初期ノード上のポート、又はエディタインターフェースのキャンバスに提示されたコンポーネントのパラメータのうちの少なくとも１つを宣言する。

態様１～２１のいずれかに記載の態様２２において、プロトタイプを適用することは、プロトタイプからの記述子で既存のパラメータの記述子を置き換えるが、パラメータの既存の値は置き換えない。

態様１～２２のいずれかに記載の態様２３において、方法は、メタデータ及び第１のデータフローグラフに記述された値を計算する変換を適用することを更に含む。

態様１～２３のいずれかに記載の態様２４において、ラベルは、キー、値、名前、及びソースのうちの１つ以上を参照する。

態様１～２４のいずれかに記載の態様２５において、選択されたデータセット選択アイコンによって表される記憶ユニット及び選択された変換選択アイコンによって表される記憶ユニットに記憶された１つ以上の要素を記憶する複数の初期ノードのうちの少なくともいくつかは、少なくとも部分的に、複数の初期ノードのうちの少なくともいくつかに対して対応する記憶ユニット機能を指定する。

一般的態様２６において、第１のデータフローグラフを第２のデータフローグラフに変換するためのシステムであって、第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくともいくつかは、第１のデータフローグラフ内の第１のノードによって表されず、このシステムは、１つ以上のプロセッサと、命令を記憶する１つ以上の記憶デバイスであって、命令は、１つ以上のプロセッサによって実行されると、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することであって、第１のコンピュータ動作のうちの少なくとも１つは、データ処理の１つ以上の結果の１つ以上の特性を指定する宣言動作である、ことと、第１のコンピュータ動作に従ってデータを処理するために第１のデータフローグラフを第２のデータフローグラフに変換することであって、第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のノードのうちの少なくとも１つは、宣言動作によって指定されるロジックを実施する１つ以上の命令動作を表し、１つ以上の命令動作は、第１のデータフローグラフ内の第１のノードによって表されない、ことと、第２のデータフローグラフをデータストアに記憶することと、を含む動作を１つ以上のプロセッサに実行させる、１つ以上の記憶デバイスと、を含む。

一般的態様２７において、非一時的コンピュータ可読媒体であって、この非一時的コンピュータ可読媒体は、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することであって、第１のコンピュータ動作のうちの少なくとも１つは、データ処理の１つ以上の結果の１つ以上の特性を指定する宣言動作である、ことと、第１のコンピュータ動作に従ってデータを処理するために第１のデータフローグラフを第２のデータフローグラフに変換することであって、第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のノードのうちの少なくとも１つは、宣言動作によって指定されるロジックを実施する１つ以上の命令動作を表し、１つ以上の命令動作は、第１のデータフローグラフ内の第１のノードによって表されない、ことと、第２のデータフローグラフをデータストアに記憶することと、をコンピューティングシステムに実行させるための命令を記憶する。

一般的態様２８において、第１のデータフローグラフを第２のデータフローグラフに変換するための方法であって、第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくともいくつかは、第１のデータフローグラフ内の第１のノードによって表されず、この方法は、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することと、第１のコンピュータ動作に従ってデータを処理するために第１のデータフローグラフを第２のデータフローグラフに変換することであって、第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくとも所与の１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択され、第２のコンピュータ動作のうちの少なくとも所与の１つは、第１のデータフローグラフ内の第１のノードによって表されない、ことと、第２のデータフローグラフをデータストアに記憶することと、を含む。

一般的態様２９において、第１のデータフローグラフを第２のデータフローグラフに変換するためのシステムであって、第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくともいくつかは、第１のデータフローグラフ内の第１のノードによって表されず、このシステムは、１つ以上のプロセッサと、命令を記憶する１つ以上の記憶デバイスであって、１つ以上のプロセッサによって実行されると、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することと、第１のコンピュータ動作に従ってデータを処理するために第１のデータフローグラフを第２のデータフローグラフに変換することであって、第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくとも所与の１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択され、第２のコンピュータ動作のうちの少なくとも所与の１つは、第１のデータフローグラフ内の第１のノードによって表されない、ことと、第２のデータフローグラフをデータストアに記憶することとを含む動作を１つ以上のプロセッサに実行させる、１つ以上の記憶デバイスと、を含む。

一般的態様３０において、非一時的コンピュータ可読媒体であって、この非一時的コンピュータ可読媒体は、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することと、第１のコンピュータ動作に従ってデータを処理するために第１のデータフローグラフを第２のデータフローグラフに変換することであって、第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のコンピュータ動作のうちの少なくとも所与の１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択され、第２のコンピュータ動作のうちの少なくとも所与の１つは、第１のデータフローグラフ内の第１のノードによって表されない、ことと、第２のデータフローグラフをデータストアに記憶することと、をコンピューティングシステムに実行させるための命令を記憶する。

前述の全て又は一部（態様１～３０及びそれらの任意の組み合わせなど）は、１つ以上の非一時的機械可読記憶媒体に記憶され、１つ以上の処理デバイスで実行可能である命令を含むコンピュータプログラム製品として実施され得る。前述の全て又は一部は、実行可能命令を記憶する１つ以上の処理デバイス及びメモリを含み、記述された機能を実施し得る装置、方法、又は電子システムとし実施され得る。

本明細書で使用される「表されない」という用語は、第２のコンピュータ動作のうちの少なくともいくつかが、第１のデータフローグラフにおいて直接的又は間接的に生じないか、又は複数の第１のノードのいずれも、第２のコンピュータ動作のうちの少なくともいくつかを表さないことを意味し得る。

上記の実施例のうちの１つ以上は、以下の利点のうちの１つ以上を提供し得る。本明細書に記載の技術は、最低限の技術的背景を有するユーザが、使いやすいグラフィックユーザインターフェースを用いてデータ処理機能を指定することを可能にする。データフローグラフシステムは、キャンバスと、複数の変換アイコン及びデータセットアイコンを有するデータセットカタログと、を含むグラフィカルユーザインターフェースを提供する。所望のアイコンを選択し、それらをキャンバス上に配置することにより、ユーザは、データセットアクセスの詳細又は並べ替え及び分割動作など他の低レベルの実施詳細を指定する必要なく、データフローグラフ、したがってその関連する計算を容易に作成し、修正することができる。このようにして、データフローグラフシステムは、ユーザによって開発され、スキーマ駆動型開発を可能にするため、データフローグラフの視覚的表現を提供する。更に、システムは、ユーザによって配置されたアイコンを自動的に接続することによって開発を促進する自動レイアウト機能を含み得る。

データフローグラフが完成すると、システムは、ユーザによって作成されたデータフローグラフを、コンパイルされ、実行され得る、変換されたデータフローグラフに変換する。このプロセスの一環として、システムは、データフローグラフで指定された宣言動作を実行するために必要な命令動作を追加することによって、例えば、並列動作及び分割動作を自動的に追加すること、結合及びロールアップのために並べ替え動作を追加すること、並びに中間メタデータを指定することによって、データフローグラフを自動的に最適化する。システムはまた、冗長コンポーネントの削除又はレコードの縮小などによって、データフローグラフ自体のデータ処理を改善する。

１つ以上の実施例の詳細を、添付の図面及び以下の説明に記載する。本明細書に記載の技術の他の特徴、目的、及び利点は、説明及び図面、並びに特許請求の範囲から明らかとなるであろう。

計算グラフを指定するためのシステムのブロック図である。 データフローグラフのブロック図である。 データフローグラフのブロック図である。 異なる構築段階におけるデータフローグラフの視覚的表現の図である。 異なる構築段階におけるデータフローグラフの視覚的表現の図である。 異なる構築段階におけるデータフローグラフの視覚的表現の図である。 異なる動作段階における図１のシステムのブロック図である。 異なる動作段階における図１のシステムのブロック図である。 異なる動作段階における図１のシステムのブロック図である。 異なる動作段階における図１のシステムのブロック図である。 計算データフローグラフを生成するための例示的なプロセスのフローチャートである。

本明細書に記載の技術は、コンパイルのために最適化され、変換され得る、容易に修正可能な計算グラフを生成するための技術に関する。いくつかの実施例では、データフローグラフシステムは、キャンバスと、複数の変換選択アイコン及びデータセット選択アイコンを有するデータセットカタログと、を含むグラフィカルユーザインターフェースを提供する。所望のアイコンを選択し、それらをキャンバス上に配置することにより、ユーザは、データセットアクセスの詳細又は並べ替え及び分割動作など他の低レベルの実施詳細を指定（又は再指定）する必要なく、データフローグフを容易に作成し、視覚化し、修正することができる。一般に、本明細書で使用される場合、動作は、コンピュータ動作、例えば、機械、コンピュータシステムなどによって実行又は実施される１つ以上の動作又は命令を指す。

システムは、ユーザによって選択されたアイコンを示すデータを受信し、宣言動作及び選択されたアイコンによって参照されるデータセットを含むようにデータフローグラフのノードを修正することによって、第１のデータフローグラフ（本明細書では「中間データフローグラフ」と呼ばれることもある）を生成する。第１のデータフローグラフが完成すると、システムは、このデータフローグラフを、コンパイルされ、実行され得る、第２のデータフローグラフ（本明細書では「変換されたデータフローグラフ」と呼ばれることもある）に変換する。このプロセスの一環として、システムは、第１のデータフローグラフで指定された宣言動作を実行するために必要な命令動作を第２のデータフローグラフに追加することによって、例えば、並列動作及び分割動作を自動的に追加すること、結合及びロールアップのために並べ替え動作を追加すること、並びに中間メタデータを指定することによって、第１のデータフローグラフを自動的に最適化して第２のデータフローグラフを生成する。システムはまた、図４に関連して以下に記載するように、冗長コンポーネントの削除又はレコードの縮小などによって、第２のデータフローグラフ自体によるデータ処理を改善する。

図１は、計算グラフを指定するためのシステム１０の概略図を示す。システム１０（本明細書では「実行環境」とも呼ばれる）は、エディタユーザインターフェースジェネレータ１４と、データフローグラフ（dataflow graph、ＤＦＧ）エンジン１６と、変換エンジン１８と、を有するデータフローグラフ生成システム１２を含む。グラフ生成システム１２はクライアントデバイス２０に動作可能に連結されて、グラフ生成システム１２へのアクセスを提供し、それによって、実行環境へのアクセスも提供し、また、コンパイラシステム２２へのアクセスを提供して、グラフ生成システム１２によって生成されたデータフローグラフをコンパイルする。コンパイルされたデータフローグラフは、実行及び記憶のためにデータ処理システム２４及び記憶システム２６に提供される。記憶システム２６は、記憶デバイスなど１つ以上のデータソース又はオンラインデータソースへの接続を含み、これらのそれぞれは、様々な形式（例えば、とりわけデータベーステーブル、スプレッドシートファイル、フラットテキストファイル、又はメインフレームコンピュータによって使用されるネイティブ形式）のいずれかでデータを記憶し得るか、又は提供し得る。特に、記憶システム２６は、データ処理システム２４によって取得されて、コンパイルされたデータフローグラフ、並びにコンパイルされたデータフローグラフの実行を通じて生成された出力データを実行することができる、メタデータ及びレコード形式など入力データを記憶し得る。

一般に、実行環境は、好適なシステム、例えば、とりわけＵＮＩＸ(登録商標)ベースのオペレーティングシステム、Ｗｉｎｄｏｗｓベースのオペレーティングシステムなどの制御下にある１つ以上の汎用コンピュータ上でホストされ得る。例えば、実行環境は、ローカル（例えば、対称マルチ処理（symmetric multi-processing、ＳＭＰ）コンピュータなどマルチプロセッサシステム）、又はローカル分散（例えば、クラスタ若しくは超並列処理（massively parallel processing、ＭＰＰ）システムとして連結された複数のプロセッサ、又はリモート、又はリモート分散（例えば、ローカルエリアネットワーク（local area network、ＬＡＮ）若しくはワイドエリアネットワーク（wide-area network、ＷＡＮ）を介して連結された複数のプロセッサ）、あるいはそれらの任意の組み合わせのいずれかの、複数の処理ユニット（ＣＰＵなど）又はプロセッサコアを使用したコンピュータシステムの構成を含む、マルチノード並列コンピューティング環境を含むことができる。

データフローグラフの生成された表現にアクセスし、グラフを定義するコンピュータ命令を生成する他のシステムとは異なり、システム１０は中間グラフ（例えば、データフローグラフ１７）にアクセスし、最適化及び他の動作によって中間グラフを変換して、コンパイルのために変換されたグラフ（例えば、変換されたデータフローグラフ１９）を生成する。例えば、データフローグラフエンジン１６は、所望の計算グラフのデータソース、データシンク、及びデータ処理機能を示すクライアントデバイス２０から選択データを受信する。これらの詳細はデータフローグラフ生成システム１２によって得られ得るため、クライアントデバイス２０のユーザは、データアクセスの詳細又は他の低レベルの実施詳細を指定する必要はない。選択データに基づいて、データフローグラフエンジン１６は、データフローグラフ１７を生成するか、又は以前に作成されたデータフローグラフ１７を修正する。変換エンジン１８は、完成したデータフローグラフ１７を受信し、例えば、最適化及び変換の中でもとりわけ、図４Ｄに関連して以下に記載するように、データフローグラフ１７における冗長性を除去すること、データフローグラフ１７に並べ替え又はパーティションを追加すること、及び中間メタデータ（例えば、データフローグラフ１７を変換されたデータフローグラフ１９に変換する、あるいは別の方法で変換するためのメタデータ）を指定することよって、データフローグラフを変換されたデータフローグラフ１９に変換する。その後、変換されたデータフローグラフ１９はコンパイラシステム２２に提供されて、変換されたデータフローグラフ１９をコンパイルされた計算グラフ（例えば、実行可能プログラム２３）にコンパイルする。

一般に、データフローグラフ１７（「修正されたデータフローグラフ」と呼ばれることもある）は、ノード（又はコンポーネント）を有する、変換されたデータフローグラフ１９などコンパイルされたグラフのコア構造を表す。データフローグラフ１７は、任意選択的に、パラメータ（例えば、名前、値、場所、解釈）を含む。いくつかの実施例では、データフローグラフ１７は、サブグラフとして使用されることを意図したグラフでのように、グラフ自体に入力ポート及び出力ポートを含む。

いくつかの実施例では、ノード（又はコンポーネント）は、ノードの挙動又は機能を示すノードの「種類」を有するか、又はかかるノードの「種類」である。ノードの種類は、ノードのプロトタイプを選択するため、パターンマッチングを容易にするため（例えば、並べ替えノードに続く並べ替えノードを見出すため）、変換されたデータフローグラフ１９内でインスタンス化されるコンポーネントを判定するために使用される。例えば、データフローグラフ１７におけるゴミノードは、変換されたデータフローグラフ１９においてゴミノードとしてインスタンス化され得る。ノード（又はコンポーネント）は、以下に記載するように、入力ポート、出力ポート、及びパラメータを含み得る。

ノードは、任意選択的に、ノードを識別するラベルを有する。いくつかの実施例では、ノードがラベルを有しない場合、システムが、ノードにラベルを割り当てる。ノードラベルは、英数字、空白文字、及び句読点の任意の集合体を含み得、一意である必要はない（ただし、グラフへの変換中に一意になり得る）。システムは、ノードラベルを使用してノード（又はノードの入力ポート、出力ポート、又はパラメータ）を参照して、例えば、ノードの入出力又はノード間のデータフローを定義することができる。

図２Ａを参照すると、データフローグラフ１７の一実施例が、ノード３４ａ～３４ｎを含むものとして示されている。ノード３４のそれぞれは、少なくとも１つの動作プレースホルダフィールドと、少なくとも１つのデータプレースホルダフィールドと、を含む。例えば、「初期」ノード３４ａは、１つ以上の動作要素３５ａ’を保持する動作プレースホルダフィールド３５ａと、１つ以上のデータソース又はデータシンク要素３５ｂ’を保持するデータプレースホルダフィールド３５ｂと、を有する。動作要素３５ａ’は、初期ノード３４ａに対するデータの入出力で機能を実行するコード又はコードの位置を指定し得る。データソース又はデータシンク要素３５ｂ’は、初期ノード３４ａの（初期ノード３４ａの機能の）データソース若しくはデータシンク、又はデータソース若しくはデータシンクの位置を指定し得る。いくつかの実施例では、要素３５ａ’若しくは要素３５ｂ’、又はその両方は、データベースへのリンク又は記憶システム２６に含まれるコードへのポインタなど記憶システム２６へのリンク又はアドレスを含む。いくつかの実施例では、要素３５ａ’若しくは要素３５ｂ’、又はその両方は、スクリプトを含む。

データフローグラフ１７の構築中、ノード３４のそれぞれは、動作プレースホルダフィールドに配置される動作要素及びデータプレースホルダフィールドに配置されるデータソース又はデータシンク要素を取得してそれぞれのフィールドに追加することによって修正され得る。例えば、初期ノード３４ａは、動作要素３５ａ’を（例えば、記憶システム２６から）取得して、指定された機能又は機能を指すリンクを動作プレースホルダフィールド３５ａに追加することによって、またデータソース又はデータシンク要素３５ｂ’を取得して、データのソース又はシンクを指すリンクをデータプレースホルダフィールド３５ｂに追加することによって、構築中に修正される。特定のノード３４の修正が完了すると、ノードにはラベルが付けられて、ラベル付きノードを提供し得る。ノード３４のそれぞれが修正（及びラベル付け）された後、完成したデータフローグラフ１７が（例えば、記憶システム２６に）記憶され、以下に記載するように、他のデータフローグラフを生成するために使用される。

いくつかの実施例では、データフローグラフ１７のノード３４のそれぞれは、最初は未修正である。例えば、ノード３４のそれぞれは、上述のように、指定された動作要素３５ａ’及びデータソース又はデータシンク要素３５ｂ’を含むように後に修正される、空の動作プレースホルダフィールド３５ａ及びデータプレースホルダフィールド３５ｂを有し得る。いくつかの実施例では、データフローグラフ１７は、以前に完成したデータフローグラフであり、ノード３４の一部又は全ては、動作要素３５ａ’を保持する、対応する動作プレースホルダフィールド３５ａと、データソース又はデータシンク要素３５ｂ’を保持するデータプレースホルダフィールド３５ｂと、を有する。完成した、かかるデータフローグラフ１７は、（例えば、それぞれのフィールド３５ａ、３５ｂに配置される追加の又は代替の要素３５ａ’、３５ｂ’を取得することによって）更に修正され、新しい又は修正されたデータフローグラフとして記憶され得る。

いくつかの実施例では、初期ノード３４ａなど特定のノードは「再利用」されて、以前のノード３４ａに関連付けられた、任意選択的にラベル付けされた新しいノードを生成する。初期ノード３４ａから新しいノードを生成するこの反復プロセスは、ユーザが所望の計算グラフのために指定機能を有するまで継続する。反復プロセスが完了すると、完成したデータフローグラフ１７が提供される。完成したデータフローグラフ１７は、例えば、初期ノード３４ａからインスタンス化された複数のノード３４ａ～３４ｎを含む。完成したデータフローグラフ１７は、以下に記載するように、（例えば、記憶システム２６に）記憶され、他のデータフローグラフを生成するために使用され得る。

図２Ｂは、完成した（例えば、修正された）データフローグラフ１７のある実施例を示す。修正されたデータフローグラフ１７は、動作要素を保持する、対応する動作プレースホルダフィールド３５ａと、データソース又はデータシンク要素を保持するデータプレースホルダフィールド３５ｂとを有する、ＯＰ－０～ＯＰ－６とラベル付けされた７つのノードを含むものとして示されている。例えば、ＯＰ－０とラベル付けされたノード３４ａは、「データセットＩ」のデータソース要素３７ｂ’が読み取られることを示す、読み取り動作要素３７ａ’を含む。データフローグラフ１７は、図１に示され、図２～図４を参照して以下に詳述するデータフローグラフに対応する。修正されたデータフローグラフ１７は、例えば、データ構造として記憶システム２６に記憶される。

ここで図３Ａ～図３Ｃを参照すると、データフローグラフ１７及び変換されたデータフローグラフ１９の視覚化が、構築の様々な段階で示されている。例えば、図３Ａは、完成した（例えば、修正された）データフローグラフ１７の視覚化７０を描写する。図３Ｂは、変換エンジン１８による最適化後の完成したデータフローグラフ１７の視覚化７２を示す。視覚化７２に示されるように、完成したデータフローグラフ１７の最適化により、図４Ｄに関連して以下に記載するように、変換エンジン１８が冗長である、ないしはグラフの機能に不要であると判定した再フォーマット及びフィルタ動作が削除された。図３Ｃは、最適化され、完成したデータフローグラフ１７（図３Ｂ）と同じ機能を実行するために、変換エンジン１８によって生成された、変換されたグラフ１９の視覚化７４を示す。視覚化７４に示されるように、完成したデータフローグラフ１７に不要であった追加の並べ替え及び分割コンポーネントが変換されたデータフローグラフ１９に追加されており、コンパイル及び実行を容易にする。

一般に、変換エンジン１８は、データフローグラフ１７で指定された動作のうちの１つ以上に従ってデータを処理するために、又は最適化若しくは変換を行わないデータ処理と比較して、データフローグラフ１７で指定された動作のうちの１つ以上に従ったデータ処理を改善するために必要とされ得る、最適化若しくは他の変換、又はその両方を実行する。例えば、変換エンジン１８は、とりわけ、１つ以上の並べ替え動作、データ型動作、データフローグラフ１７で指定されたキーに基づいた結合動作など結合動作、分割動作、自動並列動作、又はメタデータを指定する動作を追加して、データフローグラフ１７の所望の機能を有する、変換されたデータフローグラフ１９を生成する。いくつかの実施例では、変換されたデータフローグラフ１９は、１つ以上のデータフローグラフ最適化ルールを変換されたデータフローグラフに適用して、最適化適用前の変換されたデータフローグラフの計算効率と比較して、変換されたデータフローグラフの計算効率を改善することによって最適化されたデータフローグラフである（又は、最適化されたデータフローグラフに変換される）。データフローグラフ最適化ルールとしては、例えば、図４Ｄに関連して以下に記載するように、例えば、とりわけ、デッド若しくは冗長コンポーネントの削除、早期フィルタリング、又はレコードの縮小が挙げられ得る。

ここで図４Ａを参照すると、計算グラフ（例えば、データフローグラフ１７）を編集するための例示的なグラフィックエディタインターフェース５０が示されている。エディタＵＩジェネレータ１４は、クライアントデバイス２０にＵＩデータ３０を提供して、クライアントデバイスにグラフィカルエディタインターフェース５０を生成させる。一般に、グラフィックエディタインターフェースは、キャンバス部分５２と、カタログ部分５４と、を含む。カタログ部分５４は、データセット選択アイコン５５ａ~５５ｎを含むデータセット選択部分５５と、変換選択アイコン５７ａ～５７ｎを含む変換選択部分５７と、を含む。データセット選択アイコン５５ａ～５５ｎは、記憶システム２６に記憶され、データセット選択アイコンによって表される、対応する要素（例えば、データソース又はデータシンク要素３５ｂ’）を参照する。いくつかの実施例では、これらの要素は、動作が実行され得るか、又はデータが記憶され得るデータセット（又はデータセットへのポインタ）を含み得る。変換選択アイコン５７ａ～５７ｎは、記憶システム２６に記憶され、変換選択アイコンによって表される、対応する要素（例えば、動作要素３５ａ’）を参照する。いくつかの実施例では、これらの要素は、実行される動作のタイプ（例えば、書き込み動作、結合動作など）を指定するデータ（又はデータへのポインタ）を含む。

動作中、クライアントデバイス２０のユーザは、変換選択部分５７からアイコン（例えば、変換選択アイコン５７ａ～５７ｎのうちの１つ）を選択し、例えば、アイコンをキャンバス５２にドラッグする。ユーザはまた、カタログ選択部分５５からアイコン（例えば、データセット選択アイコン５５ａ～５５ｎのうちの１つ）を選択し、例えば、アイコンをキャンバス５２にドラッグする（キャンバス５２上の所望の変換選択アイコン上にデータセット選択アイコンをドラッグすることを含み得る）。この例では、記憶されたデータ構造又は他の記憶データは、図４Ｃに関連して以下に記載するように、データフローグラフ１７の修正に使用される要素（例えば、動作要素３５ａ’及びデータソース又はデータソース要素３５ｂ’）にアイコンを関連付ける。ユーザの選択により、データフローグラフエンジン１６は、選択されたデータセット選択アイコン及び選択された変換選択アイコンを示すデータなどアイコン選択データ３２を、生成されたエディタインターフェースから受信する。キャンバス５２内のアイコンは、例えば、グラフ生成システム１２によって自動的に接続され得る。いくつかの実施例では、キャンバス５２内で、あるアイコンを別のアイコンの下に配置すると、グラフ生成システム１２にこれらのアイコン間を自動的に接続させるように、アイコンが自動的に接続される。いくつかの実施例では、ユーザは、アイコンを接続する選択権を有する。

図４Ｂは、キャンバス部分５２に完成したデータフローグラフの視覚表現６０を有するエディタインターフェース５０を示す。完成したデータフローグラフの視覚表現６０（便宜上本明細書では、完成したデータフローグラフ６０とも呼ばれる）は、ユーザがカタログ部分５４からアイコンを選択し（例えば、データセット選択部分５５及び変換選択部分５７から選択し）、所望の配置でキャンバス５２上にアイコンを配置することによって生成された。図４Ａから図４Ｂへと進むために、ユーザは、アイコン（例えば、アイコン５５ａ～ｎ、５７ａ～ｎ）をキャンバス５２にドラッグして、所望の視覚データフローグラフ６０を生成することができる。完成したデータフローグラフ６０は、データセットＩに適用される読み取り動作を表す第１のコンポーネントアイコン６０ａと、データセットＩＩに適用される読み取り動作を表す第２のコンポーネントアイコン６０ｂと、キー値に基づいて、データセットＩ及びデータセットＩＩに適用される結合動作を表す第３のコンポーネントアイコン６０ｃと、結合動作６０ｃの出力に適用される再フォーマット動作を表す第４のコンポーネントアイコン６０ｄと、再フォーマット動作６０ｄの結果に適用されるフィルタ動作を表す第５のコンポーネントアイコン６０ｅと、フィルタ動作６０ｅの結果に適用されるロールアップ動作を表す第６のコンポーネントアイコン６０ｆと、データシンクＩに適用される書き込み動作を表す第７のコンポーネントアイコン６０ｇと、を含む。

完成したデータフローグラフ６０を構成する選択されたデータセットアイコン及び選択された変換アイコン（及びいくつかの実施例では、それらの配置）を示すアイコン選択データ３２は、データフローグラフエンジン１６によって受信される。図４Ｃに示されるように、データフローグラフエンジン１６は、選択データ（例えば、アイコン選択データ３２）に基づいてデータフローグラフ１７を修正して選択された要素を含め、指定されたデータフローグラフ（例えば、視覚化６０で視覚化された、指定されたデータフローグラフ）の機能を有する完成されたデータフローグラフ１７を生成する。そのようにするために、データフローグラフエンジン１６は、アイコン選択データ３２を処理して、アイコン選択データに対応する動作要素３５ａ’又はデータ要素３５ｂ’、又はその両方を識別する。次いで、データフローグラフエンジン１６は、識別した要素３５ａ’、３５ｂ’を使用して、データフローグラフ１７の各ノード３４ａ～３４ｎのフィールド３５ａ、３５ｂを追加（又は修正）することによってデータフローグラフ１７を生成する。例えば、データフローグラフエンジン１６によって受信されたアイコン選択データ３２は、データフローグラフ６０が、データセットＩを表すデータ選択アイコン５５ａに適用される読み取り動作を表す変換選択アイコン５７ａを含むように指定し得る。データフローグラフエンジン１６は、選択されたアイコン５７ａを、読み取り動作を表す動作要素３５ａ’に関連付ける、１つ以上の記憶データ構造又は他の記憶データを用いてこのアイコン選択データ３２を処理し得る。次いで、データフローグラフエンジン１６は、データフローグラフ１７のノード（例えば、ノード３４ａ）の動作フィールド３５ａに読み取り動作に対応する動作要素３５ａ’（又は動作要素３５ａ’を指すリンク）を追加（又は修正）し得る。同様に、この例では、データフローグラフエンジン１６は、データセット選択アイコン５５ａを、データセットＩを表すデータソース要素３５ｂ’に関連付ける、１つ以上の記憶データ構造又は他の記憶データを用いて、受信したアイコン選択データ３２を処理し得る。次いで、データフローグラフエンジン１６は、データフローグラフ１６のノード３４ａのデータフィールド３５ｂに、データセットＩに対応するデータソース要素３５ｂ’（又はデータソース要素３５ｂ’を指すリンク）を追加（又は修正）し得る。

ここで図４Ｄを参照すると、完成した（例えば、修正した）データフローグラフ１７が変換エンジン１８に提供される。一般に、完成したデータフローグラフ１７は、（１）冗長データ処理動作を表すノードを含み得る；（２）結果がその後に使用されないデータ処理動作を実行する必要があり得る；（３）並列処理が可能である場合、順次処理を不必要に実行する必要があり得る；（４）所望の結果を得るために必要とされるよりも多くのデータにデータ処理動作が適用され得る；（５）複数ノードにわたる計算が生じ、各データフローグラフノードのデータ処理が、コンピュータプログラムの専用スレッド、専用コンピュータプログラム（例えば、オペレーティングシステム内のプロセス）、又は専用計算デバイスによって実行される場合には、計算を実行する計算コストが著しく増加し得る；（６）より少量の計算を必要とするより弱いタイプのデータ処理動作（例えば、グループ内並べ替え動作、グループ内ロールアップ動作など）で十分である場合に、より大量の計算を必要とするより強いタイプのデータ処理動作（例えば、並べ替え動作、ロールアップ動作など）を実行する必要があり得る；（７）処理作業の重複を必要とし得る；又は（８）とりわけ、データ処理に有用な、若しくは必要な動作又は他の変換、又はそれらの組み合わせを含まないことがあり得る。

したがって、変換エンジン１８は、データフローグラフ１７で指定された動作に従ってデータを処理するために、又は最適化若しくは変換を行わないデータの処理と比較して、データフローグラフ１７で指定された動作に従ってデータの処理を改善するために有用である、又は必要とされ得る、以下の最適化若しくは他の変換のうちの１つ以上、又はその両方をデータフローグラフ１７に適用する。例えば、上述のように、ユーザは、所望のアイコンを選択し、並べ替え及び分割動作など低レベルの実施詳細を指定する必要なく、それらのアイコンをキャンバスに配置することによって、データフローグラフ１７を作成し得る。しかしながら、これらの動作は、データフローグラフをコンパイルし、実行して、データフローグラフ１７で指定された動作に従ってデータを処理するために、変換されたデータフローグラフ１９において有用であり得る、若しくは必要とされ得るか、又はデータフローグラフ１７で指定された動作に従ったデータの処理を改善し得るか（例えば、処理速度を上げること、計算リソースの消費を低減することなどによって）、又はその両方であり得る。したがって、変換エンジン１８は、変換されたデータフローグラフ１９に、とりわけ並べ替え動作、データ型動作、指定キーとの結合動作、分割動作、自動並列動作、又はメタデータを指定する動作など１つ以上の動作を追加して、データフローグラフ１７で指定された動作を最適化し得るか、又は実施し得る。変換されたデータフローグラフ１９に追加された動作のうちの少なくともいくつかは、データフローグラフ１７に存在しないか、ないしは別の方法で表されていないことがある。

いくつかの例では、これらの動作を追加するために、変換エンジン１８は、追加される動作を表す１つ以上のノード３４を、変換されたデータフローグラフ１９を生成するために使用されるデータフローグラフ１７に挿入し得る。いくつかの例では、変換エンジン１８は、データフローグラフ１７のノードを修正することなく、変換されたデータフローグラフ１９内で追加される動作を直接挿入することができる。変換エンジン１８は、これらの動作を、それらの対応する変換されたデータフローグラフ１９の生成時に全てのデータフローグラフ１７に追加し得る、これらの動作を、データフローグラフ１７に含まれる動作（以下に記載するようにパターンマッチング技術を使用して識別され得る）に基づいて追加し得る、又はいくつかの他の最適化ルールに基づいてこれらの動作を追加し得る。

変換エンジン１８はまた、１つ以上のデータフローグラフ最適化ルールをデータフローグラフに適用して、変換されたデータフローグラフの計算効率を改善することによって、とりわけ、デッドコンポーネント若しくは冗長コンポーネントを削除することによって（例えば、デッドコンポーネント若しくは冗長コンポーネントに対応する１つ以上のノード３４を削除することによって）、データフロー内の以前のフィルタリング工程を移動することによって（例えば、フィルタリングコンポーネントに対応する１つ以上のノード３４を移動することによって）、又はレコードを縮小することによって、データフローグラフ１７（又は変換されたデータフローグラフ１９自体）を最適化し得る。このようにして、変換エンジン１８は、容易に修正可能なデータフローグラフ１７を最適化し、コンパイルに好適である、最適化された、変換されたデータフローグラフ１９に変換する。

本明細書に記載のデータフローグラフの最適化は、以下の最適化手段のうちの１つ以上を含み得る。データフローグラフの追加の最適化は、米国特許出願第１５／９９３，２８４号、名称「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄａｔａｆｌｏｗ Ｇｒａｐｈ Ｏｐｔｉｍｉｚａｔｉｏｎ」に記載されている最適化のうちの１つ以上を含み得、その全内容は、参照により本明細書に組み込まれる。

いくつかの例では、変換エンジン１８は、それぞれの動作を表す、データフローグラフ１７内の２つの隣接するノード（例えば、ノード３４）を識別し得、第２の動作は、動作のうちの１つが冗長であるように、第１の動作の効果を複製するか、又は無効化する。したがって、変換エンジン１８は、変換されたデータフローグラフ１９の生成時に、冗長動作を表すノード３４（例えば、複製された動作又は無効化された動作を表すノード）を削除することによってデータフローグラフ１７を最適化し得る。例えば、変換エンジン１８は、同一動作を有する２つの隣接するノード３４を識別し得る。同一動作を実行する２つの隣接するノードは、典型的には冗長であるため、両方の動作を実行する必要はなく、２つの隣接するノードのうちの１つを削除して、データフローグラフを最適化することができる。別の例として、変換エンジン１８は、再分割動作（異なる計算デバイスでの並列処理のためにデータを分割する）を表す第１のノード、続いて、シリアル化動作（単一の計算デバイスによる順次処理のために全データを統合するように動作する）を表すノードを有する２つの隣接するノード３４を識別し得る。再分割の効果は、後続のシリアル化動作によって無効化されるため、再分割動作を実行する必要はなく（例えば、再分割動作は冗長である）、再分割動作は、最適化プロセス中に変換エンジン１８によって削除され得る。

いくつかの例では、変換エンジン１８は、他の動作を表す１つ以上の他のノードと交換可能である、第１の動作を表す第１のノードを識別し得る。第１のノードが１つ以上の他のノードに交換可能である場合、変換エンジン１８は、１つ以上の他のノードのうちの少なくとも１つを用いて第１のノードの順序を変更することによって（例えば、ノード３４の順序を組み替えることによって）、データフローグラフを最適化することができる。このようにして、変換エンジン１８は、結果を変更せずに、データフローグラフによる処理効率、速度を改善するか、ないしは別の方法で最適化する方法で、ノード及び対応する動作を順序付けることによって、データフローグラフを最適化することができる。更に、このようにノードを交換することにより、変換エンジン１８は、他の最適化を適用することが可能であり得る。前の例を再び参照すると、変換エンジン１８は、第１の並べ替え動作を表す第１のノードが第２の並べ替え動作を表す第２のノードに隣接して配置されるように、１つ以上の他のノードのうちの少なくとも１つを用いて第１のノードの順序を変更し得る。結果として、第１の並べ替え動作及び第２の並べ替え動作は冗長になり、変換エンジン１８は、第１の並べ替え動作又は第２の並べ替え動作のうちの１つを削除することによって（例えば、変換されたデータフローグラフ１９の生成時に、データフローグラフ１７から対応するノード３４を削除することによって）、データフローグラフを最適化することができる。

いくつかの例では、変換エンジン１８は、未使用である、ないしは別の方法で不要である動作を表す「デッド」ノードを識別し、削除し得る。例えば、変換エンジン１８は、結果が参照されないか、又は使用されない動作（例えば、並べ替え動作から生じた順序が不要であるか、又はその後の処理で依拠されていないために参照されない、並べ替え動作）を表す１つ以上のノードを識別し得る。したがって、変換エンジン１８は、デッド動作又は未使用動作を削除することによって（例えば、変換されたデータフローグラフ１９の生成時に、対応するノード３４を削除することによって）データフローグラフを最適化し得る。

いくつかの例では、変換エンジン１８は、１つ以上のノードで強度低減最適化を実行することができる。例えば、変換エンジン１８は、第１の種類の第１の動作（例えば、主要キーでの第１の並べ替え動作、主要キーでの第１のロールアップ動作など）を表す第１のノードを識別し、続いて、第２のより弱い種類の第２の動作（例えば、非主要キーでの第２の動作、グループ内並べ替え動作、非主要キーでの第２のロールアップ動作、グループ別ロールアップ動作など）を表す第２のノードを識別し得る。第１の動作によるデータ処理には、第２のより弱い動作によるデータ処理データよりも多くの計算リソースを必要とし得るため、変換エンジン１８は、第１の動作を第２の動作と置き換える強度低減最適化を実行し得る（例えば、第１のノードの動作要素３５ａ’若しくはデータ要素３５ｂ’、又はその両方を第２のノードのそれらと置き換えることによって）。

更に別の例として、変換エンジン１８は、２つ以上のノードを統合することによって、データフローグラフを最適化し得る。例えば、変換エンジン１８は、１つ又は複数の計算デバイスで実行される異なるプロセスによって実行され得る動作を表す別個のノードを識別し得、別個のノード及びそれぞれの動作を単一ノードに統合することによって、データフローグラフを最適化し得、その結果、全ての動作が単一の計算デバイスで実行される単一プロセスによって実行されるようになり、プロセス間（及び潜在的にデバイス間）通信のオーバーヘッドを低減することができる。変換エンジン１８はまた、多くの他の組み合わせの中でも、組み合わされ得る２つ以上の別個の結合動作又はロールアップ動作と組み合わされ得るフィルタリング動作など、組み合わされ得る他のノードを識別することができる。

いくつかの例では、変換エンジン１８は、別々に実行されたときにより効率的であり得るいくつかの動作を実行するように構成されたノードを識別し得、並列処理用にいくつかの動作（例えば、自動並列動作）のうちの１つ以上を別個のノードに分割する、データフローグラフの直列－並列最適化を実行し得る。次いで、動作は、１つ又は複数の計算デバイスで実行される異なるプロセスを使用して並列に実行され得る。次いで、変換エンジン１８は、マージ動作を追加して、並列動作の結果をマージすることができる。同様に、いくつかの例では、変換エンジン１８は、大量のデータチャンク（例えば、大型のテーブル及びインデックスに対応するデータ）を含むデータフローグラフ内でポイントを識別し得、データフローグラフの分割最適化を実行して（例えば、自動分割動作）、データをより小さなパーティションに分割し得る。次いで、パーティションは、直列又は並列に（例えば、自動分割動作を自動並列動作と統合することによって）処理され得る。処理されるデータのサイズを低減することにより、若しくは並列処理用の動作を分けることにより、又はその両方により、変換エンジン１８は、得られたデータフローグラフ１９の効率を大幅に改善することができる。

いくつかの例では、変換エンジン１８は、変換されたデータフローグラフ１９の生成時に、幅低減最適化を実行することができる。例えば、変換エンジン１８は、データ（例えば、削除されるデータ）が後続の動作において使用されず、処理の一環として伝搬される必要はないために後続の動作の実行前にデータフローグラフの特定の時点で削除されるデータ（例えば、１つ以上のデータ列）を識別し得る。別の例として、データフローグラフ内のノードは、いくつかの動作を実行するように構成され得、これらの動作の一部の結果は、未使用であり得る。したがって、変換エンジン１８は、（例えば、ノードを挿入して識別された時点でデータを削除することによって、複数の動作を実行するように構成されたノードを結果が使用される動作のみを実行するように構成された別のノードに置き換えることによって）、未使用データ、ないしは不要データを削除する幅低減最適化を実行し得る。このようにして、変換エンジン１８は、後続の動作を通じてデータを持ち運ぶためにデータフローグラフによって必要とされる計算リソースの量を低減することによって（例えば、利用されるネットワーク、メモリ、及び処理リソースを削減することによって）データフローグラフを最適化する。

１つ以上の最適化を適用するデータフローグラフ（例えば、データフローグラフ１７）の部分を識別するために、変換エンジン１８（又はグラフ生成システム１２の別のコンポーネント）は、データフローグラフパターンマッチング言語を用いることができる。データフローサブグラフパターンマッチング言語は、以下で詳述するように、最適化のためにデータフローグラフ内の特定のノード又は動作を識別するために１つ以上の表現を含み得る。例えば、パターンマッチング言語は、統合動作最適化ルールを使用して、データフローグラフ内の単一ノードによって統合され、表され得る、それぞれの一連の計算を表す、少なくとも閾値長さ（例えば、少なくとも２、３、４、５など）の一連のノードを識別するための表現を含み得る。かかるパターンを識別することは、上記の統合動作最適化ルールの適用を容易にし得る。１つのかかる表現の好ましいが非限定的な例は、「Ａ→Ｂ→Ｃ→Ｄ」であり、統合され得る一連の４つの連続するデータ処理動作を識別するのに役立ち得る。

別の例として、パターンマッチング言語は、特定の種類のノードが他のノードと交換可能であってデータフローグラフを最適化する、データフローグラフの部分を識別するための表現を含み得る。これは、複数の異なる種類の最適化ルールをデータフローグラフに適用することを促進し得る。データ処理システムが、処理結果を変更することなくデータフローグラフ内の１つ以上のノードの順序を変更できると判定すると、データ処理システムは、最適化ルールを適用可能な部分を識別するために、（交換動作を通じて利用可能な自由度によって許可されるように）データフローグラフの構造に対する変更を検討することが可能になる。交換ベースの変更を検討した結果として、１つ以上の最適化ルールが、そうでなければルールが適用可能ではないグラフの一部に適用可能になり得る。

例えば、上述のように、最適化ルールは、それぞれの並べ替え動作を表す初期データフローグラフ内の２つの隣接するノードを識別することを含み得、第２の並べ替え動作は、第１の動作が冗長であるように第１の動作の効果を無効化する。定義により、かかる最適化ルールは、並べ替え動作を表す隣接するノードを有しないデータフローグラフには適用されない。しかしながら、第１の並べ替え動作を表す第１のノードが１つ以上の他のノードと交換可能である場合、第１の並べ替え動作を表す第１のノードが第２の並べ替え動作を表す第２のノードに隣接して配置されるように、１つ以上の他のノードのうちの少なくとも１つを用いて第１のノードの順序を変更することが可能であり得る。このようにノードを交換する結果として、冗長な第１の並べ替え動作を削除する最適化ルールがデータフローグラフに適用され得る。

したがって、いくつかの例では、パターンマッチング言語は、データフローグラフ内でのノードの順序が変更され得る状況において、データフローグラフのサブグラフを識別するために１つ以上の表現を含み得る。一例として、表現「Ａ→（．．．）→Ｂ」（Ａ及びＢのそれぞれは、並べ替え、マージなど任意の好適なデータ処理動作であり得る）は、ノード「Ａ」（例えば、動作「Ａ」を表すノード）及びノードＢ（動作Ｂを表す）、並びにノードＡと交換可能である、ノードＡとノードＢとの間にある１つ以上のノード（例えば、ノードの順序が変更される場合、これらのノードによって実行される処理の結果は変化しない）を有するデータフローグラフの部分を見出すために使用され得る。かかる部分が識別されると、データフローグラフは、ノードＡをノードＢに隣接するように移動させて、部分「ＡＢ」を得ることによって変更され得るか、又は最適化され得る。特定の例として、データフローグラフがノードＡＣＤＢを有し、動作Ａが動作Ｃ及びＤと交換可能である場合、データフローグラフは、「ＣＤＡＢ」になるように変更され得る。次に、変換エンジン１８は、最適化ルールが部分「ＡＢ」に適用されるかどうかを検討し得る。例えば、動作Ａが並べ替えであり、動作Ｂが並べ替えであった場合、変換エンジン１８は、これら２つの並べ替えが単一の並べ替えで置き換えられて、データフローグラフを最適化し得るかどうかを判定しようと試み得る。

別の例として、表現「Ａ→（．．．）→Ｂ^＊」は、ノードＡ、第２のノードＢ、及びノードＢと交換可能である、これらのノード間にある１つ以上のノードを有するデータフローグラフの部分を見出すために使用され得る。特定の例として、データフローグラフがノードＡＣＤＢを有し、動作Ｂが動作Ｃ及びＤと交換可能である場合、データフローグラフは、「ＡＢＣＤ」となるように変更され得るか、又は最適化され得る。次に、変換エンジン１８は、最適化ルールが部分「ＡＢ」に適用されるかどうかを考慮し得る。

別の例として、表現「Ａ→（．．．）→Ｂ^＊＊」は、ノードＡ、ノードＢ、及びノードＢと交換不能である、ノードＡとノードＢとの間にある１つ以上のノード（例えば、Ｃ及びＤ）を有するデータフローグラフの部分を見出すために使用され得る。その場合、システムは「プッシュ」交換を試み得る（可能であれば、ノードＣ及びＤがノードＡの左側へとプッシュされる）。特定の例として、データフローグラフがノードＡＣＥＤＢを有し、動作Ｂが動作Ｅと交換可能であるが、動作Ｃ及びＤとは交換不能であるとすると、データフローグラフは、「ＣＤＡＢＥ」となるように変更され得る。つまり、ＢはＥと交換されるが、Ｃ及びＤはＡの左側へとプッシュされる。

更に別の例として、表現「Ａ^＊＊→（．．．）→Ｂ」は、ノードＡ、ノードＢ、及びノードＡと交換不能である、ノードＡとノードＢとの間にある１つ以上のノード（例えば、Ｃ及びＤ）を有するデータフローグラフの部分を見出すために使用され得る。その場合、システムは「プッシュ」交換を試み得る（可能であれば、ノードＣ及びＤがノードＢの右側へとプッシュされる）。特定の例として、データフローグラフがノードＡＣＥＤＢを有し、動作Ａが動作Ｅと交換可能であるが、動作Ｃ及びＤとは交換不能であるとすると、データフローグラフは、「ＥＡＢＣＤ」となるように変更され得る。つまり、ノードＡはＥと交換されるが、Ｃ及びＤはＢの右側へとプッシュされる。

一般に、最適化及び変換プロセスは反復であり、最適化又は変換（１８ａ）の各反復により、試験（１８ｂ）が、更なる最適化又は変換は不可能である、不要である、又は所望されないことを示すまで、データフローグラフ１７は変換される。例えば、変換エンジン１８は、（１）第１の最適化ルールを選択すること、（２）第１の最適化ルールを適用するデータフローグラフ１７の第１の部分を識別すること、及び（３）第１の最適化ルールをデータフローグラフ１７の第１の部分に適用すること、によって、データフローグラフ１７を変換し得る。その後、データ処理システムは、本明細書に記載の別の１つ以上の追加の最適化がデータフローグラフ１７に適用可能であるかどうか、又はコンパイルされ、実行され得る変換されたデータフローグラフ１９を生成するために必要であるかどうかを判定し得る。追加の最適化が適用可能である場合、変換エンジン１８は、（１）第１の最適化ルールとは異なる第２の最適化ルールを選択すること、（２）第２の最適化ルールを適用するデータフローグラフ１７の第２の部分を識別すること、及び（３）第２の最適化ルールをデータフローグラフ１７の第２の部分に適用すること、によって、データフローグラフ１７の更新を続行し得る。

更なる最適化又は変換が存在しない時点で、変換エンジン１８は、変換されたデータフローグラフ１９をコンパイラシステム２２に出力し、コンパイラシステム２２は、変換されたデータフローグラフ１９を実行可能な計算グラフ（例えば、実行可能なプログラム２３）にコンパイルし、この実行可能な計算グラフは、実行及び記憶のためにデータ処理システム２４及び記憶システム２６に提供される。

図５は、計算データフローグラフを生成するための例示的なプロセス５００のフローチャートを示す。プロセス５００は、例えば、システム１０の１つ以上のコンポーネントによって実行され得る。

プロセス５００の動作は、データを提供して、キャンバス部分と、カタログ部分と、を含むグラフィカルエディタインターフェースを生成することを含み、カタログ部分は、キャンバス部分において、計算（５０２）のロジックを視覚的に描写するための１つ以上の選択可能なアイコンを含む。例えば、カタログ部分は、データセット選択アイコン及び変換選択アイコンを含み得、選択された各アイコンは、動作又はデータソース若しくはシンクを指定するデータカタログからデータにアクセスする命令を表し得る。

キャンバス部分に描写された計算のロジックを表すアイコン選択データを受信する（５０４）。アイコン選択データは、カタログ部分から選択され、キャンバス部分に含まれる１つ以上の選択可能なアイコンのうちの少なくとも１つを指定することができる。

受信したアイコン選択データに基づいて、第１のデータフローグラフを生成する（５０６）。第１のデータフローグラフは、データ処理における第１のコンピュータ動作を表す複数の第１のノードを含み、第１のコンピュータ動作のうちの少なくとも１つは、宣言動作である。一般に、宣言動作は、結果の達成方法を必ずしも指定せずに、データの処理の１つ以上の結果の１つ以上の特性を指定するものである。第１のノードは、キャンバス部分で指定されたロジックを表し得、第１のノードのうちの少なくとも１つは、カタログ部分から選択された選択可能なアイコンを表す。いくつかの実施例では、第１のノードの一部又は全ては、動作を保持するための動作プレースホルダフィールドと、データのソース又はシンクを保持するためのデータプレースホルダフィールドと、を含む。第１のデータフローグラフを生成することは、動作プレースホルダフィールドに保持された動作の要素を記憶システムから取得して、動作プレースホルダフィールドに動作（又は動作へのリンク）を追加（又は修正）することと、データプレースホルダフィールドに保持されたデータソース又はデータシンクの要素を記憶システムから取得して、データプレースホルダフィールドにデータのソース又はシンクを指すリンクを追加（又は修正）することと、を含み得る。

いくつかの実施例では、第１のデータフローグラフの視覚化は、例えば、グラフィカルエディタインターフェースのキャンバス部分にレンダリングされる。いくつかの実施例では、第１のノードのうちの１つ以上がラベルを付けられて、ラベル付きノードを提供する。ラベルは、キー、値、名前、及びソースのうちの１つ以上を参照し得る。いくつかの実施例では、ラベル付きノードの視覚化は、キャンバス部分にレンダリングされる。

第１のデータフローグラフは、第１のコンピュータ動作に従ってデータを処理するために第２のデータフローグラフに変換される（５０８）。第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、第２のノードのうちの１つ以上は、１つ以上の命令動作を表す。一般に、命令動作は、宣言動作によって指定されたロジックを実施する方法を（例えば、プログラミング言語又は他の機械可読コードで）指定するものである。１つ以上の命令動作は、第１のデータフローグラフ内の第１のノードによって表されない。いくつかの実施例では、第２のデータフローグラフに表され、第１のデータフローグラフには表されない第２の動作のうちの少なくとも１つは、並べ替え動作、データ型動作、指定キーとの結合動作、又は分割動作を含む。いくつかの実施例では、第２の動作のうちの少なくとも１つは、自動並列動作又は自動分割動作を含み、自動並列ノード又は自動分割ノードを第２のデータフローグラフに挿入することを含み得る。いくつかの実施例では、第２の動作のうちの少なくとも１つは、第２のノードのうちの１つ以上の間でメタデータを指定する動作を含む。いくつかの実施例では、ラベル付きノードであり得る第１のデータフローグラフの第１のノードは、計算データフローグラフである第２のデータフローグラフにコンパイルされ得る。ノード又はノードに記憶された要素は、最適化され得る。

いくつかの実施例では、第２の動作のうちの１つ以上は、（ｉ）第１のデータフローグラフで指定された第１の動作のうちの１つ以上に従ってデータを処理するために必要であるか、又は（ｉｉ）１つ以上の追加動作を伴わないデータ処理と比較して、第１のデータフローグラフで指定された第１の動作のうちの１つ以上に従ったデータ処理を改善する。

いくつかの実施例では、第２のデータフローグラフは、１つ以上のデータフローグラフ最適化ルールを第２のデータフローグラフに適用して、適用前の第２のデータフローグラフの計算効率と比較して、第２のデータフローグラフの計算効率を改善することによって、最適化されたデータフローグラフに変換される。データフローグラフ最適化ルールとしては、例えば、図４Ａ～図４Ｄに関連して以下に記載するように、例えば、とりわけ、デッドコンポーネントの削除、早期フィルタリング、又はレコードの縮小が挙げられ得る。

第２のデータフローグラフは、データストア（５１０）に記憶される。いくつかの実施例では、第２のデータフローグラフは、コンパイラシステムによってコンパイルされて、コンパイルされたデータフローグラフ（例えば、実行可能プログラム）を生成する。コンパイルされたデータフローグラフは、実行及び記憶のためにデータ処理システム及び記憶システムに提供され得る。

いくつかの実施例では、プロトタイプノードがアクセスされ、アクセスされたプロトタイプノードからパラメータをコピーして第１のノードのうちの少なくとも１つを修正するアルゴリズムが適用される。少なくとも１つのノードの少なくとも１つのパラメータは、プロトタイプノードによって上書きされない設定パラメータであり得る。プロトタイプノードは、少なくとも１つのノード上のポート又はノード自体を宣言することができる。いくつかの実施例では、プロトタイプノードは、エディタインターフェースのキャンバスに示されるコンポーネントのパラメータを宣言する。プロトタイプを適用することは、プロトタイプからの記述子で既存のパラメータの記述子を置き換え得るが、パラメータの既存の値は置き換え得ない。

字句構造：
データフローグラフ１７などデータフローグラフは、字句構造を有する。いくつかの実施例では、字句構造は、記号、キーワード、数字、文字列、コード様文字列、及び他の字句要素を含む。

記号は、文字、数字、及び句読点（例えば、アンダースコア又はピリオド）を含み得、少なくとも１つの文字は、句読点文字ではない。いくつかの実施例では、記号の最初の文字は数字であることができないというルールなど、他のルールが採用され得る。

キーワードは、小文字のみを含む短い記号を含み得る。列挙される全キーワードに対して構造（例えば、データ構造）が開発され得る。

数字は、任意の長さを有する符号付き整数であり得る。パラメータ値である数字については、大きすぎて表せない数字（例えば、ｉｎｔ８として）は、数値の代わりに文字列値を用いてパラメータに変換され得る。

文字列は、一重引用符又は二重引用符を用いて引用され得る。文字列内では、閉じ引用文字は、バックスラッシュでエスケープされ得る。

コード様文字列は括弧で引用され得る。括弧内では、一重及び二重引用文字列のように、均衡した入れ子状の括弧が許可される。この表現は、キー指定子、変換、メタデータ、及び複数行のテキストパラメータ値に使用され得る。また、括弧内では、解析中に一定のインデントが削除され、シリアル化中に再挿入される。したがって、グラフ構造と一致するインデント埋め込みデータ操作言語（data manipulation language、ＤＭＬ）である。

ポート、フロー、及び分岐：
ポートは、入力ポート及び出力ポートであり得る。各ポートは、ポートがそれらのコンポーネントのデフォルトの入力又は出力ポートではない限り、名前（例えば、「ｉｎ」、「ｏｕｔ」、「ｒｅｊｅｃｔ０」）を有する（デフォルトのポートである場合、名前は省略され得る）。ポートはフローを有する。フローは、１つの出力ポートを１つの入力ポートに接続することができる。ポートはパラメータを有する。ポートは、グラフポートに結合され得る。例えば、入力ポートはグラフ入力ポートに結合され得、出力ポートはグラフ出力ポートに結合され得る。

フローは、ノードとは別に、グラフの要素として指定され得る。フローは、ノードの上位レベルで指定され、デフォルト入力ポートへのフローを示し得るか、又は入力ポート内で指定され得る。

フローは、一連のノードを分岐に入れることによって暗黙的に指定され得る。分岐内では、新しいノードを導入するためにノードキーワードは不要である。分岐はＩＤを有し、フローがＩＤによってノードを指定することができる場合、分岐を指定することができる。分岐からのフローは、分岐の最後のノードからのフローであり得る。分岐へのフローは、分岐の最初のノードへのフローであり得る。

ノード又は分岐から１つのフローのみが存在する場合、当該ノード又は分岐は、その出力を消費するノードの内側で入れ子状になった、フローの一部として指定され得る。

グラフ要素は、グラフの他の要素を参照し得る。例えば、フローはノードを参照し得、パラメータは他のパラメータを参照し得、キーパラメータは、とりわけ、値を参照し得る。これらの参照を可能にするために、要素が導入されると、任意選択的に、ＩＤが与えられ得る。異なる要素の種類は、別個のＩＤ空間を有し得る。いくつかの実施例では、ＩＤは任意選択的であるが、ＩＤがなければ、要素を参照することができない。

パラメータ：
パラメータは、名前、ロケータであり得る値、及び解釈を有し得る。パラメータは、記号であり得る。句読文字（例えば、ピリオド）が先行するパラメータ名は、データフローグラフに対してプライベートであるとみなされ、他のグラフモデル（変換されたデータフローグラフなど）でのパラメータの生成には使用されない。他の文字パターン（例えば、先行する２つのピリオド）で開始するパラメータ名は遷移状態とみなされ、デフォルトでは、グラフと共に保存されない。これは、コマンドで上書きされ得る。

パラメータは、それらに値を与えることによって定義される。パラメータ値は、文字列としてグラフパラメータに翻訳され得るが、他の形態は許可され得る。これらの他の形態は、内部モデルに、またシリアル化時に保存される。重複排除などグラフアルゴリズムでは、２つのパラメータの構造型が同一であり、それらの値が同一である場合、２つのパラメータは同一とみなされ得る。パターンマッチングでは、パターンパラメータの型が制御する（例えば、実際のパラメータは、当該型に変換されるパターンと比較される）。これにより、パターンは、例えば、パラメータ「ｓｏｒｔｅｄ」が整数値１又は文字列値「ｔｒｕｅ」（又は典型的には「ｔｒｕｅ」として解釈されることになる他のパラメータ値のうちのいずれか）を有するノードに一致する「ｐａｒａｍ ｓｏｒｔｅｄ＝ｔｒｕｅ」を使用して、ｔｒｕｅの値のパラメータをアサートすることができる。

パラメータは、指定の位置に位置し得る。他のグラフモデルの生成時には、ロケータを保存することができる。パラメータの値を利用するアルゴリズムは、ロケータパスを解決し、ファイルの内容を読み取ることができる。

グラフレベルのパラメータはデータフローグラフ１７を変換されたデータフローグラフ１９など他のグラフモデルに翻訳するときに、宣言を使用することができる。宣言は、多数の部分（例えば、入力又は出力パラメータ、パラメータの型、必須パラメータ、エクスポートされたパラメータ、パラメータコマンドラインインターフェース、環境から読み取られたパラメータ）を有し、それぞれデフォルト状態を有し得る。宣言のデフォルトは、特別なパラメータに値を提供することによって上書きすることができる。

ノードプロトタイプ又は置換ノード内では、パラメータは、記述子を有し得る。記述子を使用して、パラメータの編集に使用されるユーザインターフェース及びパラメータ値に適用される検証を決定することができる。一例では、記述子は、パラメータキーワードの直後のプロパティのセットである。

パラメータ記述子は、言語においてオープンエンドであり得る。例えば、新しいフィールドはプロトタイプファイルで使用され、実行時にコードを全く変更することなく、ユーザインターフェースで認識され得る。パラメータ値は、以下に記載する内蔵「apply－prototypes」パス内の記述子に対して、置換が生じるたびに検証される。

読み書き可変グラフ：
データフローグラフは、コマンドラインユーティリティを使用することなどによって、ファイル又はコマンドライン引数から読み取られ得る。

以下は、本明細書に記載の字句構造を使用した、完全なデータフローグラフの例である。

データフローグラフのプロトタイプ：
パラメータ値は、パラメータとしてではなく引数としてスクリプトに現れることがあり、他のグラフモデルではパラメータを生成しない。代わりに、このパラメータは、データフローグラフ変換コードに対する命令であり、生成され、翻訳されたコンポーネントのコンポーネントパスを設定する。プロトタイプは、かかる種類の各ノードが、かかる同一のパラメータ値を有することを可能にする。

いくつかの実施例では、プロトタイプはデータフローグラフの一部として指定される。プロトタイプは直ちに適用されないことがあるため、グラフの解析及びシリアル化による変更は生じない。内蔵アルゴリズムは、プロトタイプからのパラメータをコピーするために提供され得る。設定済みのパラメータは、プロトタイプによって上書きされない。トランスレータによって使用される共通コンポーネントの種類は、列挙されており、名前を有する。可変ユーティリティは、コンポーネントのプロトタイプのデフォルトセットを生成する。これにより、明示的な指定の必要なパラメータが少なくなるため、グラフの生成が容易になる。

プロトタイプは、プロトタイプアルゴリズムを適用すること、新しいノードを導入するアルゴリズム内のコードでプロトタイプルーチンを明示的に呼び出すことなどによって、いくつかの状況で、又はマッピングルールの適用によるノードの生成時に常に適用される。

プロトタイプはまた、編集インターフェースを提示する際に使用するために、ノード、ポート、及びコンポーネントのパラメータを宣言するために使用され得る。この使用法は、以下の「ＰＲＯＴＯファイル」に記載する。

プロトタイプの適用により、パラメータの既存の値が置き換えられることはない。しかしながら、プロトタイプの適用により、既存パラメータの記述子がプロトタイプからの記述子で置き換えられる。これにより、パラメータの型に関する情報を記述子に配置することが可能になり、パラメータ値に適用される。

データフローグラフのラベル：
ノードは、ゼロ以上のラベルを有し得る。コンポーネントがノードから生成されるとき、ノードのラベルは先頭文字が大文字になり、組み合わせてコンポーネントラベルを形成する。ノードが統合されると、それらのラベルセットも統合され得る。いくつかの実施例では、ラベルに優先権が割り当られて、ラベルの増殖を低減し、有意な最終ラベルを生成することができる。ラベルは、名付きラベルであり得、とりわけ、ソース、キー、又は値を指し得る。

データフローグラフのアルゴリズム：
いくつかの実施例では、１つ以上のアルゴリズムを適用してデータフローグラフを変換又は最適化することができ、アルゴリズムとしては、とりわけ、パターンマッチングパス、（上記の）プロトタイプを適用する内蔵パス、重複排除を行う内蔵パス、明示的複製を行う内蔵パス、及びフローをアンクロスする内蔵パスが挙げられる。

いくつかの実施例では、データフローグラフのアルゴリズムは、パターンマッチングパスを含む。パターンマッチングパスは、ルールを含み、各ルールは、パターンと、置換と、を有する。パターンは、パターンが一致するために必要なパラメータ値を指定し得る。パターンは、２つ以上のノードを含み得る。ノードの種類はワイルドカード化され得るが、そうすることにより、計算コストが高くなり得る。置換は、ゼロノード（グラフの一致セクションを完全に除去するため）、単一ノード、又はフローによって接続された複数のノードからなり得る。ワイルドカードのノード種類がパターンで使用された場合、当該ワイルドカードが一致したノード種に結合され、置換で使用され得る。

いくつかの実施例では、データフローグラフのアルゴリズムは、重複排除パスを含む。重複排除パスは、機能的に同一であるサブグラフを見出し、それらを統合する。２つのノードは、入力フローを有しない場合、又はそれらの入力フローが同一ノードからのフローであり、それらのパラメータが一致する場合、同一であるとみなされる。いくつかの実施例では、ノードが同等であるかをチェックするときに、出力フローは重視されない。ラベルはまた、ノードの同等性を試験するために重視されないことがある。

重複排除で組み合わされる２つのノードは、入力ノードから全てのラベルを収集することができる。重複排除は、単一ポートからの複数の出力フローを有するノードをもたらし得る。重複排除はまた、フローが単一ポートから分岐し、次いで再収束するバブルをグラフ内にもたらし得る。他のアルゴリズムは、以下に記載するように、明示的複製内蔵パス及びアンクロスフロー内蔵パスを含む。

いくつかの実施例では、データフローグラフのアルゴリズムは、明示的複製パスを含む。データフローグラフでは、ごく少ないコンポーネントの種類が、出力ポートからの複数のフローをサポートする。しかし、データフローグラフモデルは、任意のポートに対する複数のフローの出入りを可能にし得る。明示的複製パスは、「複製」種類を有し、複数の出力フローを有する任意のポートの下流の他のプロパティを有しないノードを生成し、フローを当該ノードに移動させる。その後のパターンマッチングパスは、これらの一部をマルチ出力に再フォーマットし得る。

いくつかの実施例では、データフローグラフのアルゴリズムは、アンクロスフローパスを含む。アンクロスフローパスは、ギャザーポートへとフローを並べ替え、結合時に入力ポートの番号を付け直すことによってグラフを平坦化しようと試みる。多くのグラフが平面ではないため、これは、ヒューリスティックアルゴリズムである。

データセットカタログとのデータフローグラフの統合：
データソースカタログは、データソースに関するメタデータ、とりわけデータへのアクセスに使用されるＵＲＬ、データのレコード形式、存在する場合は並べ替えキー及び分割キータなどを記憶する。データフローグラフ１７は、クエリインスタンスのカタログ若しくはＣａｔａｌｏｇ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＣＩＦ）ファイルにエクスポートされたカタログを使用すること、又はデータソース情報をグラフに直接埋め込むことができる。

例えば、システムが可変ユーティリティをカタログファイルに割り当てる場合、グラフは、当該カタログにおいて名前でデータソースを参照することができる。データソースを導入したため、そのプロパティは、データフローグラフの他の場所で参照することができる。ソースパラメータは、データフローグラフ１７を処理する後の段階において解決することができ、それにより、特定のパラメータ値のソースが明確なままになる。これは、パラメータが大きい場合に特に有用である。

データフローグラフの拡張：
データフローグラフは、値指向処理及びグラフセマンティクスのために拡張することができる。いくつかの実施例では、データフローグラフは、とりわけ、アスペクト、式値、内蔵パス、ビア、ギャザー、マージ、フローの統合、及びアスペクトの伝播を使用することによって拡張することができる。

アスペクトは、グラフのフローに沿って伝播するいくつかの情報又はメタ情報である。主な例は、値である。値は、グラフ内の１つのノードで計算され、更に下流の任意のノードで使用することができる。他のアスペクトとしては、とりわけ、フローに沿って存在する行のセット（行セット）、それらの行の順序（順序）、及び並列データのための分割キー（パーティション）が挙げられる。ノードのレイアウトも同じ機構によって伝搬されるため、レイアウトは別のアスペクトとして処理され得る。

新しいアスペクトは、（任意選択の）「新しい」キーワードを用いて導入される。値は、通常、後に参照され得るように、ＩＤを与えられる。他のアスペクトは、シングルトンであり、最新のアスペクトのみが参照可能であるため、ＩＤなしで参照され得る。アスペクトは、明示的に削除されるまで、又は（非値の場合に）置換されるまで導入されるノード又はポートの下流のノードにおける参照に利用可能である。

アスペクトは、ノードの効果をモデル化するために使用され、その結果、システムは、効果を有するノード、及び並べ替え可能であり得るノードを示すことができる。値は、このように使用され、また、ポート上のメタデータを、変換機能の生成時に決定する。

新しい式値は、ＤＭＬ式から構築され得る。式は一定であり得るか、又はＩＤによって他の値を参照することができる。式値はまた、正に出力に適した型のみで値を構築するために使用される。

いくつかの実施例では、内蔵パスを使用して、共通アスペクトを組み合わせ、組み合わせを折り畳むことができる。例えば、値が１回計算され、依然として有効である場合、同じ式を用いた新しい値は冗長であり、代わりに既存の値が使用され得る。

いくつかの実施例では、空のノードを削除するために、内蔵パスが使用され得る。例えば、ノードがデータソースに書き込むか、新しい値若しくは他のアスペクトを導入するか、又は「ｄｅｌ」で値又は他のアスペクトの寿命を終了させる場合、ノードは「副作用」を有する。副作用を有しないノードは、空とみなされ、パス「ｒｅｍｏｖｅ－ｅｍｐｔｙ－ｎｏｄｅｓ」は、空のノードを削除する。一部のノードは除外され得る。例えば、「ｋｅｅｐ－ａｌｉｖｅ」フラグセットを有する任意のノード、又はグラフレベルのポートに結合されたポートを有する任意のノード、又は単一の統一ポートに対する複数の入力フローを有する任意のノードである。

（自己結合でのように）分岐し、次いで再収束するパスを含むグラフでは、同一の値が複数のパスに沿ってノードを到達することが可能である。結合において、異なる経路に沿った値は、異なる値になる。これは、値が到着したポートを示す「ビア」値を導入することによって行われる。ビア値は、参照する値の寿命を終了させ、いずれの下流参照も、ビア値を使用する。

いくつかの実施例では、曖昧さがある場合にのみビア値が必要であり、ツリー形状を有するグラフにはビア値は不要であるべきである。重複排除パスは、再収束フローを導入するため、ビア値を導入する。

複数のフローが単一の入力ポートに到着すると、複数の行セットが単一の行セットに統合され得る。入力フローの値は、互いに一致して、出力用に統一形式を生成する。値が全フローに沿って入力ポートに到着する場合、明示的な統一は不要であり、値は、入力ポートの下流に単一の値として見える。値がフローの一部のみに沿って入力ポートに到着する場合、入力ポートの下流に見ることはできない。

新しいアスペクト（特定の値）は、ノード又はポートにおいて導入され得る。次いで、このアスペクトは、伝播ルールに従って、当該ポートの下流に見ることができる。一般に、アスペクトはフローに沿って、結合を超えてグラフレベルのポートに伝播する。出力ポートにおいて導入されたアスペクトは、当該出力ポートからフローの外に伝搬する。ノードにおいて導入されたアスペクトは、当該ノードの出力ポートの全てに、またそこから伝播する。入力ポートにおいて導入されたアスペクトは、全体としてノードに伝搬し、そこからその出力ポートに、またそれらのフローを下って伝搬する。

「統一」について上述したように、複数の入力フローを有する入力ポートは、全ての入力フローに値が現れる場合、値の伝播を可能にする。更に、エラー及びログポートは、上流からデータを伝搬しないように構成可能であり得、これらは「ｐａｓｓｔｈｒｏｕｇｈ ｎｏｎｅ」とタグ付けされる。他のポートは、単一の入力ポートからのみ伝播し、これらは、当該ポートの名前でタグ付けされる。

名前、メタデータ、及び変換：
データフローグラフが最適化されて最適化されたデータフローグラフが提供されると、当該グラフは変換されたデータフローグラフ（例えば、変換されたデータフローグラフ１９）に変換される。そうするために、メタデータ及びデータフローグラフに記載されている値を計算する変換を識別することができる。

値は、導入時に名前を与えられ得る。かかる名前は、最終値名を割り当てるために使用するヒントではあるが、必須ではない。同一の所与の名前を有する２つの値がフローを超えて有効である場合、システムは、値のうちの１つに対して異なる名前を選択することができる。値名はロックされ得、その値がレコード形式で現れるときに、値が当該名を有することを示す。

値は、構造化コメントを有し得る。構造化コメントを有する値がレコード形式でフィールドとして含まれる場合、値の構造化コメントが当該フィールドに適用される。値に直接構造化されたコメントがない場合、値は構造化コメントが存在するレコードからフィールドを抽出することによって計算され、当該構造化コメントは順方向に伝播される。

内蔵パス「ａｓｓｉｇｎ－ｎａｍｅｓ」は、フロー全体において有効である全ての値が名前を有し、これらの名前が、フロー全体において有効である値のセットは、当該フローにとってレコード形式で必要とされるフィールドを決定する、値の名前は、当該レコード形式のフィールド名を決定するために使用される、同一フローにわたって機能する２つの値は、異なる名前を有する、単一ポート（ギャザー）に入る複数のフローでのレコード形式は同一である、ポートにおいて単一値に統一される特定の値について、それらの値は同一名を有する、ロックされた名前を有する値は、それらの名前を保持する、など特定のルールに従うことを確実にする。

いくつかの実施例では、内蔵の「ａｓｓｉｇｎ－ｎａｍｅｓ」パスは、ロックされた名前があらゆる解決を阻止する場合、エラーを生成し得る。そうでない場合、名前は、潜在的に、所望の名前を有する新しい値を導入する新しいノードを追加することによって割り当てられる。このパスは、順序が比較的後ろの方であるため、それらのフローにわたって有効であるフローは少なく、幅は狭い。

内蔵パス「ｓｅｔ－ｍｅｔａｄａｔａ」は、全ての値が名前を有すると仮定し、グラフ内の全ポートに「メタデータ」パラメータを割り当てる。メタデータの類似性を強化する試みが行われる。ポート上のメタデータが入力メタデータと同じ構造及びフィールド名を有する場合、入力メタデータはそのまま再利用される。唯一の相違点が、末端の改行フィールドのドロップである場合、当該フィールドは、出力に保存される。メタデータが同一ではないが、入力からの一部のフィールド名が出力に現れる場合、それらのフィールドは最初に、かつ元の順序で現れる。メタデータがデータフローグラフに存在する任意のデータソースのレコード形式について厳密に構造的に一致する場合、メタデータのレコード形式は、当該ソースに厳密に一致するメタデータ文字列又はロケータに設定される。内蔵パスの「ｓｅｔ－ｍｅｔａｄａｔａ」パスは、統一して、ギャザーボートの上流のレコード形式を同一にする他のノードを導入し得る。

別の内蔵パスは、全てのポートがメタデータを有し、各ノードの値から変換、パッケージ、及び式値パラメータを構築すると仮定する。

ＰＲＯＴＯファイル：
データフローグラフエンジの言語は、２つの部分を有する。すなわち、許可されるノード種類及びノードの編集方法を記述するプレゼンテーション層、並びに低レベルノードに関して各ノードの実施を記述するコンパイル層である。プロトタイプファイルは、言語のプレゼンテーション層を記述する。単一のプロトタイプファイルは、複数のプロトタイプ区分を含むことができる。

プロトタイプは、統計関数を呼び出すことによって統計動作を実行するノードなどノードの種類の命名のように単純であり得る。

ノード記述子は、例えば、表示名、ノードの説明（例えば、「データセットからの読み取り」）、ノードが属するカテゴリ（例えば、「データセット」）及びノードの形状を指定することによって、ノードの表示方法及びオーガナイザでの表示位置をエディタに指示する。

ノードは、入力ポート及び出力ポートを有し得る。プロトタイプでポートに言及することにより、ポートをエディタに表示させることができる。入力及び出力ポートのそれぞれが命名され得る。ノードと同様に、ポートは、結合などポートの様々な機能を記述する記述子を有し得る。

本明細書に記載の主題及び動作の実施は、デジタル電子回路、本明細書に開示された構造及びそれらの構造的均等物を含むコンピュータソフトウェア、ファームウェア、若しくはハードウェア、又はそれらの１つ以上の組み合わせで実施されることができる。本明細書に記載の主題の実施例は、１つ以上のコンピュータプログラム（データ処理プログラムとも呼ばれる）、すなわち、データ処理装置によって実行するために、又はデータ処理装置の動作を制御するためにコンピュータ記憶媒体で符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施されることができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムアクセス若しくはシリアルアクセスメモリアレイ若しくはデバイス、又はそれらの１つ以上の組み合わせであり得るか、又はそれらに含まれ得る。コンピュータ記憶媒体はまた、１つ以上の別個の物理的コンポーネント又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶デバイス）であってもよく、又はそれらに含まれてもよい。主題は、非一時的コンピュータ記憶媒体に記憶されたコンピュータプログラム命令で実施され得る。

本明細書に記載の動作は、１つ以上のコンピュータ可読記憶デバイスに記憶されたデータ、又は他のソースから受信したデータに対してデータ処理装置によって実行される動作として実施されることができる。

「データ処理装置」という用語は、例として、プログラマブルプロセッサ、コンピュータ、システムオンチップ、又は上記の複数のもの、又は組み合わせを含む、データを処理するためのあらゆる種類の装置、デバイス、及び機械を包含する。装置は、専用ロジック回路（例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）など）を含むことができる。装置はまた、ハードウェアに加えて、問題のコンピュータプログラムに実行環境を提供するコード（例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、又はそれらの１つ以上の組み合わせを構成するコード）を含むことができる。装置及び実行環境は、ウェブサービス、分散コンピューティング、及びグリッドコンピューティングインフラストラクチャなどの様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイルされた又は解釈された言語、宣言型言語、手続型言語など任意の形態のプログラミング言語で書き込まれ得、スタンドアロンプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境での使用に好適な他のユニットとしてなど任意の形態で展開され得る。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、対応しなくてもよい。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書に記憶された１つ以上のスクリプト）を保持するファイルの一部、問題のプログラム専用の単一のファイル、又は複数の協調ファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの一部を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ上で、又は１つのサイトに配置された、若しくは複数のサイトに分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行するように展開され得る。

本明細書に記載のプロセス及びロジックフローは、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって実行され、入力データに基づいて動作して出力を生成することによって動作を実行することができる。プロセス及びロジックフローはまた、専用ロジック回路（例えばＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路））によって実行することができ、装置はまた、専用ロジック回路として実施されることができる。

コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサが挙げられる。概して、プロセッサは、リードオンリーメモリ若しくはランダムアクセスメモリ又はその両方から命令及びデータを受信するであろう。コンピュータの必須要素は、命令に従って動作を実行するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、データを記憶するための１つ以上の大容量記憶デバイス（例えば、磁気、光磁気ディスク、又は光ディスク）を含むか、それらからデータを受信するか、それらにデータを転送するか、それらの両方を行うように動作可能に連結されるが、コンピュータがかかるデバイスを有する必要はない。更に、コンピュータは、別のデバイス（例えば、携帯電話、携帯情報端末（personal digital assistant、ＰＤＡ）、モバイルオーディオ若しくはビデオプレーヤ、ゲーム機、全地球測位システム（Global Positioning System、ＧＰＳ）受信機、又は携帯型記憶デバイス（例えば、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）フラッシュドライブ））に埋め込まれ得る。コンピュータプログラム命令及びデータを記憶するのに適したデバイスは、例として、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス）、磁気ディスク（例えば、内蔵ハードディスク、又はリムーバブルディスク）、光磁気ディスク、並びにＣＤ ＲＯＭ及びＤＶＤ ＲＯＭディスクなど、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用ロジック回路によって補完され得るか、又は専用ロジック回路に組み込まれ得る。

本明細書に記載の主題の実施例は、（例えば、データサーバとして）バックエンドコンポーネントを含むか、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、又はフロントエンドコンポーネント（例えば、ユーザが本明細書に記載の主題の実施例と対話することができる、グラフィカルユーザインターフェース又はＷｅｂブラウザを有するユーザコンピュータ）を含むか、又は１つ以上のかかるバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。システムのコンポーネントは、デジタルデータ通信（例えば、通信ネットワーク）の任意の形態又は媒体によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）、インターネットワーク（例えば、インターネット）、並びにピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）が挙げられる。

コンピューティングシステムは、ユーザ及びサーバを含み得る。ユーザ及びサーバは、一般に、互いに遠隔であり、通常、通信ネットワークを介して対話する。ユーザとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにユーザ－サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施例では、サーバは、データ（例えば、ＨＴＭＬページ）をユーザデバイスに送信する（例えば、データを表示し、ユーザデバイスと対話するユーザからユーザ入力を受信する目的で）。ユーザデバイスにおいて生成されたデータ（例えば、ユーザ対話の結果）は、サーバにおいてユーザデバイスから受信することができる。

本明細書は多くの特定の実施例の詳細を含むが、これらはいずれかの実施例又は特許請求され得るものの範囲に対する限定として解釈されるべきではなく、特定の実施例に特有の特徴の説明として解釈されるべきである。別個の実施例の文脈で本明細書に記載されている特定の特徴は、単一の実施例において組み合わせて実施することもできる。逆に、単一の実施態様の文脈で記載されている様々な特徴は、複数の実施例において別々に、又は任意の適切な副組み合わせで実施することもできる。更に、特徴は、特定の組み合わせで作用するように記載され、かつ更に当初はそのように特許請求され得るが、特許請求された組み合わせからの１つ以上の特徴は、場合によってはその組み合わせから削除され得、特許請求された組み合わせは、部分組み合わせ又は部分組み合わせの変形例を対象とし得る。

同様に、動作は特定の順序で図面に示されているが、望ましい結果を達成するためには、かかる動作が、示される特定の順序で、若しくは順番に実行されること、又は全ての図示された動作が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスキング及び並列処理が有利であり得る。更に、上記の実施例における様々なシステムコンポーネントを分離させることは、全ての実施例でかかる分離を必要とするものとして理解されるべきではなく、記載のプログラコンポーネント及びシステムは、一般に単一のソフトウェア製品で一体化され得るか、又は複数のソフトウェア製品にパッケージされ得ることを理解されたい。

他の実施例は、以下の「特許請求の範囲」の範囲内である。

Claims (40)

1. 第１のデータフローグラフを第２のデータフローグラフに変換するためのコンピュータ実施方法であって、前記第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、前記第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、前記方法は、
   データ処理における前記複数の第１のコンピュータ動作を表す前記複数の第１のノードを含む前記第１のデータフローグラフを生成することであって、前記複数の第１のコンピュータ動作のうちの少なくとも１つは、データ処理の１つ以上の結果の１つ以上の特性を指定する宣言動作である、ことと、
   前記第１のデータフローグラフにおいて表される少なくともいくつかの宣言動作の中からパターンを識別することと、
   前記少なくともいくつかの宣言動作の中から識別された前記パターンに基づいて、前記複数の第１のコンピュータ動作に従ってデータを処理するために前記第１のデータフローグラフを前記第２のデータフローグラフに変換することであって、前記第２のデータフローグラフは、前記複数の第２のコンピュータ動作を表す前記複数の第２のノードを含み、前記第２のノードのうちの少なくとも１つは、前記宣言動作によって指定されるロジックを実施する１つ以上の命令動作を表す、ことと、
   前記第２のデータフローグラフをデータストアに記憶することと、を含む、コンピュータ実施方法。
2. 前記第１のデータフローグラフを前記第２のデータフローグラフに変換することは、
   前記命令動作を作成することと、
   前記命令動作を表す所与の第２のノードを作成することであって、所与の前記第２のノードは、前記第１のデータフローグラフに表されない、ことと、を含む、請求項１に記載のコンピュータ実施方法。
3. 前記第２のデータフローグラフに表され、前記第１のデータフローグラフに表されない前記複数の第２のコンピュータ動作のうちの１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択される、請求項１に記載のコンピュータ実施方法。
4. 前記複数の第２のコンピュータ動作のうちの１つ以上は、少なくとも、
   （ｉ）前記第１のデータフローグラフで指定された前記複数の第１のコンピュータ動作のうちの１つ以上に従ってデータを処理するために必要であるか、又は
   （ｉｉ）前記１つ以上の追加動作を伴わないデータ処理と比較して、前記第１のデータフローグラフで指定された前記複数の第１のコンピュータ動作のうちの１つ以上に従ったデータ処理を改善する、請求項１に記載のコンピュータ実施方法。
5. １つ以上のデータフローグラフ最適化ルールを前記第２のデータフローグラフに適用して、前記適用前の前記第２のデータフローグラフの計算効率と比較して、前記第２のデータフローグラフの計算効率を改善することによって、前記第２のデータフローグラフを最適化されたデータフローグラフに変換することを更に含む、請求項１に記載のコンピュータ実施方法。
6. 前記１つ以上のデータフローグラフ最適化ルールは、前記第２のデータフローグラフから冗長ノードを削除すること、前記第２のデータフローグラフからデッドノードを削除すること、前記第２のデータフローグラフ内でノードの順序を変更すること、前記第２のデータフローグラフ内でノードの強度を低減すること、前記第２のデータフローグラフ内で２つ以上のノードを統合すること、前記第２のデータフローグラフ内のノードを直列動作から並列動作に変換すること、又は前記第２のデータフローグラフ内で分割動作を挿入することのうちの少なくとも１つを含む、請求項５に記載のコンピュータ実施方法。
7. 前記複数の第２のコンピュータ動作のうちの少なくとも１つは、自動並列動作又は自動分割動作を含む、請求項１に記載のコンピュータ実施方法。
8. 前記複数の第２のコンピュータ動作のうちの少なくとも１つは、並べ替え動作を含む、請求項１に記載のコンピュータ実施方法。
9. 前記複数の第２のコンピュータ動作のうちの少なくとも１つは、前記第２のノードのうちの１つ以上の間でメタデータを指定する動作を含む、請求項１に記載のコンピュータ実施方法。
10. データを提供して、キャンバス部分と、カタログ部分と、を含むグラフィカルエディタインターフェースを生成することであって、前記カタログ部分は、前記キャンバス部分において、計算のロジックを視覚的に描写するための１つ以上の選択可能なアイコンを含む、ことと、
    前記キャンバス部分において描写された計算のロジックを示す、アイコン選択データを受信することであって、前記アイコン選択データは、前記カタログ部分から選択され、前記キャンバス部分に含まれる、前記１つ以上の選択可能なアイコンのうちの少なくとも１つを指定する、ことと、
    受信した前記アイコン選択データから、前記キャンバス部分で指定された前記ロジックを表す前記複数の第１のノードを含む前記第１のデータフローグラフを生成することであって、前記第１のノードのうちの少なくとも１つは、前記カタログ部分から選択された前記１つ以上の選択可能なアイコンのうちの前記少なくとも１つを表す、ことと、を更に含む、請求項１に記載のコンピュータ実施方法。
11. 選択された各アイコンは、データをプリフォーマットするデータカタログからデータにアクセスする命令を表すか、又は前記データカタログを介してアクセスされるデータの形式を指定する、請求項１０に記載のコンピュータ実施方法。
12. 前記第１のデータフローグラフは、ユーザ定義のデータフローグラフである、請求項１に記載のコンピュータ実施方法。
13. データを提供して、キャンバス部分と、カタログ部分と、を含むグラフィカルエディタインターフェースを生成することであって、前記カタログ部分は、複数のデータセット選択アイコンと、複数の変換選択アイコンと、を含む、ことと、
    選択されたデータセット選択アイコン及び選択された変換選択アイコンによって表される記憶ユニットに記憶された要素に従って、前記第１のデータフローグラフ内に初期ノードを生成することと、
    前記初期ノードにラベルを付けて、ラベル付きノードを提供することと、
    前記キャンバス部分で、前記ラベル付きノードの視覚的表現をレンダリングすることと、を更に含む、請求項１に記載のコンピュータ実施方法。
14. 前記初期ノードは、動作を保持するための動作プレースホルダフィールドと、データのソース又はシンクを保持するためのデータプレースホルダフィールドと、を有する、請求項１３に記載のコンピュータ実施方法。
15. 修正することは、
    記憶システムから前記動作プレースホルダフィールドに保持された前記動作の要素を取得することと、
    前記記憶システムから前記データプレースホルダフィールドに保持されたデータソース又はデータシンクの要素を取得して、前記データの前記ソース又は前記シンクを指すリンクを前記データプレースホルダフィールドに追加することと、を更に含む、請求項１４に記載のコンピュータ実施方法。
16. データを提供して、前記グラフィカルエディタインターフェースの前記キャンバス部分に前記第１のデータフローグラフをレンダリングすることを更に含む、請求項１３に記載のコンピュータ実施方法。
17. 生成した前記初期ノードの全てにラベルを付けると、前記方法は、
    前記第１のデータフローグラフの全てのラベル付きノードを、計算データフローグラフである前記第２のデータフローグラフにコンパイルすることを更に含む、請求項１３に記載のコンピュータ実施方法。
18. 修正した前記初期ノードの全てのラベルを付けると、前記方法は、
    前記第１のデータフローグラフの全てのラベル付きノードを最適化することを更に含み、前記第１のデータフローグラフの前記ラベル付きノードを最適化することは、前記ラベル付きノードのうちの少なくとも１つに記憶された前記要素を最適化することを更に含む、請求項１３に記載のコンピュータ実施方法。
19. プロトタイプノードにアクセスすることと、
    アクセスした前記プロトタイプノードからパラメータをコピーして、前記初期ノードのうちの少なくとも１つを修正するアルゴリズムを適用することと、を更に含む、請求項１３に記載のコンピュータ実施方法。
20. 前記初期ノードの少なくとも１つのパラメータは、前記プロトタイプノードによって上書きされない設定パラメータである、請求項１９に記載のコンピュータ実施方法。
21. 前記プロトタイプノードは、前記初期ノード、前記初期ノード上のポート、又は前記グラフィカルエディタインターフェースの前記キャンバス部分に提示されたコンポーネントのパラメータのうちの少なくとも１つを宣言する、請求項１９に記載のコンピュータ実施方法。
22. プロトタイプを適用することは、前記プロトタイプからの記述子で既存のパラメータの記述子を置き換えるが、パラメータの既存の値は置き換えない、請求項１９に記載のコンピュータ実施方法。
23. メタデータ及び前記第１のデータフローグラフに記述された値を計算する変換を適用することを更に含む、請求項１に記載のコンピュータ実施方法。
24. 前記ラベルは、キー、値、名前、及びソースのうちの１つ以上を参照する、請求項１３に記載のコンピュータ実施方法。
25. 選択されたデータセット選択アイコンによって表される記憶ユニット及び選択された変換選択アイコンによって表される記憶ユニットに記憶された１つ以上の要素を記憶する前記複数の初期ノードのうちの少なくともいくつかは、少なくとも部分的に、前記複数の初期ノードのうちの前記少なくともいくつかに対して対応する記憶ユニット機能を指定する、請求項１３に記載のコンピュータ実施方法。
26. 第１のデータフローグラフを第２のデータフローグラフに変換するためのシステムであって、前記第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、前記第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、前記システムは、
    １つ以上のプロセッサと、命令を記憶する１つ以上の記憶デバイスであって、前記命令は、前記１つ以上のプロセッサによって実行されると、
    データ処理における前記複数の第１のコンピュータ動作を表す前記複数の第１のノードを含む前記第１のデータフローグラフを生成することであって、前記複数の第１のコンピュータ動作のうちの少なくとも１つは、データ処理の１つ以上の結果の１つ以上の特性を指定する宣言動作である、ことと、
    前記第１のデータフローグラフにおいて表される少なくともいくつかの宣言動作の中からパターンを識別することと、
    前記少なくともいくつかの宣言動作の中から識別された前記パターンに基づいて、前記複数の第１のコンピュータ動作に従ってデータを処理するために前記第１のデータフローグラフを前記第２のデータフローグラフに変換することであって、前記第２のデータフローグラフは、前記複数の第２のコンピュータ動作を表す前記複数の第２のノードを含み、前記第２のノードのうちの少なくとも１つは、前記宣言動作によって指定されるロジックを実施する１つ以上の命令動作を表す、ことと、
    前記第２のデータフローグラフをデータストアに記憶することと、を含む動作を前記１つ以上のプロセッサに実行させる、１つ以上の記憶デバイスと、を含む、システム。
27. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
    データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することであって、前記第１のコンピュータ動作のうちの少なくとも１つは、データ処理の１つ以上の結果の１つ以上の特性を指定する宣言動作である、ことと、
    前記第１のデータフローグラフにおいて表される少なくともいくつかの宣言動作の中からパターンを識別することと、
    前記少なくともいくつかの宣言動作の中から識別された前記パターンに基づいて、前記第１のコンピュータ動作に従ってデータを処理するために前記第１のデータフローグラフを第２のデータフローグラフに変換することであって、前記第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、前記第２のノードのうちの少なくとも１つは、前記宣言動作によって指定されるロジックを実施する１つ以上の命令動作を表す、ことと、
    前記第２のデータフローグラフをデータストアに記憶することと、を計算システムに実行させる、非一時的コンピュータ可読媒体。
28. 第１のデータフローグラフを第２のデータフローグラフに変換するためのコンピュータ実施方法であって、前記第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、前記第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、前記方法は、
    データ処理における前記複数の第１のコンピュータ動作を表す前記複数の第１のノードを含む前記第１のデータフローグラフを生成することと、
    前記第１のデータフローグラフにおいて表される少なくともいくつかの宣言動作の中からパターンを識別することと、
    前記少なくともいくつかの宣言動作の中から識別された前記パターンに基づいて、前記複数の第１のコンピュータ動作に従ってデータを処理するために前記第１のデータフローグラフを前記第２のデータフローグラフに変換することであって、前記第２のデータフローグラフは、前記複数の第２のコンピュータ動作を表す前記複数の第２のノードを含み、前記複数の第２のコンピュータ動作のうちの少なくとも所与の１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択される、ことと、
    前記第２のデータフローグラフをデータストアに記憶することと、を含む、コンピュータ実施方法。
29. 第１のデータフローグラフを第２のデータフローグラフに変換するためのシステムであって、前記第１のデータフローグラフは、複数の第１のコンピュータ動作を表す複数の第１のノードを含み、前記第２のデータフローグラフは、複数の第２のコンピュータ動作を表す複数の第２のノードを含み、前記システムは、
    １つ以上のプロセッサと、命令を記憶する１つ以上の記憶デバイスであって、前記命令は、前記１つ以上のプロセッサによって実行されると、
    データ処理における前記複数の第１のコンピュータ動作を表す前記複数の第１のノードを含む前記第１のデータフローグラフを生成することと、
    前記第１のデータフローグラフにおいて表される少なくともいくつかの宣言動作の中からパターンを識別することと、
    前記少なくともいくつかの宣言動作の中から識別された前記パターンに基づいて、前記複数の第１のコンピュータ動作に従ってデータを処理するために前記第１のデータフローグラフを前記第２のデータフローグラフに変換することであって、前記第２のデータフローグラフは、前記複数の第２のコンピュータ動作を表す前記複数の第２のノードを含み、前記複数の第２のコンピュータ動作のうちの少なくとも所与の１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択される、ことと、
    前記第２のデータフローグラフをデータストアに記憶することと、を含む動作を前記１つ以上のプロセッサに実行させる、１つ以上の記憶デバイスと、を含む、システム。
30. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、
    データ処理における第１のコンピュータ動作を表す複数の第１のノードを含む第１のデータフローグラフを生成することと、
    前記第１のデータフローグラフにおいて表される少なくともいくつかの宣言動作の中からパターンを識別することと、
    前記少なくともいくつかの宣言動作の中から識別された前記パターンに基づいて、前記第１のコンピュータ動作に従ってデータを処理するために前記第１のデータフローグラフを第２のデータフローグラフに変換することであって、前記第２のデータフローグラフは、第２のコンピュータ動作を表す複数の第２のノードを含み、前記第２のコンピュータ動作のうちの少なくとも所与の１つは、並べ替え動作、データ型動作、指定キーとの結合動作、及び分割動作からなる群から選択される、ことと、
    前記第２のデータフローグラフをデータストアに記憶することと、を計算システムに実行させる、非一時的コンピュータ可読媒体。
31. 前記複数の第２のコンピュータ動作のうちの少なくともいくつかは、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項１に記載のコンピュータ実施方法。
32. 前記１つ以上の命令動作は、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項１に記載のコンピュータ実施方法。
33. 前記複数の第２のコンピュータ動作のうちの少なくともいくつかは、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項２６に記載のシステム。
34. 前記１つ以上の命令動作は、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項２６に記載のシステム。
35. 前記１つ以上の命令動作は、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項２７に記載の非一時的コンピュータ可読媒体。
36. 前記複数の第２のコンピュータ動作のうちの少なくともいくつかは、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項２８に記載のコンピュータ実施方法。
37. 前記複数の第２のコンピュータ動作のうちの前記少なくとも所与の１つは、前記第１のデータフローグラフ内の第１のノードによって表されない、請求項２８に記載のコンピュータ実施方法。
38. 前記複数の第２のコンピュータ動作のうちの少なくともいくつかは、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項２９に記載のシステム。
39. 前記複数の第２のコンピュータ動作のうちの前記少なくとも所与の１つは、前記第１のデータフローグラフ内の第１のノードによって表されない、請求項２９に記載のシステム。
40. 前記第２のコンピュータ動作のうちの前記少なくとも所与の１つは、前記第１のデータフローグラフ内の前記第１のノードによって表されない、請求項３０に記載の非一時的コンピュータ可読媒体。

Images