「Deeplearning4j」の版間の差分

Deeplearning4j
作者	Adam Gibson
開発元	複数
最新版	0.9.1 / 2017年8月12日 (7年前)
最新評価版	1.0.0-beta5 / 2019年9月6日 (5年前)
リポジトリ	github.com/deeplearning4j/deeplearning4j;
プログラミング; 言語	Java, Scala, CUDA, C言語
対応OS	Linux, macOS, Windows, Android, CyanogenMod
プラットフォーム	クロスプラットフォーム
サポート状況	進行中
種別	自然言語処理, ディープラーニング, マシンビジョン, 人工知能
ライセンス	Apache 2.0
公式サイト	deeplearning4j.org
	テンプレートを表示

履歴の双方向閲覧

← 古い編集新しい編集 →

削除された内容追加された内容

ビジュアルウィキテキスト

インライン

2020年9月6日 (日) 08:57時点における版

Eclipse Deeplearning4j は、Java及びJava仮想マシン^[1]^[2] オープンソースのディープラーニングライブラリで、多くのディープラーニングアルゴリズムをサポートする計算フレームワークである^[3] 。Deeplearning4jには、制限付きボルツマンマシン、ディープビリーフネット、ディープオートエンコーダー、積層雑音除去オートエンコーダー、再帰型ニューラルテンソルネットワーク、word2vec、 doc2vec、GloVeなどが実装されている。これらのアルゴリズムはすべてHadoopやSparkと統合可能な分散型の並列バージョンを含んでいる^[4] 。Deeplearning4jは、スタートアップのSkymind社が商用サポートを行っている。

概要

Deeplearning4jは、一般に広く使用されているプログラミング言語のJavaを使用しているが、Clojureとも互換性がありScalaのAPIを含んでいる。そのライブラリ内にある数値計算オープンソースライブラリであるND4Jを使用しており、CPUとGPUのどちらでも動作する^[5]^[6] 。Deeplearning4jは、アダム・ギブソンの率いるサンフランシスコの機械学習グループによって主に開発されたオープンソースのプロジェクトである^[7] ^[8]^[9] 。Deeplearning4jは、GoogleのWord2vecページにリストされた唯一のJavaで実装されたオープンソースのプロジェクトである^[10]。

Deeplearning4jは数多くの商業的、学術的アプリケーションに使用されている。コードは、GitHub^[11]、サポートフォーラムは、Gitterにある^[12]。

フレームワークは、コンポーザブルであり、浅いネットワークである制限付きボルツマンマシン、畳み込みネットワーク、オートエンコーダー、再帰ネットワークなどのニューラルネットワークを組み合わせて様々な種類のディープネットワークを作ることができる。

分散型

Deeplearning4jの訓練は、クラスタで行われる。ニューラルネットは、Hadoop/YARN及びSparkで使用できるiterative reduceを経由して同時に訓練を受ける^[8]^[13] 。また、Deeplearning4jはCudaのカーネルに統合し、GPUの演算を行うことができ、分散型GPUにも対応している。

JVMでの科学的計算

Deeplearning4jは、PythonにNumPyが提供する機能のように、ND4Jを使った JavaやScalaで計算できるn次配列クラスを含んでいる。ND4Jは、プロダクション環境における線的代数及びマトリクス操作のライブラリに基づいている。

機械学習のためのDataVecベクトル化ライブラリ

DataVecは、 HadoopがMapReduceを使用するように、入力/出力フォーマットシステムを使って、様々なファイルフォーマット及びデータタイプをベクトル化^[要説明] する。DataVecは、CSVファイル、画像、音声、テキスト、ビデオ、時系列データをベクトル化するように設計されている。

文書と自然言語処理

Deeplearning4jは、ベクトル空間モデル及びトピックモデルのツールキットを含み、Javaに実装され、パフォーマンス向上のために並列GPUを統合している。特に大量のテキスト処理が行えることを目的として作成された。

Deeplearning4jは、tf–idf、ディープラーニング、Mikolovの word2vecアルゴリズム、doc2vecを実装している。GloVeも再度実装され、最適化されている。ワードクラウドの視覚化には、t-SNEを使うことができる。バージョン1.0.0-beta4からは、BERTによる学習モデルの利用も可能となった^[14]^[15]。

使用事例と統合例

実際にDeeplearning4jが使用されている分野には、金融部門における不正の検知^[16]、製造業などでの異常検知、電子商取引や広告のレコメンダシステム^[17]、画像認識などがある。RapidMinerやPrediction.ioなどその他の機械学習プラットフォームも統合している^[18]。

出典

^ Metz, Cade (2014年6月2日). “The Mission to Bring Google's AI to the Rest of the World”. Wired.com. 2014年6月28日閲覧。
^ Vance, Ashlee (2014年6月3日). “Deep Learning for (Some of) the People”. Bloomberg Businessweek. 2014年6月28日閲覧。
^ Novet, Jordan (2015年11月14日). “Want an open-source deep learning framework? Take your pick”. VentureBeat. 2015年11月24日閲覧。
^ TV, Functional (2015年2月12日). “Adam Gibson, DeepLearning4j on Spark and Data Science on JVM with nd4j, SF Spark @Galvanize 20150212”. SF Spark Meetup. 2015年3月1日閲覧。
^ Harris, Derrick (2014年6月2日). “A startup called Skymind launches, pushing open source deep learning”. GigaOM.com. 2014年6月29日閲覧。
^ Novet, Jordan (2014年6月2日). “Skymind launches with open-source, plug-and-play deep learning features for your app”. 2014年6月29日閲覧。
^ “Github Repository”. 2014年6月29日閲覧。
^ ^a ^b “deeplearning4j.org”. 2017年4月15日閲覧。
^ “Crunchbase Profile”. 2014年6月29日閲覧。
^ “Google Code”. 2014年6月29日閲覧。
^ “Deeplearning4j source code”. 2015年3月1日閲覧。
^ Deeplearning4j Gitter Support Channel
^ “Iterative reduce”. 2014年6月29日閲覧。
^ “Add Bert Word Piece Tokenizer #7141”. 2019年11月21日閲覧。
^ “Add BertIterator (MultiDataSetIterator for BERT training) #7430”. 2019年11月21日閲覧。
^ http://www.skymind.io/finance/%7Caccessdate=2015-03-01
^ http://www.skymind.io/commerce/
^ https://www.rapidminerchina.com/en/products/shop/product/deeplearning4j/

外部リンク

公式ウェブサイト
“Deeplearning4jのGithubリポジトリ”. 2015年3月1日閲覧。
“Deeplearning4j vs. Torch vs. Caffe vs. Theano”. 2015年3月1日閲覧。（英語）
“Canova: A General Vectorization Lib for Machine Learning”. 2015年3月1日閲覧。（英語）
“ND4J: N-Dimensional Arrays for Java and Scala, A Linear Algebra Library”. 2015年3月1日閲覧。（英語）
“Apache Flink”. 2015年3月1日閲覧。（英語）
“Java Magazine by Oracle: Deep Learning in Java”. 2015年3月1日閲覧。（英語）
“Deeplearning4jのGitterチャットコミュニティ”. 2015年3月1日閲覧。

[wired-1] Metz, Cade (2014年6月2日). “The Mission to Bring Google's AI to the Rest of the World”. Wired.com. 2014年6月28日閲覧。

[2] Vance, Ashlee (2014年6月3日). “Deep Learning for (Some of) the People”. Bloomberg Businessweek. 2014年6月28日閲覧。

[3] Novet, Jordan (2015年11月14日). “Want an open-source deep learning framework? Take your pick”. VentureBeat. 2015年11月24日閲覧。

[4] TV, Functional (2015年2月12日). “Adam Gibson, DeepLearning4j on Spark and Data Science on JVM with nd4j, SF Spark @Galvanize 20150212”. SF Spark Meetup. 2015年3月1日閲覧。

[om-5] Harris, Derrick (2014年6月2日). “A startup called Skymind launches, pushing open source deep learning”. GigaOM.com. 2014年6月29日閲覧。

[vb-6] Novet, Jordan (2014年6月2日). “Skymind launches with open-source, plug-and-play deep learning features for your app”. 2014年6月29日閲覧。

[7] “Github Repository”. 2014年6月29日閲覧。

[deeplearning4j.org-8] “deeplearning4j.org”. 2017年4月15日閲覧。

[9] “Crunchbase Profile”. 2014年6月29日閲覧。

[10] “Google Code”. 2014年6月29日閲覧。

[11] “Deeplearning4j source code”. 2015年3月1日閲覧。

[12] Deeplearning4j Gitter Support Channel

[13] “Iterative reduce”. 2014年6月29日閲覧。

[14] “Add Bert Word Piece Tokenizer #7141”. 2019年11月21日閲覧。

[15] “Add BertIterator (MultiDataSetIterator for BERT training) #7430”. 2019年11月21日閲覧。

[16] ttp://www.skymind.io/finance/%7Caccessdate=2015-03-01

[17] ttp://www.skymind.io/commerce/

[18] ttps://www.rapidminerchina.com/en/products/shop/product/deeplearning4j/

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

@@ 14行目: / 14行目: @@
 | frequently updated     = <!-- DO NOT include this parameter unless you know what it does -->
 | programming language   = [[Java]], [[Scala]], [[CUDA]], [[C言語]]
-| operating system       = [[Linux]], [[macOS]], [[Microsoft Windows|Windows]], [[Android]], [[CyanogenMod]]
+| operating system       = [[Linux]], [[macOS]], [[Microsoft Windows|Windows]], [[Android (オペレーティングシステム)|Android]], [[CyanogenMod]]
 | platform               = [[クロスプラットフォーム]]
 | size                   =

表話編歴ディープラーニングソフトウェア（英語版）
ディープラーニングソフトウェアの比較（英語版）
オープンソースフロントエンド（現行）	AITemplate Apache MXNet（英語版） Apache SINGA（英語版） Apache Spark MLlib Apple MLX Eclipse Deeplearning4j Dlib llama.cpp（英語版） (GGML) Google JAX（英語版） Keras NVIDIA TensorRT OpenNN（英語版） OpenVINO（英語版） Paddle PyTorch SynapseML TensorFlow ONNX Runtime OpenCV Neural Network Libraries
プロプライエタリフロントエンド	Maple Neural Designer（英語版） Wolfram Mathematica Apple Core ML MATLAB Deep Learning Toolbox
バックエンド	Intel oneDNN（英語版） NVIDIA cuDNN AMD ROCm（英語版） MIOpen Microsoft DirectML MLIR TensorFlow XLA OpenAI Triton DeepSpeed（英語版） Alpa Theano/Aesara/PyTensor（英語版）
過去	Chainer Torch（英語版） Caffe Microsoft Cognitive Toolkit
カテゴリ Portal:コンピュータ