スキップしてメイン コンテンツに移動

「BIGDAT@Viewer」というデータ分析ツールがおもしろそう


製品ページ= http://www.cybernet.co.jp/bdv/ BIGDAT@Viewerは「データサイエンティストでなくても簡単にビッグデータを可視化することができる、新しい知見の発見を支援するソフトウェア」。 「データサイエンティストでなくても簡単にビッグデータを〜〜」というふれこみは，DataRobot ( https://www.datarobot.com/jp/ ) もそんなアピールをしていた気がするが，DataRobotとは手法というか目の付け所が違っているようだ。 BIGDAT@Viewerは，超多次元空間で(つまりデータがもつ全属性・全カラムを次元にしてしまって)，その超多次元空間での距離を求めることでクラスタ分析をするのが基本らしい。この表現が適切かどうかまったく自信が無いが。 「距離を求める」というので，数値データもしくは数値化できるデータのみが対象かと思ったら，不思議と自然言語系も扱えて，特許データの類似分析にも使っているとのこと。なんと(たとえば)数万語の文書で，全ワードをそのまま次元にしてしまうという荒技。(このまとめ方も正しいのかどうかかなり怪しい)。 別の使い方としては，某社では離職者分析に使っているとのこと。同じ用途はDataRobotの方にもあるらしいので，技術は違うけど，適用領域的にはかぶっていると言っていいだろう。 私たちが取り組み始めている，運用自律化に向けた障害原因や対処方法案のレコメンドの話をしたら，たいへんに興味を示された。「きっと向いていると思いますよ」と。まぁ，営業トークも半分あるだろうが，半分は本当にそう思ってくれている様子も感じる。 体験セミナーあり。 http://www.cybernet.co.jp/bdv/seminar_event/seminar_201712.html 「分析してみたいデータを持って来てみてください。その体験セミナーの場で，受講者がお持ちになったデータの分析トライアルができます」。とのこと。 開発＆販売は，サイバネットシステムズ。昔に別件でお世話になった方が製品事業の責任者をしていて，久しぶりに連絡をもらって話を聞くことになった。 なお，BIGDDAT@Viewerはアプリケーションになっているが，コアはtoorという会社のtoorPIAというMapR／クラスタ分析等のライブラリ群。この基礎技術を確立した人たちも興味深い。オープンソース化はしていない。隣接カテゴリのOSSもいろいろあるので，同じ土俵で同じやり方で勝負をしても仕方が無いのかもしれない。 --

コメント

コメントを投稿

このブログの人気の投稿

5600ページのIEEE 802.3-2018が入手可能になった

IEEE 802.3の名称は今では「IEEE Standard for Ethernet」になっている。 「イーサネットとIEEE 802.3は別物なんだよ」という話は，今では昔話でしかない。もうひとつ“いまはむかし”な話をすると，「イーサネットはCSMA/CDだよ」なんて言うと恥をかくのでやめた方がいい。こちらは名称の問題では無く中身の話だが，ここでは詳しい説明は割愛する。 この「イーサネット標準」の2015年以来の改訂版が，2018年8月に発行。6ヶ月のIEEE会員限定期間が過ぎたので，一般にも入手可能になった。ただし個人アカウントは取得する必要がある。この話は以前に書いた ( https://nmizos.blogspot.com/2017/12/ieee802.html 参照)。 https://ieeexplore.ieee.org/document/8457469 このネタをブログにしようと思った動機はタイトルに記してしまった。この規格は改定されるたびにドンドン太って巨大になってきている。本編改訂の間に発行されたamendment (補遺と訳すのがいいのかな)が取り込まれるので，太るのはしょうがない面もある。でもねぇ，ついに5600ページ。もちろん通し読みするようなものじゃない。PDFファイルなので「厚さ」は無いが，印刷したらどれくらいになるんだろう。 参考までに，過去10年の本編のボリュームを比較してみた。 　2008 = 5分割，2977ページ 　2012 = 6分割，3748ページ 　2015 = 4017ページ，56Mバイト 　2018 = 5600ページ，98Mバイト 以前は数セクションにファイルを分割して公開されていた。ファイルが大きすぎるのを気にしてたんだろう。2018版も中身は8セクションに分かれている(ページ番号も別に付いている)のを，PDFファイルとしては合体してある。100Mバイト程度のPDFが「デカ過ぎて開けない」ってことも無いだろうから，1本になっていた方が全文検索ができて都合がいい。ちなみにiPadで開いて全文検索しても，今の98Mバイトなら困らない。 参考までに，無線LANのIEEE 802.11の方は，802.11-2016が3534ページ。こちらも結構なもんだ。 --
コメントを投稿
続きを読む

IEEE802標準文書の入手

■概要 入手方法が変わった。たぶん2017年のどこかから。 ダウンロードの都度メルアド等を入力するのではなくて，メンバ登録＆ログイン形式に。 個別の参照(入手)時点の操作も変わった。 概要の表示ページから“Download PDF”を選ぶとPDFファイルが呼び出されるが… 即ダウンロードでは無くて，(ブラウザ依存だと思うがFirefoxの場合は)インラインでPDF表示になるので，その後に表示しているPDFをダウンロードさせることになる。 802.3の場合は困ったことに文書がデカ過ぎる。従来は複数パート(セクション)にPDFが分割されていたが，参照方法が上記の様に変わったのに合わせて，802.3全体が1本のPDFに。なんと4000ページ超，50MB超の1本のPDFになり，それをまとめてインライン表示しようとするので，待ち時間がとても長い。メモリの少ないPCだと途中でアカンことになりそう。   ---- ■操作 入口=  http://ieeexplore.ieee.org/browse/standards/get-program/page/series?id=68 (  http://ieeexplore.ieee.org/  からでもたどれるだろう )。 メニューをたどって，例えばIEEE 802.11(無線LAN)の標準文書を参照しようとすると… “Download PDF”は選択できなくなっている。 画面最上部の“Personal Sign In”からログインすると… “Donwload PDF”が有効になる。 概要でも記したように標準文書フルテキストPDFのダウンロードは，Firefoxの場合にブラウザのインラインでの表示になるので，保存する場合にはブラウザの操作でファイル保存する。 ユーザ登録は“Create Account”から。 入力方法などは自助努力で。(画面のガイダンスや注意事項を読みましょう)。 --
コメントを投稿
続きを読む

RFCは番号を無駄遣いしていないか？

新規に発行されるRFCの番号が8000番台になっていて，その8000番台も1年くらいで食い潰しそうな勢いだ。実は8年ほど前にも同じ様に「なんと6000番台後半だよ」と思ったのだった。 ところで，RFCの番号って，几帳面にきっちりと順番に使っているわけでは無い。大物RFCにはキリ番を使うことがある様だし（RFC 8200とか），規格のバージョンアップの際には旧番号から覚えやすいものにすることがある（RFC 822 → RFC 2822など）。 …ということは，ところどころ虫食い状態で空き番号がたくさんあるんじゃないかな？と，ふと思った。 RFCの一覧ページはこれ: 　 https://tools.ietf.org/rfc/ これを眺めると，ところどころに「Not Issued」となっている番号があるので，虫食いになっているのはたしかなようだ。無効化（Obsoletes）されたRFCもたくさんあるけれど，一度は使われた番号だから，これについては「使った」ということでいいだろう。 もう1つの一覧形式で，Mini-Indexページなるものがあった: 　 https://tools.ietf.org/rfc/mini-index ぱっと見で，虫食い状態がわかる。言い換えるとそれしかわからない。 上記のMini-IndexのHTMLを解析して，具体的にどれくらい虫食いなのかを調べて見た。単なる酔狂でしかないけれど。 結果（RFC 8754まで） 個数 RFC番号  735 8000番台  996 7000番台  973 6000番台  971 5000番台  973 4000番台  982 3000番台 1000 2000番台  995 1000番台  933 999番以下 こうしてみると，最初の999番までが一番大雑把だ。 RFC化の検討に入ったけど最終的に発行されないものもあるから，2000番台の様に完全に埋まることは珍しいと思う。そういう意味では，まぁまぁ，几帳面に番号割当てをしていると思っていいのだろう。 さて，RFC 10000に到達するまで残り約1250。そこに達するのは，だいたい4年ちょっと後の2024年頃だろうか。 【参考: カウントスクリプト】 : count.sh #...
コメントを投稿
続きを読む