2017年10月17日火曜日

2017年9月5日火曜日

2017年8月22日火曜日

データ収集と統計処理は表裏一体である ―データ収集に困ったら読むべきQ&A―

みなさまこんにちは。駆け出しのデータサイエンティストです。

お盆休みでしたね~、読者のみなさんはいかがお過ごしだったのでしょうか。筆者の夏は高校野球と心に決めているので、毎年甲子園の熱戦をTVやネット配信で眺めながら、全力で試合に臨む球児からパワーをもらっています。

2017年8月8日火曜日

テキストクレンジングの難しさ

今回はテキストマイニングに関するお話です。テキストマイニング(※1)における解析の進め方については以前のブログ(テキストマイニングとは何を解析するの?)でご説明いたしました。
今回はそのうちの「前処理」工程の難しさについてお伝えできればと考えております。

2017年8月1日火曜日

AI:機械学習とディープラーニング

2016年3月、Google傘下の人工知能(AI)会社であるDeepMindの「AlphaGo」が囲碁でトッププロ棋士に勝利しました。少し前までは囲碁でAIが人に勝つまで発展するには、まだ10年以上かかると言われていたことから、この結果は世界の注目を集めました。私も新聞記事で読んだ記憶があります。

また最近では囲碁のほかに将棋でもAIは急速に進歩し、プロの棋士に勝利するまでになりました。

2017年7月25日火曜日

データサイエンスは職人芸である

AIの躍進

近年、囲碁ではAlphaGo(アルファ碁)、将棋ではPONANZA(ポナンザ)など、AI(人工知能)が人間の能力を凌駕したとして世間をにぎわせています。これまでSFの中の話でしかなかった、AIが人間の知性を超えるいわゆる「シンギュラリティ」が2045年に到来するという予言が、現実味を帯びたとさえ騒がれています。

2017年7月11日火曜日

データ活用を見据えたデータ取得

データ分析におけるデータ取得

以前のブログ(新しい技術がデータ分析の前提を変える)では、新しい技術で新しいデータを取得できれば、一歩先のデータ分析を行える可能性がある、ということをお伝えいたしました。
今回は新しいデータを取得するにあたり、どのような観点に留意する必要があるのかについてお伝えできれば、と思います。

2017年6月27日火曜日

新しい技術がデータ分析の前提を変える

データ分析の前提


データ分析の前提として、事象を説明できるデータが正しく取得できている、ということがあります。しかし、実際に世の中で計測されているデータが正しく事象を表しているのか、というとそうではありません。
例えば視聴率調査を例にとってみましょう。

2017年6月20日火曜日

BIとBAの違い

 

BI(ビジネスインテリジェンス)とBA(ビジネスアナリティクス)の違い

 
今回のブログでは、「BI(ビジネスインテリジェンス:Business Intelligence)とBA(ビジネスアナリティクス:Business Analytics)の違い」について考えてみたいと思います。

2017年6月13日火曜日

祝 データサイエンス学部開設

データサイエンス学部開設


ご存知の方も多いと思いますが日本でもようやく大学においてデータサイエンス学部が開設されました。
これにより科学的なアプローチ、体系化された学問としてのデータサイエンスが展開され、日本におけるデータサイエンスの世界がより広がるとともに、優秀なデータサイエンティストが続々と誕生することが期待されます。

それではデータサイエンス学部を開設した大学をご紹介したいと思います。

2017年5月30日火曜日

データ解析システムの開発を依頼する時に大切なこと

自己紹介

はじめまして。私はデータサイエンス部の中で、システム開発グループに所属しています。グループの中では最も経験が浅い私ですが、今回の記事を担当することになりました。よろしくお願いします。
さて、データサイエンティストが集うデータサイエンス部に、どうしてシステム開発グループがあるの?と思う方に向けて、少しだけ説明しますね。
例えばお客様から、データ解析の依頼をお受けしたとします。その際、最初はデータサイエンティスト

2017年5月23日火曜日

データの特性にあった加工ツールの選定を

データ分析プロジェクトにおいてデータ間の紐付けや集計といったデータ加工は、ほぼ必ずと言っていいほどあります。そしてデータ加工に幅広く使われるツールはExcelではないでしょうか。
Excelでは、ピボットテーブルを使ったクロス集計、VLOOKUP関数を使ったデータの紐付けをはじめ様々な関数を用いたデータの加工が可能です。ある程度プログラミングができる方であれば

2017年5月16日火曜日

ダイバーシティ・マネジメントにおけるデータの役割

皆様こんにちは。元気にデータマイニングやってますかー?毎日データに触れていれば、どんどんデータが好きになってきますから、ぜひ一緒に“データ脳”を鍛えていきましょう。
さて、先日のゴールデンウィークは、皆様どのように過ごされましたか?貴重な休暇を有効活用すべく、

2017年4月25日火曜日

因果関係と相関関係の違い

はじめに

分析をする際には、変数間の関係を見ることが多いですが、その関係を適切に見るためにはいくつか注意事項があります。例えば、相関関係と因果関係とはイコールではないことや、相関があっても疑似相関であるといったことが挙げられます。

2017年4月19日水曜日

想定外


一般的にプロジェクトを行うにあたっては、事前の約束事やプロジェクトのスコープなどを決めたうえで契約を締結されていると思います。
しかし、プロジェクトの途中や終わりの方で思わぬ事態に遭遇することがあります。
世間でよくいうところの“あるある話”の一つではないかと思います。

2017年4月11日火曜日

「データ活用」と言って活用される「データ」とはそもそも何か、という話

どーもこんにちは。アイズファクトリーのデータサイエンティストです。
昨今、やたらと使われる「データ活用」。唱えれば業績が急上昇するかのような、もしくは極楽浄土に救われる念仏のような使われ方をしています。しかし、ご存知のとおり「データ活用」を唱えるだけでは、業績が伸びるわけでも、ましてや極楽浄土に行けるわけでもありません。そんな魔法の呪文があったら、額にキズのある魔法使いだってビックリでしょう。「魔法省仕事しろ!!」とか言って。

2017年3月28日火曜日

データ分析と旅行

そうだ、旅へ行こう

年に1~2回、リフレッシュを兼ねて、まとまった休みを取って旅行に行きます。
行きあたりばったりの旅や何もかもお任せのツアーにもそれぞれの良さがありますが、自ら計画を立てる旅行が好みです。
せっかくなら限られた期間でできるだけ見どころをまわりたいので、下調べをして観光先や移動手段、日程や宿泊先を検討していきます。

このタイプの、という前提つきにはなりますが、旅行とデータ分析には共通点があると感じています。

2017年3月14日火曜日

AI(人工知能)の活用のために必要なこと

AI(人工知能)という言葉が世間を飛び交うようになりました。それに伴いデータ分析を専業とする弊社にも多くの問い合わせがあります。



(参考:googleトレンドにおける検索数の推移)

ただし、「人工知能であれば何でも解決できる」という考えの方も多くいらっしゃいます。今回は問い合わせ事例から、人工知能が何なのかと、活用の観点をお伝えできればと思います。

2017年3月7日火曜日

データサイエンティストとはどういう人?

データサイエンティストの3つのスキル

これまで、弊社データサイエンティストが数回にわたってこのブログを更新してきましたが、そもそもデータサイエンティストとはどのような人のことを指すのでしょうか。
一般的に、データサイエンティストとは、下記のスキルセットを持った人のことを指します。

2017年2月21日火曜日

新しい手法を学ぶことの大切さ

はじめに

我々は、お客様の課題を解決する手段として機械学習(※注1)を使うことが多くあります。 機械学習の手法は日々進歩しているため、常に新しい手法を学び、その活用方法について考えることは、お客様により良い分析結果を提供するために大切なことだと考えています。
今回は、自然言語処理(※注2)の手法のひとつである

2017年2月7日火曜日

ビジネスの理解とデータの理解

取引のスタートは、ビジネスのヒアリングから

我々はいろいろなお取引先から様々なデータ分析のご依頼をいただきますが、共通して最初に取り組むことは先ずお取引先がどういうビジネスを行っているかをお聞きするところから始まります。
これは、データ分析にかかわらず通常のビジネスでも取引を行う会社を知ることは当然のことでしょう。

2017年1月31日火曜日

分析ロジックと業務での利用

今回は、データ分析案件、とくに実際の業務で利用する分析ロジックの構築にあたっては、使い方をふまえておかないと問題となる場合があるというお話です。

インターネット広告の効果予測ロジックの構築

以前、あるお客様に対して、データの分析・研究によって

2017年1月24日火曜日

人工知能ビジネスの考え方

東ロボくんが挫折した問題とは

東ロボくん(※注1)が東大入試をあきらめてしまいましたね。国立情報学研究所で開発されている人工知能東ロボくんは、物理や数学は得意だったのに、英語と国語の点数が思わしくなかったようです。けれども今、人工知能ビジネスについては大手各社が

2017年1月17日火曜日

データ活用の段階に合わせた成果物の定義

データ解析で得られる成果物とは

データ解析で得られる成果物(※注1)には様々なものがあります。基礎の部分としては、変数ごとの集計結果があります。少し難易度が上がると、クロス集計や相関分析、多変量解析による要因分析などの結果があります。

2017年1月10日火曜日

テキストマイニングとは何を解析するの?

テキストマイニングとは

テキストマイニング(※注1)とはテキスト(文字列)の中から
  • 特徴ある単語や文節を見つける。
  • 代表的な単語や文節を見つける。
  • 単語や文節間の関係を見つける。
などを解析によって実現し可視化することです。

2017年1月5日木曜日

ビジネスの理解の大切さ

データ解析プロジェクトが成功するカギは「ビジネスの理解」

弊社ではこれまで300以上のデータ解析プロジェクトを行ってきましたが、その中で日々つよく意識していることがあります。それは「お客様のビジネスを理解すること」の重要性です。データ解析を行う際に、データがあれば