大本営参謀の情報戦記から学ぶ「情報を扱う」とは
はじめに
本書は以下の記事で紹介されていた経緯で読んだものです。 www.itmedia.co.jp
データ分析者だけでなく、企業人なら必須と言える様々な基本原則が書かれています。 作者は陸軍情報部、自衛隊に所属した情報部員で、戦時中〜戦後の日本軍や自衛隊の情報軽視の経験から、情報を正しく扱う必要性、扱うための原則や教育の重要性が書かれています。
続きを読むデータ分析者が思う「問題解決のジレンマ」その４ 〜上位概念の思考法〜
はじめに
前回のはなし
問題定義と問題解決
前回、問題を解くためには軸を固定して「問題である」「問題でない」を区別しなければいけないと述べました。あらためて「問題を定義／発見すること」「問題を解決すること」はどう違うか考えます。
続きを読むデータ分析者が思う「問題解決のジレンマ」その３ 〜問題解決のジレンマ〜
はじめに
前回のはなし
問題は「事実」と「解釈」の乖離から発生する
「未知の未知」領域を意識することが重要なのは、私たちの既知の領域が非常に狭く、この中で考えていては表層的な問題しか解決しかできないためです。
続きを読むデータ分析者が思う「問題解決のジレンマ」その２ 〜事実と解釈〜
はじめに
前回のはなし
事実の無知と解釈の無知
前回、問題を発見するには未知の領域に目を向けなければいけないと述べました。知や未知とは何を知っていて、何を知らないこととするのでしょうか？まずそこを定義してやります。知を「事実」と「解釈」に区別します。また「解釈」には「範囲」と「次元」があるとします。
続きを読むデータ分析者が思う「問題解決のジレンマ」その１ 〜未知と既知〜
【無知の知】
知れば知るほど、自分が知らないということを知る --アリストテレス
はじめに
データ分析者に必要な要素とはなんでしょうか？という問いに答えるなら、第一に「意思決定をするために、問題を定義し、解決まで導ける力」です。様々な分析手法やツールは定義された問題を解決まで導くための論理的な根拠づくりの手段にすぎません。ぶっちゃけ解くべき問題が間違っていたらずれた意思決定につながるだけです。
今回のレビュー「問題解決のジレンマ-イグノランスマネメント：無知の力」は、今求められている「問題定義する力」をどのように思考し、一方「問題解決する力」とのジレンマが発生することを「無知の知」を用いて解説しています。データ分析者にとって最も必要な思考を学ぶことができる一冊です。
そもそも問題を定義するとは？
問題定義は問題発見とも言えます。つまり問題とは本来、現時点ではわかっていないことです。ビジネスでは発生する様々なリスクを想定して意思決定をしていきますが、よく想定外が起こります。想定外とは「想定＝既知 の外」、つまり「未知」の部分に「問題」は存在します。問題を定義するとは知られていない未知の領域に、様々な軸から課題の当たりをつけ問題として落とし込み「既知」の状態にすることです。
続きを読む岩波データサイエンスVol.3 差の差法（DID）
差の差法とは
以前、調査観察データの統計科学でも取り上げた因果推論の手法の一つです。DIDとも呼ばれます。今回はより詳細に、実務的に取り上げられていた内容をまとめています。
実際は
実際にDIDを推定する場合、イチイチ各群の差の（平均値の）差をとったりしません。また単純に差の差を計算するだけでなく、各群の性質が大きく異なる場合（平行トレンド仮定が不成立）の共変量補正を行う必要があります。そのため次のような回帰モデルを作成して推定を行います。
続きを読む調査観察データの統計科学 ６章：インターネット調査
はじめに
前回の話 shinomiya-note.hatenablog.com
6.1 インターネット調査と従来の調査
様々な調査は得られた標本データから真に知りたい「母集団についての推測」を行っています。従来の調査は、無作為抽出された標本に対し質問票等から回答を得ています。一方、近年では手軽なネット調査が行われていますが、バイアスの問題があります。そこでネット調査のバイアス補正が必要となります。
続きを読む