Information

Benford's Law

The hackernewsletter today linked to the Wikipedia article on Benford’s Law, which is a rather interesting topic.

Benfords Law distribution (Wikipedia) Benford’s Law holds that in many common data sets, the distribution of the first digit of each member of the set forms a gentle curve, wherein about 30% of the numbers start with the digit 1 down to about 5% starting with 0.

I was curious to see what other data sets might fit within this distribution.

Just a few ruby scripts away!

Ruby’s Random Number Generator

Like a good PRNG, ruby’s rand method returns numbers that are fairly evenly distributed over the output range.

1
2
3
4
5
6
7
8
9
10
11
[15:11:42 mburke]$ ruby benford.rb random
1 : 102  : ###################################################
2 : 108  : ######################################################
3 : 106  : #####################################################
4 : 108  : ######################################################
5 : 120  : ############################################################
6 : 113  : ########################################################
7 : 108  : ######################################################
8 : 117  : ##########################################################
9 : 118  : ###########################################################
0 : 0    :

Length of English Words

I also tried the length of English words found in the Mac’s default /usr/share/dict/words file

1
2
3
4
5
6
7
8
9
10
11
[14:53:02 mburke]$ ruby benford.rb words
1 : 146417  : ########################################
2 : 823     :
3 : 160     :
4 : 1420    :
5 : 5272    : #
6 : 10230   : ##
7 : 17706   : ####
8 : 23869   : ######
9 : 29989   : ########
0 : 0       :

Since almost all words are less than 20 letters, its not surprising that the majority of them fall between 10 and 19 letters long.

Lines in Main Source Code Folder

I calculated the number of lines in each of the files in our main source code repository. This data set did rather closely follow the expected distribution.

1
2
3
4
5
6
7
8
9
10
11
12
13
[15:02:20 mburke]$ find . -type f -exec wc -l {} \; | cut -d " " -f 1 > ~/Desktop/source-lengths.txt

[15:05:35 mburke]$ ruby benford.rb file ~/Desktop/source-lengths.txt
1 : 6769   : ################
2 : 16075  : ########################################
3 : 4370   : ##########
4 : 2947   : #######
5 : 1646   : ####
6 : 1471   : ###
7 : 1026   : ##
8 : 1064   : ##
9 : 991    : ##
0 : 75     :

Twitter Stats

Using the awesome t gem, I calculated the Benford distribution for the number of followers, following, and tweets of the people I follow on twitter.

1
[22:16:04 mburke]$ t leaders | xargs t users --csv -l >> leaders.csv
Tweets
1
2
3
4
5
6
7
8
9
10
11
[22:49:21 mburke]$ ruby ~/personal/ruby/benford.rb file <(tail -n+1 leaders.csv | csvfix order -f 4 | sed 's/\"//g' )
1 : 64  : ############################################################
2 : 41  : ######################################
3 : 40  : #####################################
4 : 14  : #############
5 : 23  : #####################
6 : 15  : ##############
7 : 18  : ################
8 : 12  : ###########
9 : 13  : ############
0 : 2   : #
Following
1
2
3
4
5
6
7
8
9
10
11
[22:50:52 mburke]$ ruby ~/personal/ruby/benford.rb file <(tail -n+1 leaders.csv | csvfix order -f 7 | sed 's/\"//g' )
1 : 66  : ############################################################
2 : 31  : ############################
3 : 34  : ##############################
4 : 23  : ####################
5 : 18  : ################
6 : 15  : #############
7 : 9   : ########
8 : 11  : ##########
9 : 7   : ######
0 : 28  : #########################
Followers
1
2
3
4
5
6
7
8
9
10
11
[22:51:28 mburke]$ ruby ~/personal/ruby/benford.rb file <(tail -n+1 leaders.csv | csvfix order -f 8 | sed 's/\"//g' )
1 : 69  : ############################################################
2 : 48  : #########################################
3 : 32  : ###########################
4 : 24  : ####################
5 : 20  : #################
6 : 12  : ##########
7 : 12  : ##########
8 : 19  : ################
9 : 5   : ####
0 : 1   :

Nothing in these sets followed Benford’s Law perfectly, though they at least have the gradual drop off as the first digits grows.

Perhaps a bigger data set would converge better.

I’ll update this as I think of more sets to try.