reference.py

#  ['google', 'google_news', 'bing', 'bing_news', 'duckduckgo', 'yahoo', 'yandex', 'gdelt', 'copyscape']

DEFAULTS = {
    "search_engines": ["all"],
    "language": "en",
    "country": "us",
}
ENGINES = {
    "google": "Google",
    "bing": "Bing",
    "duckduckgo": "DuckDuckGo",
    "yandex": "Yandex",
    "gdelt": "GDELT",
    "copyscape": "Copyscape",
    "google_news": "Google News",
    "bing_news": "Bing News"
}    
LANGUAGES = {
'af':	'Afrikaans',
'ak':	'Akan',
'sq':	'Albanian',
'ws':	'Samoa',
'am':	'Amharic',
'ar':	'Arabic',
'hy':	'Armenian',
'az':	'Azerbaijani',
'eu':	'Basque',
'be':	'Belarusian',
'bem':	'Bemba',
'bn':	'Bengali',
'bh':	'Bihari',
'bs':	'Bosnian',
'br':	'Breton',
'bg':	'Bulgarian',
'bt':	'Bhutanese',
'km':	'Cambodian',
'ca':	'Catalan',
'chr':	'Cherokee',
'ny':	'Chichewa',
'zh-cn':	'Chinese (Simplified)',
'zh-tw':	'Chinese (Traditional)',
'co':	'Corsican',
'hr':	'Croatian',
'cs':	'Czech',
'da':	'Danish',
'nl':	'Dutch',
'en':	'English',
'eo':	'Esperanto',
'et':	'Estonian',
'ee':	'Ewe',
'fo':	'Faroese',
'tl':	'Filipino',
'fi':	'Finnish',
'fr':	'French',
'fy':	'Frisian',
'gaa':	'Ga',
'gl':	'Galician',
'ka':	'Georgian',
'de':	'German',
'el':	'Greek',
'kl':	'Greenlandic',
'gn':	'Guarani',
'gu':	'Gujarati',
'ht':	'Haitian Creole',
'ha':	'Hausa',
'haw':	'Hawaiian',
'iw':	'Hebrew',
'hi':	'Hindi',
'hu':	'Hungarian',
'is':	'Icelandic',
'ig':	'Igbo',
'id':	'Indonesian',
'ia':	'Interlingua',
'ga':	'Irish',
'it':	'Italian',
'ja':	'Japanese',
'jw':	'Javanese',
'kn':	'Kannada',
'kk':	'Kazakh',
'rw':	'Kinyarwanda',
'rn':	'Kirundi',
'kg':	'Kongo',
'ko':	'Korean',
'kri':	'Krio (Sierra Leone)',
'ku':	'Kurdish',
'ckb':	'Kurdish (Soranî)',
'ky':	'Kyrgyz',
'lo':	'Laothian',
'la':	'Latin',
'lv':	'Latvian',
'ln':	'Lingala',
'lt':	'Lithuanian',
'loz':	'Lozi',
'lg':	'Luganda',
'ach':	'Luo',
'mk':	'Macedonian',
'mg':	'Malagasy',
'ms':	'Malay',
'ml':	'Malayalam',
'mt':	'Maltese',
'mv':	'Maldives',
'mi':	'Maori',
'mr':	'Marathi',
'mfe':	'Mauritian Creole',
'mo':	'Moldavian',
'mn':	'Mongolian',
'sr-me':	'Montenegrin',
'my':	'Myanmar',
'ne':	'Nepali',
'pcm':	'Nigerian Pidgin',
'nso':	'Northern Sotho',
'no':	'Norwegian',
'nn':	'Norwegian (Nynorsk)',
'oc':	'Occitan',
'or':	'Oriya',
'om':	'Oromo',
'ps':	'Pashto',
'fa':	'Persian',
'pl':	'Polish',
'pt':	'Portuguese',
'pt-br':	'Portuguese (Brazil)',
'pt-pt':	'Portuguese (Portugal)',
'pa':	'Punjabi',
'qu':	'Quechua',
'ro':	'Romanian',
'rm':	'Romansh',
'nyn':	'Runyakitara',
'ru':	'Russian',
'gd':	'Scots Gaelic',
'sr':	'Serbian',
'sh':	'Serbo-Croatian',
'st':	'Sesotho',
'tn':	'Setswana',
'crs':	'Seychellois Creole',
'sn':	'Shona',
'sd':	'Sindhi',
'si':	'Sinhalese',
'sk':	'Slovak',
'sl':	'Slovenian',
'so':	'Somali',
'es':	'Spanish',
'es-419':	'Spanish (Latin American)',
'su':	'Sundanese',
'sw':	'Swahili',
'sv':	'Swedish',
'tg':	'Tajik',
'ta':	'Tamil',
'tt':	'Tatar',
'te':	'Telugu',
'th':	'Thai',
'ti':	'Tigrinya',
'to':	'Tonga',
'lua':	'Tshiluba',
'tum':	'Tumbuka',
'tr':	'Turkish',
'tk':	'Turkmen',
'tw':	'Twi',
'ug':	'Uighur',
'uk':	'Ukrainian',
'ur':	'Urdu',
'uz':	'Uzbek',
'vu':	'Vanuatu',
'vi':	'Vietnamese',
'cy':	'Welsh',
'wo':	'Wolof',
'xh':	'Xhosa',
'yi':	'Yiddish',
'yo':	'Yoruba',
'zu':	'Zulu'
}

COUNTRIES = {
'af':	'Afghanistan',
'al':	'Albania',
'dz':	'Algeria',
'as':	'American Samoa',
'ad':	'Andorra',
'ao':	'Angola',
'ai':	'Anguilla',
'aq':	'Antarctica',
'ag':	'Antigua and Barbuda',
'ar':	'Argentina',
'am':	'Armenia',
'aw':	'Aruba',
'au':	'Australia',
'at':	'Austria',
'az':	'Azerbaijan',
'bs':	'Bahamas',
'bh':	'Bahrain',
'bd':	'Bangladesh',
'bb':	'Barbados',
'by':	'Belarus',
'be':	'Belgium',
'bz':	'Belize',
'bj':	'Benin',
'bm':	'Bermuda',
'bt':	'Bhutan',
'bo':	'Bolivia',
'ba':	'Bosnia and Herzegovina',
'bw':	'Botswana',
'bv':	'Bouvet Island',
'br':	'Brazil',
'io':	'British Indian Ocean Territory',
'bn':	'Brunei Darussalam',
'bg':	'Bulgaria',
'bf':	'Burkina Faso',
'bi':	'Burundi',
'kh':	'Cambodia',
'cm':	'Cameroon',
'ca':	'Canada',
'cv':	'Cape Verde',
'ky':	'Cayman Islands',
'cf':	'Central African Republic',
'td':	'Chad',
'cl':	'Chile',
'cn':	'China',
'cx':	'Christmas Island',
'cc':	'Cocos (Keeling) Islands',
'co':	'Colombia',
'km':	'Comoros',
'cg':	'Congo',
'cd':	'Congo, the Democratic Republic of the',
'ck':	'Cook Islands',
'cr':	'Costa Rica',
'ci':	'Cote D\'ivoire',
'hr':	'Croatia',
'cu':	'Cuba',
'cy':	'Cyprus',
'cz':	'Czech Republic',
'dk':	'Denmark',
'dj':	'Djibouti',
'dm':	'Dominica',
'do':	'Dominican Republic',
'ec':	'Ecuador',
'eg':	'Egypt',
'sv':	'El Salvador',
'gq':	'Equatorial Guinea',
'er':	'Eritrea',
'ee':	'Estonia',
'et':	'Ethiopia',
'fk':	'Falkland Islands (Malvinas)',
'fo':	'Faroe Islands',
'fj':	'Fiji',
'fi':	'Finland',
'fr':	'France',
'gf':	'French Guiana',
'pf':	'French Polynesia',
'tf':	'French Southern Territories',
'ga':	'Gabon',
'gm':	'Gambia',
'ge':	'Georgia',
'de':	'Germany',
'gh':	'Ghana',
'gi':	'Gibraltar',
'gr':	'Greece',
'gl':	'Greenland',
'gd':	'Grenada',
'gp':	'Guadeloupe',
'gu':	'Guam',
'gt':	'Guatemala',
'gn':	'Guinea',
'gw':	'Guinea-Bissau',
'gy':	'Guyana',
'ht':	'Haiti',
'hm':	'Heard Island and Mcdonald Islands',
'va':	'Holy See (Vatican City State)',
'hn':	'Honduras',
'hk':	'Hong Kong',
'hu':	'Hungary',
'is':	'Iceland',
'in':	'India',
'id':	'Indonesia',
'ir':	'Iran, Islamic Republic of',
'iq':	'Iraq',
'ie':	'Ireland',
'il':	'Israel',
'it':	'Italy',
'jm':	'Jamaica',
'jp':	'Japan',
'jo':	'Jordan',
'kz':	'Kazakhstan',
'ke':	'Kenya',
'ki':	'Kiribati',
'kp':	'Korea, Democratic People\'s Republic of',
'kr':	'Korea, Republic of',
'kw':	'Kuwait',
'kg':	'Kyrgyzstan',
'la':	'Lao People\'s Democratic Republic',
'lv':	'Latvia',
'lb':	'Lebanon',
'ls':	'Lesotho',
'lr':	'Liberia',
'ly':	'Libyan Arab Jamahiriya',
'li':	'Liechtenstein',
'lt':	'Lithuania',
'lu':	'Luxembourg',
'mo':	'Macao',
'mk':	'Macedonia, the Former Yugosalv Republic of',
'mg':	'Madagascar',
'mw':	'Malawi',
'my':	'Malaysia',
'mv':	'Maldives',
'ml':	'Mali',
'mt':	'Malta',
'mh':	'Marshall Islands',
'mq':	'Martinique',
'mr':	'Mauritania',
'mu':	'Mauritius',
'yt':	'Mayotte',
'mx':	'Mexico',
'fm':	'Micronesia, Federated States of',
'md':	'Moldova, Republic of',
'mc':	'Monaco',
'mn':	'Mongolia',
'ms':	'Montserrat',
'ma':	'Morocco',
'mz':	'Mozambique',
'mm':	'Myanmar',
'na':	'Namibia',
'nr':	'Nauru',
'np':	'Nepal',
'nl':	'Netherlands',
'an':	'Netherlands Antilles',
'nc':	'New Caledonia',
'nz':	'New Zealand',
'ni':	'Nicaragua',
'ne':	'Niger',
'ng':	'Nigeria',
'nu':	'Niue',
'nf':	'Norfolk Island',
'mp':	'Northern Mariana Islands',
'no':	'Norway',
'om':	'Oman',
'pk':	'Pakistan',
'pw':	'Palau',
'ps':	'Palestinian Territory, Occupied',
'pa':	'Panama',
'pg':	'Papua New Guinea',
'py':	'Paraguay',
'pe':	'Peru',
'ph':	'Philippines',
'pn':	'Pitcairn',
'pl':	'Poland',
'pt':	'Portugal',
'pr':	'Puerto Rico',
'qa':	'Qatar',
're':	'Reunion',
'ro':	'Romania',
'ru':	'Russian Federation',
'rw':	'Rwanda',
'sh':	'Saint Helena',
'kn':	'Saint Kitts and Nevis',
'lc':	'Saint Lucia',
'pm':	'Saint Pierre and Miquelon',
'vc':	'Saint Vincent and the Grenadines',
'ws':	'Samoa',
'sm':	'San Marino',
'st':	'Sao Tome and Principe',
'sa':	'Saudi Arabia',
'sn':	'Senegal',
'rs':	'Serbia and Montenegro',
'sc':	'Seychelles',
'sl':	'Sierra Leone',
'sg':	'Singapore',
'sk':	'Slovakia',
'si':	'Slovenia',
'sb':	'Solomon Islands',
'so':	'Somalia',
'za':	'South Africa',
'gs':	'South Georgia and the South Sandwich Islands',
'es':	'Spain',
'lk':	'Sri Lanka',
'sd':	'Sudan',
'sr':	'Suriname',
'sj':	'Svalbard and Jan Mayen',
'sz':	'Swaziland',
'se':	'Sweden',
'ch':	'Switzerland',
'sy':	'Syrian Arab Republic',
'tw':	'Taiwan, Province of China',
'tj':	'Tajikistan',
'tz':	'Tanzania, United Republic of',
'th':	'Thailand',
'tl':	'Timor-Leste',
'tg':	'Togo',
'tk':	'Tokelau',
'to':	'Tonga',
'tt':	'Trinidad and Tobago',
'tn':	'Tunisia',
'tr':	'Turkey',
'tm':	'Turkmenistan',
'tc':	'Turks and Caicos Islands',
'tv':	'Tuvalu',
'ug':	'Uganda',
'ua':	'Ukraine',
'ae':	'United Arab Emirates',
'gb':	'United Kingdom',
'us':	'United States',
'um':	'United States Minor Outlying Islands',
'uy':	'Uruguay',
'uz':	'Uzbekistan',
'vu':	'Vanuatu',
've':	'Venezuela',
'vn':	'Viet Nam',
'vg':	'Virgin Islands, British',
'vi':	'Virgin Islands, U.S',
'wf':	'Wallis and Futuna',
'eh':	'Western Sahara',
'ye':	'Yemen',
'zm':	'Zambia',
'zw':	'Zimbabwe'
}

LANGUAGES_YANDEX = [
'ru',
'en',
'be',
'fr',
'de',
'id',
'kk',
'tt',
'tr',
'uk',
'uz',
'az',
'hy',
'lv',
'lt',
'et',
'ro',
'tk']

LANGUAGES_YAHOO = [
    'ar',
'bg',
'hr',
'cs',
'da',
'nl',
'en',
'et',
'fi',
'fr',
'de',
'el',
'he',
'hu',
'it',
'ja',
'ko',
'lv',
'lt',
'no',
'pl',
'pt',
'ro',
'ru',
'sk',
'sl',
'es',
'sv',
'th',
'tr',
]

COUNTRIES_YAHOO = [
    'al',
'dz',
'ar',
'am',
'au',
'at',
'az',
'bh',
'be',
'bo',
'ba',
'br',
'bg',
'ca',
'cl',
'cn',
'co',
'cr',
'hr',
'cz',
'dk',
'do',
'ec',
'eg',
'sv',
'ee',
'fi',
'mk',
'fr',
'ge',
'de',
'gr',
'gt',
'hn',
'hk',
'hu',
'is',
'in',
'id',
'ir',
'iq',
'ie',
'il',
'it',
'jp',
'jo',
'ke',
'kr',
'kw',
'lv',
'lb',
'ly',
'lt',
'lu',
'my',
'mt',
'mx',
'ma',
'nl',
'nz',
'ni',
'no',
'om',
'pk',
'pa',
'py',
'pe',
'ph',
'pl',
'pt',
'pr',
'qa',
'ro',
'ru',
'sa',
'sp',
'sg',
'sk',
'sl',
'za',
'es',
'se',
'ch',
'sy',
'tw',
'th',
'tn',
'tr',
'ae',
'ua',
'gb',
'us',
'vn',
'ye',
]

COUNTRY_LANGUAGE_DUCKDUCKGO = [
'xa-ar',
'xa-en',
'ar-es',
'au-en',
'at-de',
'be-fr',
'be-nl',
'br-pt',
'bg-bg',
'ca-en',
'ca-fr',
'ct-ca',
'cl-es',
'cn-zh',
'co-es',
'hr-hr',
'cz-cs',
'dk-da',
'ee-et',
'fi-fi',
'fr-fr',
'de-de',
'gr-el',
'hk-tzh',
'hu-hu',
'in-en',
'id-id',
'id-en',
'ie-en',
'il-he',
'it-it',
'jp-jp',
'kr-kr',
'lv-lv',
'lt-lt',
'xl-es',
'my-ms',
'my-en',
'mx-es',
'nl-nl',
'nz-en',
'no-no',
'pe-es',
'ph-en',
'ph-tl',
'pl-pl',
'pt-pt',
'ro-ro',
'ru-ru',
'sg-en',
'sk-sk',
'sl-sl',
'za-en',
'es-es',
'se-sv',
'ch-de',
'ch-fr',
'ch-it',
'tw-tzh',
'th-th',
'tr-tr',
'ua-uk',
'uk-en',
'us-en',
'ue-es',
've-es',
'vn-vi',
'wt-wt'
]

DOMAINS_GOOGLE = {'Andorra': 'google.ad',
'United Arab Emirates': 'google.ae',
'Albania': 'google.al',
'Armenia': 'google.am',
'American Samoa': 'google.as',
'Austria': 'google.at',
'Azerbaijan': 'google.az',
'Bosnia and Herzegovina': 'google.ba',
'Belgium': 'google.be',
'Burkina Faso': 'google.bf',
'Bulgaria': 'google.bg',
'Burundi': 'google.bi',
'Benin': 'google.bj',
'Bahamas': 'google.bs',
'Bhutan': 'google.bt',
'Belarus': 'google.by',
'Canada': 'google.ca',
'Democratic Republic of the Congo': 'google.cd',
'Central African Republic': 'google.cf',
'Republic of the Congo': 'google.cg',
'Switzerland': 'google.ch',
'Ivory Coast': 'google.ci',
'Chile': 'google.cl',
'Cameroon': 'google.cm',
'Angola': 'google.co.ao',
'Botswana': 'google.co.bw',
'Cook Islands': 'google.co.ck',
'Costa Rica': 'google.co.cr',
'Indonesia': 'google.co.id',
'Israel': 'google.co.il',
'India': 'google.co.in',
'Japan': 'google.co.jp',
'Kenya': 'google.co.ke',
'South Korea': 'google.co.kr',
'Lesotho': 'google.co.ls',
'Morocco': 'google.co.ma',
'Mozambique': 'google.co.mz',
'New Zealand': 'google.co.nz',
'Thailand': 'google.co.th',
'Tanzania': 'google.co.tz',
'Uganda': 'google.co.ug',
'United Kingdom': 'google.co.uk',
'Uzbekistan': 'google.co.uz',
'Venezuela': 'google.co.ve',
'United States Virgin Islands': 'google.co.vi',
'South Africa': 'google.co.za',
'Zambia': 'google.co.zm',
'Zimbabwe': 'google.co.zw',
'United States': 'google.com',
'Cape Verde': 'google.cv',
'Czech Republic': 'google.cz',
'Germany': 'google.de',
'Djibouti': 'google.dj',
'Denmark': 'google.dk',
'Dominica': 'google.dm',
'Algeria': 'google.dz',
'Estonia': 'google.ee',
'Spain': 'google.es',
'Finland': 'google.fi',
'Micronesia, Federated States of': 'google.fm',
'France': 'google.fr',
'Gabon': 'google.ga',
'Georgia': 'google.ge',
'Greenland': 'google.gl',
'Gambia': 'google.gm',
'Guadeloupe': 'google.gp',
'Greece': 'google.gr',
'Guyana': 'google.gy',
'Honduras': 'google.hn',
'Croatia': 'google.hr',
'Haiti': 'google.ht',
'Hungary': 'google.hu',
'Ireland': 'google.ie',
'Iraq': 'google.iq',
'Iceland': 'google.is',
'Italy': 'google.it',
'Jordan': 'google.jo',
'Kyrgyzstan': 'google.kg',
'Kiribati': 'google.ki',
'Kazakhstan': 'google.kz',
'Laos': 'google.la',
'Liechtenstein': 'google.li',
'Sri Lanka': 'google.lk',
'Lithuania': 'google.lt',
'Luxembourg': 'google.lu',
'Latvia': 'google.lv',
'Moldova': 'google.md',
'Madagascar': 'google.mg',
'Macedonia': 'google.mk',
'Mali': 'google.ml',
'Mongolia': 'google.mn',
'Montserrat': 'google.ms',
'Mauritius': 'google.mu',
'Maldives': 'google.mv',
'Malawi': 'google.mw',
'Niger': 'google.ne',
'Netherlands': 'google.nl',
'Norway': 'google.no',
'Nauru': 'google.nr',
'Niue': 'google.nu',
'Poland': 'google.pl',
'Palestine': 'google.ps',
'Portugal': 'google.pt',
'Romania': 'google.ro',
'Serbia': 'google.rs',
'Russia': 'google.ru',
'Rwanda': 'google.rw',
'Seychelles': 'google.sc',
'Sweden': 'google.se',
'Saint Helena, Ascension and Tristan da Cunha': 'google.sh',
'Slovenia': 'google.si',
'Slovakia': 'google.sk',
'San Marino': 'google.sm',
'Senegal': 'google.sn',
'Somalia': 'google.so',
'Suriname': 'google.sr',
'Chad': 'google.td',
'Togo': 'google.tg',
'Tokelau': 'google.tk',
'Timor-Leste': 'google.tl',
'Turkmenistan': 'google.tm',
'Tunisia': 'google.tn',
'Tonga': 'google.to',
'Trinidad and Tobago': 'google.tt',
'British Virgin Islands': 'google.vg',
'Vanuatu': 'google.vu',
'Samoa': 'google.ws',
'Afghanistan': 'google.com.af',
'Antigua and Barbuda': 'google.com.ag',
'Anguilla': 'google.com.ai',
'Argentina': 'google.com.ar',
'Australia': 'google.com.au',
'Bangladesh': 'google.com.bd',
'Bahrain': 'google.com.bh',
'Brunei': 'google.com.bn',
'Bolivia': 'google.com.bo',
'Brazil': 'google.com.br',
'Belize': 'google.com.bz',
'Colombia': 'google.com.co',
'Cuba': 'google.com.cu',
'Cyprus': 'google.com.cy',
'Dominican Republic': 'google.com.do',
'Ecuador': 'google.com.ec',
'Egypt': 'google.com.eg',
'Ethiopia': 'google.com.et',
'Fiji': 'google.com.fj',
'Ghana': 'google.com.gh',
'Gibraltar': 'google.com.gi',
'Guatemala': 'google.com.gt',
'Hong Kong': 'google.com.hk',
'Jamaica': 'google.com.jm',
'Cambodia': 'google.com.kh',
'Kuwait': 'google.com.kw',
'Lebanon': 'google.com.lb',
'Libya': 'google.com.ly',
'Myanmar': 'google.com.mm',
'Malta': 'google.com.mt',
'Mexico': 'google.com.mx',
'Malaysia': 'google.com.my',
'Namibia': 'google.com.na',
'Nigeria': 'google.com.ng',
'Nicaragua': 'google.com.ni',
'Nepal': 'google.com.np',
'Oman': 'google.com.om',
'Panama': 'google.com.pa',
'Peru': 'google.com.pe',
'Papua New Guinea': 'google.com.pg',
'Philippines': 'google.com.ph',
'Pakistan': 'google.com.pk',
'Puerto Rico': 'google.com.pr',
'Paraguay': 'google.com.py',
'Qatar': 'google.com.qa',
'Saudi  Arabia': 'google.com.sa',
'Solomon Islands': 'google.com.sb',
'Singapore': 'google.com.sg',
'Sierra Leone': 'google.com.sl',
'El Salvador': 'google.com.sv',
'Tajikistan': 'google.com.tj',
'Turkey': 'google.com.tr',
'Taiwan': 'google.com.tw',
'Ukraine': 'google.com.ua',
'Uruguay': 'google.com.uy',
'Saint Vincent and the Grenadines': 'google.com.vc',
'Vietnam': 'google.com.vn'
}