こんばんにちは！酒人です。
今日は、一風変わった企画＆検証をやってみたいと思います。
僕は仕事で生成AIをフル活用しているんですが、ChatGPTが新モデルのo1になってから、かなり精度が上がったような気がしていました。
そこで、ふと旧モデルであるChatGPT4o（以下「4o」）とo1、戦わせたらどうかなと。ついでに、人間はAIにまだ知識で勝てるのか？も気になったので、僕（離島オタク）vs o1 vs 4oという勝負兼検証をやることにしました！
【目的】人はAIに勝てるのか？
・4oとo1にどの程度実力差があるのか測る
・僕はAIに勝てるのか力試し
【ルール】全35問×2のハードな勝負
・4o、o1ともに原則は同じプロンプトで会話を行う。回答や誤りの指摘は、同一フォーマットで行う。
・1回7問、5回勝負でクイズを出題させる。回答方式は短答式指定。
・出題→回答→採点のサイクルごとに正確性の検証を行う。
・同じ問題が出るかもしれないので、4o、o1それぞれの出題に同時に回答する。
・僕が正解→0点、僕が不正解→AIに＋１点、僕がAIの誤りを正しく指摘→僕に＋１点
※4o、o1の勝負は、後に検証した誤りの数を累積させる方法で行います。
・使用するプロンプト
あなたは、優秀なクイズ作成者で、ベテラン編集者です。正確かつ面白いクイズの問題を提供してください。あなたにもわからないことに関する出題は避け、問題の情報は正確性を担保してください。日本語についてもベテラン編集者として注意深く校正し、間違いや語弊がないようにしてください。
今から、１回7問で日本の有人離島に関するクイズを作成してください。回答は短答式です。有人離島の定義ですが、人が住んでいる島を指します。本土と橋でつながっていたり、湖にある島であったりしても有人離島として扱います。日本の有人離島の一覧は以下のサイトから確認できます。（https://ritokei.com/shima）このページに掲載されていない島に関する問題は出題してはいけません。また、一度出題した問題は類似の問題含めて再出題せず、なるべく多様な有人離島について問題を作成するようにしてください。問題は、島の別名がある場合を除いて、回答が必ず一つに決まる内容でなければいけません。
私が回答を送るので、採点をしてください。なお、私が正確に問題の誤りを指摘した場合にも正解として扱ってください。
では出題をお願いします！
以降は、回答、間違いの指摘、「次をお願いします！」のみを送ります。
ちなみに問題は全部掲載しておくので、皆さんも挑戦してみてくださいね！！
※当然ですが、僕は何も参照せずに回答しています。
では、いってみよう！！
第一回、上々の滑り出し！
4oの出題
１，日本の有人離島の中で、面積が最も大きい島は何でしょうか？
２，「猫の島」として知られ、多くの猫が生息している宮城県の島はどこでしょうか？
３，香川県に属し、オリーブの生産で有名な島はどこでしょうか？
４，長崎県に位置し、教会群が世界遺産に登録されている五島列島の主な島はどこでしょうか？
５，鹿児島県の奄美群島に属し、特有の動植物が生息することで知られる島はどこでしょうか？
６，沖縄県にあり、琉球王国時代の文化が色濃く残ることで知られる八重山諸島の島はどこでしょうか？
７，広島県に位置し、厳島神社が世界遺産に登録されている島はどこでしょうか？
さぁ、皆さんもお考え下さい！！
僕の回答
１，佐渡島
２，該当なし（気候の問題から猫島は存在しない）
３，小豆島
４，久賀島や福江島（史跡が散在しており、回答が定まらない）
５，奄美大島（徳之島等にも固有生物がおり、回答が定まらない）
６，竹富島（出題が曖昧）
７，厳島
結果
２が田代島で僕の不正解で4oに１点。4-6で問題がある出題を指摘したので僕が3点。
o1の出題
【第1問】
日本初の世界自然遺産に登録された、鹿児島県の有人離島はどこでしょう？
【第2問】
日本最南端の市役所が置かれている、沖縄県の有人離島はどこでしょう？
【第3問】
島の中央にある浅茅湾（あそうわん）の風光明媚さで知られ、「国境の島」とも呼ばれる長崎県の有人離島はどこでしょう？
【第4問】
面積約855平方キロメートルで、日本海側に位置する国内最大の離島といえばどこでしょう？
【第5問】
オリーブの栽培が日本で初めて成功し、映画やドラマのロケ地としても知られる香川県の有人離島はどこでしょう？
【第6問】
桃太郎伝説で「鬼ヶ島」のモデルといわれる、香川県高松市に属する島はどこでしょう？
【第7問】
活火山の三原山があり、「椿まつり」でも有名な東京都の有人離島はどこでしょう？
さぁ、皆さんもお考え下さい！！
僕の回答
１，屋久島
２，石垣島
３，対馬
４，佐渡島
５，小豆島
６，犬島だが岡山県に属する
７，伊豆大島
結果
6は女木島、女木島も鬼ヶ島伝説は有名であるため誤りでした。o1に１点。
第二回、痛感する知識不足
4oの出題
１，沖縄県に属し、日本最南端の有人島はどこでしょうか？
２，長崎県に位置し、軍艦のような見た目から「軍艦島」とも呼ばれる島はどこでしょうか？
３，鹿児島県の離島で、2013年に世界自然遺産の推薦リストに登録された島はどこでしょうか？
４，愛媛県にある有人島で、日本三大急潮のひとつである来島海峡に浮かぶ島はどこでしょうか？
５，福岡県に属し、博多湾に位置し、福岡市の観光地としても有名な島はどこでしょうか？
６，青森県に位置し、「日本の北限の島」とされる島はどこでしょうか？
７，島根県の隠岐諸島に属し、国賀海岸などの自然景観が美しいことで知られる島はどこでしょうか？
さぁ、皆さんもお考え下さい！！
僕の回答
１，波照間島
２，端島だが、無人島である
３，奄美群島が登録されており、答えが定まらない
４，大三島
５，志賀島と能古島が該当するため回答が定まらない
６，青森県には有人離島がない
７，中ノ島
結果
4のみ馬島で僕の誤答です。4oは２点目。2，3，5，6について正確に指摘したため僕に＋４点。（累計7点）なお、青森に有人島がないことは指摘しても認めませんでした。それにしても四国の島に弱い僕。
o1の出題
【第1問】
日本最南端の有人島として知られ、沖縄県竹富町に属する島はどこでしょう？
【第2問】
標高1,721mの利尻山（りしりざん）を中央にいただき、その山容が“海のアルプス”とも称される、北海道の有人離島はどこでしょう？
【第3問】
赤瓦の伝統的な家並みと白砂の道が保存され、重要伝統的建造物群保存地区にも選定されている集落がある、沖縄県竹富町の有人離島はどこでしょう？
【第4問】
闘牛（牛同士の対決）が盛んな文化をもつことから「闘牛の島」とも呼ばれ、奄美群島の一つでもある鹿児島県の有人離島はどこでしょう？
【第5問】
隠岐諸島で最大の島であり、島根県隠岐の島町の主要なエリアを形成している島はどこでしょう？
【第6問】
東京都の最南端部に位置し、小笠原村の行政の中心ともなっている、太平洋上の有人離島はどこでしょう？
【第7問】
琉球王国時代から伝わる織物「久米島紬（くめじまつむぎ）」が特産品として知られ、沖縄本島から西へ約100kmに位置する沖縄県の有人離島はどこでしょう？
さぁ、皆さんもお考え下さい！！
僕の回答
１，波照間島
２，利尻島
３，竹富島
４，徳之島
５，島後
６，母島
７，久米島
結果
6で行政の中心という部分を見落としました。母島のほうが南なので、そっちを書いてしまいましたが、確かに正解は父島。最南端「部」ですので出題も正確です。o1に＋１点。（累計2点）
第三回、精彩を欠く4o
4oの出題
１，鹿児島県に属し、日本で最も新しく誕生した有人島はどこでしょうか？
２，長崎県の対馬と壱岐の間に位置し、リアス式海岸が特徴的な島はどこでしょうか？
３，沖縄県に属し、琉球王国の交易拠点として栄えた八重山諸島の島はどこでしょうか？
４，瀬戸内海に浮かぶ岡山県の有人島で、鬼の伝説が残ることで知られる島はどこでしょうか？
５，新潟県に属し、「トキの島」としても知られる島はどこでしょうか？
６，東京都に属し、独特な石造りの町並みが特徴的な伊豆諸島の有人島はどこでしょうか？
７，山口県の周防灘に浮かぶ島で、橋で本州とつながっている唯一の有人離島はどこでしょうか？
さぁ、皆さんもお考え下さい！！
僕の回答
１，新島（誕生という表現は変だが、もっとも最近に有人化）
２，間には有人島がない
３，石垣島
４，犬島
５，佐渡島
６，該当する離島がない
７，周防大島
結果
２は若宮島、辰ノ島等が該当し誤答（ただし複数あるので4oも間違い）。４の犬島は鬼ヶ島伝説があり誤りとは言えないが、前島等にも鬼にまつわる伝説があるため痛み分けとし、双方加点なし。６は新島にあるらしく、誤答で、4oに＋２点。（累計４点）
一方で１では昭和硫黄島を回答としたが無人島であるため、僕の指摘を有効として＋１点。（累計8点）
ただし、採点はグダグダでした。１を不正解と主張し、２で島がないと認め、４は不正解と判定、６でも間違いを認めてしまい、４か所とも違っています。
o1の出題
【第1問】
日本の最西端に位置し、沖縄県与那国町に属する有人離島はどこでしょう？
【第2問】
沖縄県宮古島市に属し、与那覇前浜（よなはまえはま）ビーチなど美しいビーチで知られる島はどこでしょう？
【第3問】
奄美群島で最も面積が広く、鹿児島県奄美市を含む複数の自治体が置かれている島はどこでしょう？
【第4問】
隆起サンゴ礁で形成され、サトウキビ栽培が盛んな鹿児島県大島郡の有人離島はどこでしょう？
【第5問】
伊豆諸島の一つで、東京都内ながら亜熱帯性気候を持ち、円錐形の「八丈富士」を島のシンボルとする島はどこでしょう？
【第6問】
東京都の伊豆諸島に属し、白砂の羽伏浦海岸（はぶしうらかいがん）がサーフスポットとして人気の島はどこでしょう？
【第7問】
「ベネッセアートサイト」や「家プロジェクト」をはじめとする現代アートで世界的に知られ、「アートの島」とも呼ばれる香川県の有人離島はどこでしょう？
さぁ、皆さんもお考え下さい！！
僕の回答
１，与那国島
２，多良間島
３，奄美大島
４，喜界島
５，八丈島
６，新島
７，豊島
結果
２は宮古島でした。ビーチの名前はきつすぎる。７は直島、確かに迷ったけど家プロジェクトがどっちでやってるかまでは覚えてない……。ということでo1に＋２点。（累計4点）
第四回、AIが政治主張！？
4oの出題
- 鹿児島県に属し、日本で最も標高が高い有人島はどこでしょうか？
- 長崎県の壱岐市に属し、古くから海上交通の要所として知られる島はどこでしょうか？
- 沖縄県に属し、与那国島に次いで日本最西端に近い有人島はどこでしょうか？
- 岡山県に属し、「アートの島」として知られる瀬戸内海の有人島はどこでしょうか？
- 北海道に属し、松前藩が統治していた歴史を持つ日本最北の有人島はどこでしょうか？
- 静岡県に属し、日本一の深さを誇る駿河湾に浮かぶ唯一の有人島はどこでしょうか？
- 東京都に属し、伊豆諸島の中で最も人口が多い有人島はどこでしょうか？
さぁ、皆さんもお考え下さい！！
僕の回答
１，屋久島
２，壱岐島
３，西表島
４，岡山県に属する有人島にはない
５，礼文島
６，初島
７，伊豆大島
結果
4の指摘が成功し僕に１点。（累計9点）。そして、５の回答が択捉島だといい始めました。うん、コメントがむずいことすんな。参照リストに載っていないので誤出題とします。（僕が間違いを指摘したともいえないので加点はなし）なので、全問正解！
o1の出題
【第1問】
面積約289平方キロメートルを誇り、西表野生生物保護センターが設置されるなど、多様な動植物が生息し「東洋のガラパゴス」とも呼ばれる沖縄県の有人離島はどこでしょう？
【第2問】
北海道最北の離島の一つで、高山植物が豊富なことから「花の浮島」とも呼ばれ、香深（かふか）港周辺からは利尻富士を望むことができる島はどこでしょう？
【第3問】
北海道南西部に位置し、1993年の大地震で大きな被害を受けたものの、現在は復興を遂げ観光にも力を入れている島はどこでしょう？
【第4問】
兵庫県に属し、本州とは明石海峡大橋で、四国とは大鳴門橋で結ばれている、日本で最も人口の多い離島はどこでしょう？
【第5問】
伊豆諸島の最南端に位置し、中心にそびえる雄山を含むカルデラ地形が特徴的で、独特の火山活動の歴史から「幻の漂流島」とも呼ばれる東京都の有人離島はどこでしょう？
【第6問】
伊豆諸島の一つで、野生のミナミハンドウイルカが生息しており、イルカウォッチングの名所として人気を集める東京都の有人離島はどこでしょう？
【第7問】
鹿児島県最南端の町に属し、美しいサンゴ礁の海と真っ白なビーチで知られ、「ヨロンブルー」と称される透明度の高い海が観光客を魅了する島はどこでしょう？
さぁ、皆さんもお考え下さい！！
僕の回答
１，西表島
２，利尻島
３，焼尻島
４，淡路島
５，青ヶ島
６，御蔵島
７，与論島
結果
脊髄反射で回答した、２が礼文島で不正解。（利尻富士が望めるだからそりゃそうだわな）３は奥尻島の方だったようです。当時幼児だった僕は恥ずかしながら知りませんでした。ってことでo1に＋２点。（累計6点）
最終回、遂に勝敗が決定！
4oの出題
１，鹿児島県のトカラ列島に属し、日本の有人離島の中で最も人口が少ない島はどこでしょうか？
２，長崎県に属し、かつて炭鉱で栄えたが現在は観光地として知られる五島列島の有人島はどこでしょうか？
３，沖縄県に属し、沖縄本島と宮古島の間に位置する唯一の有人島はどこでしょうか？
４，瀬戸内海に浮かぶ広島県の有人島で、全国的に有名な「ある柑橘類」の生産が盛んな島はどこでしょうか？
５，三重県に属し、真珠養殖の発祥の地として知られる離島はどこでしょうか？
６，島根県に属し、日本で唯一、火山が現在も活動している有人島はどこでしょうか？
７，東京都の小笠原諸島に属し、第二次世界大戦後にアメリカの統治下に置かれ、1972年に日本へ返還された島はどこでしょうか？
さぁ、皆さんもお考え下さい！！
僕の回答
１，最も人口が少ないのは仁右衛門島であるため該当なし
２，福江島
３，本島と宮古島の間には慶良間諸島などが位置するため設問不適切
４，三角島や下蒲刈島など複数の離島が該当するため不適切
５，思い出せない
６，島根県に有人離島がなく、該当なし
７，父島と母島が該当し、不適切
結果
２、３、６で誤答。4oは２は中通島が正解と主張しますが、池島の間違いですね。３は慶良間の立地を間違えてました。間という意味では大神島のみですね。
６は島根と鳥取を空目しました。。西ノ島は活火山ですが日本唯一というのは誤りで、いっぱいあります。とはいえ、4oに＋3点。（累計7点）1、4、7で指摘成功で、僕に＋3点。（累計12点）なお、仁右衛門島については、宝島はトカラでは人口が一番少ないという謎の主張で誤りを認めずでした。
なお、５ですが、4oが回答として提示した渡鹿野島を発祥の地とする情報は見つかりませんでしたので、出題ミスです。4oの累計ミスは35問中17問でした。
o1の出題
【第1問】
世界初の近代鉄砲が伝来した地として知られ、現在はロケットの打ち上げ施設（宇宙センター）もある鹿児島県の有人離島はどこでしょう？
【第2問】
神奈川県藤沢市に属し、本土とは「江の島大橋」で結ばれており、江島神社やヨットハーバーなど観光スポットが多い小島はどこでしょう？
【第3問】
伊豆諸島の一つで、東京・竹芝桟橋からの定期船が就航し、中央部に「天上山」をいただくなど豊かな自然が魅力の東京都の有人離島はどこでしょう？
【第4問】
鹿児島県大島郡和泊町・知名町にまたがり、隆起サンゴ礁による鍾乳洞が数多く点在し、「花と水の島」とも呼ばれる有人離島はどこでしょう？
【第5問】
東京都新島村に属し、新島の南東に隣接する小さな島で、入り組んだ海岸線に“隠れたビーチ”や天然温泉が点在していることで知られる島はどこでしょう？
【第6問】
岡山県岡山市に属し、銅製錬所跡を再生した近代化産業遺産のアートプロジェクトが有名な瀬戸内海の有人離島はどこでしょう？
【第7問】
愛知県南知多町に属する三河湾の離島で、タコやフグ料理の名所として有名。名古屋からのアクセスも良く、観光客が多く訪れる島はどこでしょう？
さぁ、皆さんもお考え下さい！！
僕の回答
１，種子島
２，江の島
３，八丈島
４，沖永良部島
５，式根島
６，犬島
７，日間賀島
結果
3のみ神津島が正解で、誤答。o1に＋１点で累計は7点に。僕は０点でした。
結果まとめ、人間の敗北は近い
【僕の戦績】
4o：12-7
o1：0-7
4oには圧勝でしたがo1にはぼろ負けでした。35問で7ミスは8割正答なのでまぁ悪くないかなとは思うんですけどね！知識を測るという意味では、次回は僕からクイズを出題するパターンもやってみようと思います。
【出題ミス】（4o vs o1）
4o：17
o1：0
僕の敗因はo1に出題ミスがなかったことでした。ミスがない以上、今回のルールでは僕は勝てませんからね。一方で4oは実に50％近くも出題を間違えました。やっぱり実力差は明確みたいです。
【結論】
o1はすげぇ。かなり使える。もちろん、結果の検証をやめてそのまま使っていいわけではないですし、今回の結果は一例に過ぎないですけどね。でも「高度な推論」の精度は相当なものだと感じましたね。とはいえ、問題文にほぼ答えが含まれるパターンもあり、クイズ制作者としてはまだ修練の余地あり、といった印象。
4oのミスはどちらかというと、こちらの指示を無視するパターンも多かったですね。無人島について出題してしまうとか、答えが定まらないとか。知識と作業の質、いずれもそこそこ雑、という印象でした。
あと離島クイズ楽しい。みなさんもやってみてください！！
コメント