Jarvisというのは、 アイアンマンの相棒となるAIで(「ジャービス(J.A.R.V.I.S)、アイアンマンの相棒に迫る【原作ではAIではなく人だった！】」)、その後、ヴィジョンになります。
それは、さておき、イタリアで、JARVISというAIアルゴリズムの利用などに関して、GDPR(一般データ保護規則、以下、GDPR)違反でイタリアのデータ保護機関(Garante per la Protezione dei dati Personali 、GPDP)から罰金が課されたということなので、みていきたいと思います。
ちなみに、当社におけるイタリア情報としては、「イタリアのGDPRと国内法の統合」があります。 ご参照ください。
フードデリバリ会社に対する命令には、二つあって、ひとつは、Deliveroo事件、今ひとつは、Foodino事件になります。
イギリスにいくときに、いつも訪問する、友人のアームストロング弁護士のCorderyのクライアントアラートは、こちらです。
Foodino事件
この事件のGPDPのプレスリリースは、こちらです(英語版)。
宅配会社がアルゴリズムを使って、舞台裏で何が起こっているかについて十分な透明性を持たずに、労働者を綿密に監視している様子であるようです(また、イタリアの雇用法では、自営業者は一定の権利を有していることも関係しています）。)
GDPR第22条(プロファイリングを含む自動化された個人の意思決定)では、個人は、一定の例外が適用され、それらの個人に対する特定の保護が行われている場合を除き、プロファイリングを含む自動化された処理のみに基づいて、自分に関する法的効果を生じさせたり、同様に自分に著しく影響を与えたりする意思決定の対象とならない権利を有しているということは、前提となります。
調査の結果、同プラットフォームがアルゴリズムを用いて、ライダーの評価が一定のレベルを下回ると自動的に仕事の機会から除外するペナルティを課していたことは差別的であり、また、人間による審査の機会や決定に異議を唱える能力がなかったことはGDPRに反することが判明しました。
具体的な事実認定で問題として指摘されている事項は、以下のとおりてす。
a Foodinhoがライダーに提供した情報について。
– 検査の過程で検出された、提供された一般的な情報とは異なる位置情報の処理に関する実際の取り決め、コールセンターとのチャット、電子メールおよび／または電話での会話に関するデータを中心とした収集データのカテゴリー、小売業者および顧客によるライダーの評価などが明記されていなかったため、透明性の原則に関してGDPR第5条(1)(a)が侵害された。
– 情報通知は、保存期間に関する高レベルかつ不正確な情報しか提供しておらず、特定のデータカテゴリーの保存期間を特定していなかったため、GDPR第13条(2)(a)を侵害した。
– GDPR第13条(2)(f)は、情報通知がプロファイリングを含むいかなる自動処理活動にも言及していなかったために侵害された。一方、プロファイリングを含む自動処理活動は、検査の過程で見つけることができ、ライダーを採点して、会社が決定した配達注文の時間帯を予約する際に優先順位をつけることを目的としたものであり、さらに「処理の論理、データ主体にとっての当該処理の重要性と結果に関して意味のある情報が提供されていない」。
– グループDPOは2019.05.23、すなわちイタリアのSAが実施した検査の前に持株会社によって指定されたようだが、DPOの連絡先が提供されていなかったため、GDPR第13条(1)(b)が侵害された。
– 雇用者と従業員の関係の一部として従業員に通知する義務は、イタリアのSAが繰り返し指摘している処理活動の公正性の一般原則をも反映しているため、公正性の原則に関してGDPR第5条(1)(a)が侵害された。
前述の規定の侵害は、イタリアSAの命令が採択された際に同社がウェブサイトに掲載した情報通知についても認められる。実際、新しい情報通知は、同社が検査中に提供した情報通知と同様に、GDPR第5条に定められた原則やGDPR第13条に定められた要件に関して、いくつかの欠点を示しています。
b. 保存期間について。
– 同社は、様々な目的で収集された複数のカテゴリーのライダーのデータを、雇用関係の期間中および雇用終了後4年間保存しているため、第5条第1項（e）に違反している。さらに、すべての注文についてライダーがたどったルートは会社によって10ヶ月間保存され、カスタマーケアの通話に関するいわゆる外部データ（発信者および被発信者の番号、通話の開始および終了時間、待ち時間、持続時間）は4年間保存されます。持株会社の許可を得て、電話の通話内容にアクセスすることができ、そのような通話はMas Voz Telecomunicaciones Interactivas S.L.社が運営するプラットフォームに3ヶ月間保存されます。
c. 会社が使用しているシステムの設定について。
– c. 会社が使用しているシステムの構成について： 会社が使用しているシステムは、注文の処理に関連するすべてのデータを収集・保存し、権限のあるオペレータが管理者と顧客の両システムで収集されたデータを共同かつ同時に使用できるように構成されていたため、GDPR第5条1項（c）（データ最小化の原則）およびGDPR第25条（設計によるプライバシーおよびデフォルトの原則）が侵害された。さらに、チャットやメールの管理システムでは、各オペレーターがライダーとのチャットやメールの内容に直接アクセスできるように設定されています。なお、詳細情報を含むライダーのデータへの完全なアクセスを可能にするプロファイルに基づいて、会社から当該システムへのアクセスを許可されている事業者が相当数存在しています。
d. 実施されているセキュリティ対策について
– GDPR第32条が侵害されたのは、システムが当初から、すなわち2016年にイタリアで同社が事業を開始してから、少なくともいわゆるシティパーミッションが有効になるまでは、ライダーが遂行すべき広範なタスクに関連して、相当数のシステムオペレータが相当数の個人データにデフォルトでアクセスできるように構成されていたためです。これでは、「個人データの紛失、改ざん、不正な開示、偶発的または不法なアクセス」による事実上のリスクを考慮して、「システムの機密性、完全性、可用性、回復力」を恒常的に確保することができませんでした。
e. DPIAの必要性について。
– 会社が実施した処理は、相当数のデータ対象者に関する様々な性質の相当量のデータに関係し、オファーとデマンドを一致させるアルゴリズムに依存するデジタルプラットフォームによって実行されたものであり、明らかに革新的な性質のものであったため、GDPR第35条が侵害され、データ保護影響評価を実施する義務の範囲内に入った。導入された技術の革新性、ひいては会社が行った活動の革新性は、第一に、複雑なアルゴリズムに基づいて運営されるデジタルプラットフォームを通じて労働が管理されているという事実にある（実際、これらのアルゴリズムの機能は一部しか開示されていない）。第二に、依拠した技術の革新的な特徴は、プロファイリングを含む自動処理の使用にあり、これは、地理的位置情報を含む多様なデータの処理を理由にデータ対象者に大きな影響を与え、その結果、一部のライダーが労働の機会から除外されることになる。
f. プロファイリングを含む自動処理について。
– f. プロファイリングを含む自動化された処理について：会社が、いわゆる「エクセレンスシステム」の枠組み内および注文割り当てシステム（「JARVIS」と呼ばれる）の一部として、プロファイリングを含む自動化された処理活動を行ったため、GDPR第22条第3項が侵害された。当事者間の契約の履行に必要な特定の処理には、第22条に規定されている除外事項の1つが適用されたが（GDPR第22条(2)(a)参照）、同社は「データ対象者の権利と自由および正当な利益を保護するための適切な措置、少なくとも自分の意見を表明するために人的介入を受ける権利（……）」を実施したとは思えない。 自分の意見を表明し、決定に異議を唱えるための人的介入を得る権利」です。
g. DPOの連絡先の伝達について。
– g. DPO の連絡先の伝達について：会社は、グループレベルの DPO の連絡先を、イタリアの SA のウェブサイトで利用可能なアドホックなオンライン手続きを通じて、遅くとも 2020 年 7 月 1 日には伝達していたため、GDPR 第 37 条(7)が侵害された。
h. 処理活動の記録について。
– 記録にはいくつかのカテゴリーの個人データに関する情報が含まれていないこと、保存期間に関する具体的な情報がないこと、GDPR第32条第1項で言及されている技術的および組織的なセキュリティ対策の一般的な説明がないこと、最後に記録の変更履歴を追跡することができないことが確認できたため、第30条第1項の手紙a)、b)、c)、f)、g)が侵害された。
i. 処理の合法性について。
– i. 処理の適法性について：ライダーの個人情報は、従業員の遠隔監視を規制する適用される雇用法（1970年5月20日法律第300号）およびデジタルプラットフォーム上の労働を保護する規定（2015年6月15日法律第81号）に違反して、関連する雇用者と従業員の関係の一部として会社によって処理されたため、GDPR第5条1項(a)および第88条、ならびにイタリアデータ保護法（立法令第196/2003号）の第114条が侵害された。
GPDPは、260万ユーロの制裁金（Foodinho社の調査への協力体制の不備、影響を受けたライダーの数の多さを考慮）に加えて、Foodinho社に対し、以下の是正措置を講じることを命じる差止命令を出しました。
——————————–
情報通知、処理作業の記録、DPIAを含む文書で、そこに言及されている処理作業の間の一貫性も確保する（GDPR第58条2項）。
– 処理されたデータの保存期間の指定（GDPR第58条(2)(d)）。
– データ対象者の権利、基本的自由及び正当な利益を保護するための適切な措置、少なくとも、プロファイリングを含むプラットフォームを介して行われる自動処理に関して、管理者側の人的介入を受ける権利、自分の意見を表明する権利及び決定に異議を唱える権利（GDPR第58条(2)(d)）。
– アルゴリズムシステムの結果の公正性及び正確性を定期的に確認するための適切な措置（一部、エラーのリスクを最小限に抑えることを保証し、差別の禁止、プラットフォームへのアクセス及び除外に関する立法令第81/2015号第47条のdを遵守するため（GDPR第58条(2)(d)）。
– フィードバックベースのレピュテーションメカニズムの不適切及び／又は差別的な適用を防止することができる取り決めを導入するための適切な措置。この評価は、スコアリングを計算するためのフィードバック情報の使用に関して、アルゴリズムが変更されるたびに実行されなければなりません（GDPR第58条(2)(d)）。
– 個々のケースで割り当てられたタスクを考慮して、様々なデータカテゴリーにアクセスする権限を与えられたエンティティに関して、最小化、デザインとデフォルトによるプライバシーの原則を適用すること（GDPR第58条(2)(d)
– 1970年5月20日付法律第300号第4条第1項の規定の遵守（GDPR第58条(2)(d)）。
GDPR第83条に基づく是正措置に加えて、個々の事例の状況を考慮して（GDPR第58(2)(i)条）、2,600,000.00ユーロの制裁金を課した。
Foodinho社のスペインの持ち株会社であるGlovoApp23社は、控訴を検討しているようです。
食品の配送システムについては、その配送員への割当等について、種々のアルゴリズムが利用されているものと思われますが、GDPRが適用されている場合には、情報主体への仕組みの開示・透明性の確保・人間の判断の権限の確保等が要求される例ということになります。
Deliveroo社事件
Deliveroo社の事件は、2019年6月にDeliveroo社の敷地内に行われた立入検査（dawn raidと呼ばれることもある）に関するものになります。
この査察により、Deliverooは親会社がアイルランドのサーバーで管理する集中型コンピュータシステムを使用していることが判明しました。 そして、イタリアの約8,000人の配達員が、アプリによって、システムに登録され、キット(ジャケット、バックパック)をわたされた上で、シフト予約システムは、
- 金曜、土曜、日曜の夕方に配達する配達員の可用性
- 配達員の信頼性
- 配達速度
いくつかの要因に関連して配達員のパフォーマンスを採点していました。
今回もGaranteは、Deliverooがアルゴリズムを使って仕事を分配する方法について透明性がないことを懸念していた。
GDPRには一般的な公正さの要件（GDPR第5条1項(a)）もあり、その一環として、管理者はそのアルゴリズムが差別的でないことを示す必要があります。
その後、Deliverooは、2019年7月には、検査後にプラットフォームを変更したと述べました。
その後、2020年2月に、GDPDは、Deliverooに、GDPR5条、13条、22条、25条、30条、37条などの違反についての通知をなしました。やりとりがなされて、最終的に2021年7月22日命令がなされました(イタリア語)。その結果としては、
個人情報の保護に関する法律の遵守と確認された違反行為についての観察。 手続き中に当局に提出された申告書および入手した書類を確認したところ、その事実がより重大な犯罪を構成する場合を除き、GPDPとの手続きにおいて、ニュースや状況を申告したり、虚偽の証明をしたり、虚偽の証書や書類を作成した者は、コード168「保証人への虚偽の陳述および任務遂行や権限行使の妨害」に基づいて責任を負うことがわかった。
(略)
GPDPは、複雑な手続きの結果、Deliveroo Italy社lは、GDPR5条、第1項、第a)および第e)、第13条、第22条、第a)および第b)に違反したと考えました。
GPDPは、規則第83条パラグラフ3を適用する必要があると考えした。そして、本規則の第5条で確認された違反は、個人データの処理に適用される複数の一般原則および適用される部門規則の不遵守に関連しているため、より深刻であると考えられ、制裁金の総額は、前述の違反に規定された最大の法的通知を超えないように計算されます。その結果、第83条第1項で規定されている制裁措置は 83, par. その結果、本規則の第83条第5項.a)で想定される制裁は、総額2,000万ユーロまたは企業の場合は前年度の全世界の年間売上高の4％のいずれか高い方となります。
第83条第1項に記載されている要素については、以下のとおりです。
a) 違反行為の性質、重大性、期間に関連して、違反行為の性質は、合法性、正確性、透明性の原則を含む処理の一般原則に関係していると考えられた。
特に、違反行為は、遠隔操作に関するセクター規制やデジタルプラットフォームを通じた仕事の保護を目的とした規制にも関係しており、違反行為は、処理活動の登録の正確な作成、影響評価の実施、デザインとデフォルトによるプライバシーの原則の適用に適用される情報と説明責任の原則に関連する複数の追加条項にも関係していた。デジタルプラットフォームおよび関連するアルゴリズムシステムを使用して行われるプロファイリングを含む自動処理において、データ対象者の権利および自由を保護するための適切な措置を講じる義務にも違反していました。この違反は、セキュリティ対策およびデータ保護責任者の連絡先を当局に伝えることに関して所有者に課せられた義務にも関係しています。また、確認されたいくつかの違反行為は現在も行われており、2015年（同社の活動が開始された年）に始まったものであり、デジタルプラットフォームおよび関連するアルゴリズムシステムの使用を通じて行われた、相当数のデータ対象者（約8,000人）に関する処理であること、違反行為は、セキュリティ対策およびデータ保護責任者の連絡先を当局に伝えることに関して所有者に課せられた義務にも関係していることが考慮されました。また、確認された違反行為の中には、2015年（同社の活動が開始された年）に始まったものもあり、デジタルプラットフォームおよび関連するアルゴリズムシステムを利用して行われた、相当数のデータ対象者（約8,000人）に関わる処理であると考えられました。また、確認されたいくつかの違反は現在も継続しており、2015年（同社の活動が開始された年）に開始されたものであり、その治療は相当数のデータ対象者（約8,000人）に関わるものであると考えられる。
b) 違反行為の故意または過失の有無および所有者の責任の程度について、会社の行為およびその責任の程度が考慮されており、当局による手続き開始後も、SSB優先予約システムの放棄および個人情報に関する一部の社内指令の実施を除き、複数の規定に関連するデータ保護に関する規則を自発的に遵守していないこと。
c) 具体的な前例がないこと、手続き中に当局に部分的に協力したことが、同社に有利に作用したと考えられる。
また、以下のように考えられています。
また、今回のケースでは、当局が制裁金額を決定する際に遵守しなければならない前述の有効性、比例性、懲罰性の原則（規則第83条第1項）を考慮して、まず、2019年の財務諸表（営業損失を計上）を参照して会社が達成した収益に基づいて決定される、違反者の経済状況が関連性を持つと考えられる。最後に、同様のケースで課された制裁の程度が考慮されます。
上記に示した要素と評価に照らして、本件では、Deliveroo Italy srlに250万ユーロを支払う行政制裁を適用することが考えられる。
これに関連して、違反の数と重要性、および制裁の範囲を考慮して、法典の第166条第7項に規定されている、GDPDのウェブサイトに本規定を掲載するという付帯的な制裁も考慮されています。この規定は、法典第166条第7項およびGPDP規則第16条で定められています。(略)
差し止め
Deliveroo Italy srl:
1) 第58条第1項に従い、遵守すること。58, par. 2, lett. d)に従い、以下の事項を参照しながら、本規則に対する処理を遵守すること。
a) 本規定の受領後60日以内に、情報、処理登録及び影響評価を含む文書を正しく作成すること。
b) この規定を受領してから60日以内に、処理されたデータの保存期間を特定すること。
c) 本規定の受領後60日以内に、プラットフォームを通じて行われるプロファイリングを含む自動処理に関連して、データ対象者の権利、自由および正当な利益、少なくともデータ管理者による人的介入を受ける権利、意見を表明する権利および決定に異議を唱える権利を保護するための適切な措置を特定すること
d) エラーのリスクを最小限にするために、アルゴリズムシステムの結果の正しさと正確さを定期的に検証することを目的とした適切な手段を特定すること、およびart. 47-quinquies, d. lgs. 81/23015の差別の禁止、プラットフォームへのアクセスおよびプラットフォームからの排除に関する規定を遵守するために、本規定の受領後60日以内に開始し、その後90日以内に検証活動を終了すること。
e) フィードバックに基づくレピュテーションメカニズムの不適切かつ差別的な使用を回避するためのツールを導入することを目的とした適切な措置を特定すること。スコアの計算にフィードバックを使用することに関連して、アルゴリズムを変更するたびに繰り返さなければならないチェックであり、本規定の受領後60日以内に開始し、その後90日以内に検証活動を終了すること。
f) 本規定を受領してから60日以内に、最小化の原則、設計およびデフォルトによるプライバシーの原則を適用すること。
g) システムへのアクセスを許可された対象者を監督者として特定し、そのようなアクセスを必要とする所定の仮説および特定の目的を定義し、そのようなアクセスの検証を確実にするための適切な手段を採用すること。
h) 本規定の受領後60日以内に、l. 20.5.1970, n. 300の第4条第1項の規定を履行すること。
2) 本規定の通知から30日以内に、法令第689号の第27条に基づく関連行政行為の採択を条件に、付属書に示された方法で、上記の金額である250万ユーロを支払うこと。(略)
命令
条に従って 58条により、 250万 ユーロを支払うよう、Deliveroo Italy社に対し、規則 58 条 2 項 に基づいて命令をなす。
で、我が国でも、食事デリバリーサービスが一般化しつつあるわけですが、そこでも同様のアプリケーションが利用されているのは、想像に難くないといえます。配達員の個別のデータ、配達自体のデータなどが収集・分析されていることは、論をまたないかと思います。
欧州におけるGDPRによる処理を考えるのに、同規則22条1項
データ主体は、当該データ主体に関する法的効果をもたらすか又は当該データ主体に同様の重大な影響をもたらすプロファイリングなどの自動化された取扱いのみに基づいた決定に服しない権利を持つ。
とされており、特にアルゴリズムによる決定については、この規定の意味は大きいものといわなければならないでしょう。
我が国においては、そのような規定は、議論されていないので、これらの命令は、直接我が国に影響があるわけではないでしょう。しかしながら、「適正な取得」(個人情報保護法17条)の解釈による取扱を示唆する立場(山本龍彦「AI 時代のプライバシーとデータ保護 ――プロファイリングを中心に― 」参照)もあるようなので、今後の議論については、ウォッチしておくべきかと思います。
