BTC
$96,000
5.73%
ETH
$3,521.91
3.97%
HTX
$0.{5}2273
5.23%
SOL
$198.17
3.05%
BNB
$710
3.05%
lang
简体中文
繁體中文
English
Tiếng Việt
한국어
日本語
ภาษาไทย
Türkçe
Trang chủ
AI AI
Tin nhanh
Bài viết
Sự kiện
BlockBeats Pro
Thêm
Thông tin tài chính
Chuyên đề
Hệ sinh thái chuỗi khối
Mục nhập
Podcast
Data
OPRR
Partnered With:

Sự bắt đầu và kết thúc của tình trạng hỗn loạn mạng trên mạng thử nghiệm Ethereum Huy chương

Đọc bài viết này mất 25 phút
Có thể rút ra bài học gì từ sự việc này.

Tác giả gốc: Ben Edgington

Bản biên soạn gốc: A Jian , Những người đam mê Ethereum




Lưu ý của biên tập viên: Vào ngày 15 tháng 8 năm 2020, mạng thử nghiệm Huân chương đã có sự sụt giảm đáng kể về tỷ lệ tham gia của những người xác thực. Lý do là ứng dụng khách Prysm đã sử dụng dịch vụ thời gian thô của Cloudflare theo mặc định để hiệu chỉnh các nút. Local nhưng dịch vụ thời gian thô lúc đó bị lỗi khiến thời gian cục bộ của tất cả các nút Prysm nhanh hơn 4 giờ, kết quả là các nút Prysm bị cô lập với các nút sử dụng máy khách khác.


Sau sự cố, nhóm khách hàng của Prysm đã nhanh chóng đưa ra các bản sửa lỗi khẩn cấp và theo dõi sát sao tình hình. Tuy nhiên, mạng thử nghiệm Huy chương vẫn tiếp tục rơi vào tình trạng hỗn loạn vì nhiều lý do và không thể hoàn tất kỷ nguyên. Trên thực tế, sau sự cố, tính đến thời điểm công bố, mạng thử nghiệm Huân chương chỉ mới hoàn thiện khối vào sáng sớm ngày 20 tháng 8 năm 2020, giờ Bắc Kinh. Sau đó, sự tham gia của các trình xác nhận giảm xuống dưới 66% và khối không thành công sắp được hoàn thiện.


Mặc dù thực tế đáng lo ngại, nhưng nó chỉ mang lại cho chúng ta cơ hội kiểm tra mạng Eth2 và kiểm tra hành vi của các nút - không bao giờ nên bỏ qua cơ hội kiểm tra và phản ánh như vậy, nếu không chúng ta vẫn có thể mắc lại những sai lầm tương tự.


Chúng tôi đã chọn lọc nhiều tài liệu, cố gắng tái tạo sự thật hoàn chỉnh từ nhiều góc độ và cấp độ, đồng thời bao gồm càng nhiều yếu tố không thể bỏ qua càng tốt. Đúng là chúng ta thiếu con mắt của Chúa để có thể quan sát được tình hình chung của một mạng lưới phi tập trung và chiều sâu nhận thức phải có ranh giới của nó, nhưng chúng ta vẫn hy vọng rằng quá trình phục hồi của một mạng đã rơi vào tình trạng hỗn loạn và động lực yếu tố của những người tham gia vào quá trình này, có thể có một mô tả đầy đủ. Cho đến nay, mục tiêu này vẫn chưa đạt được.


Tài liệu đầu tiên, từ Prysm Client kỹ sư prestonvanloon.eth đã báo cáo vụ việc trên Twitter.


Một nghiên cứu sơ bộ về sự thất bại toàn cầu của mạng thử nghiệm Huy chương 


phil.eth:


Mạng thử nghiệm ETH 2.0 Huy chương hiện không thể hoàn thiện các khối do sự cố với thời gian thô đồng bộ hóa đồng hồ của máy khách Prysm. . Đã có bản sửa lỗi. Người dùng Prysm vui lòng cập nhật và khởi động lại máy khách của bạn. Tình huống bất ngờ này một lần nữa chứng tỏ tầm quan trọng của tính đa dạng của khách hàng và mạng thử nghiệm.


prestonvanloon.eth:


Đầu ngày hôm nay (15/8), Prysm đã trải qua đợt ngừng hoạt động toàn cầu kéo dài gần 90 phút. Toàn bộ câu chuyện về sự việc này như sau:


Vào khoảng 17:30 UTC (1:30 sáng giờ Bắc Kinh), @terencechain phát hiện ra rằng đồng hồ của khách hàng của mình đã nhanh hơn 4 giờ. Ngay sau đó, cảnh báo lệch đồng hồ xuất hiện và kênh bất hòa tràn ngập các báo cáo của người dùng.


Thực sự có vấn đề với Khách hàng của Prysm.


Sự tham gia của trình xác thực trên mạng thử nghiệm Huy chương đã giảm mạnh và mức giảm của nó thậm chí còn vượt quá tốc độ về 0 của $ YAM, từ 75% xuống dưới 5%. Nhóm Prysmatic Labs ngay lập tức triển khai các hoạt động khẩn cấp.


Chúng tôi đã quyết định thay đổi phần mềm để tắt đồng bộ hóa đồng hồ thời gian thô theo mặc định và thay thế nó bằng cờ tính năng tùy chọn. Điều này sẽ ngăn chặn những vấn đề như vậy xảy ra lần nữa trên quy mô lớn. Từ giờ trở đi, kết quả thời gian thô sẽ chỉ được tham chiếu bởi phần mềm máy khách và sẽ không còn được sử dụng để hiệu chỉnh đồng hồ tự động nữa.


Hình bên dưới là khoảng thời gian mà nút Prysm có đồng hồ lệch hơn 2 giây, từ 1:30 đến 3:00 sáng giờ Bắc Kinh Kéo dài khoảng 90 phút. (Lưu ý: Hình ảnh bên dưới là Giờ chuẩn Thái Bình Dương.)


Nguồn hình ảnh: @prestonvanloon.eth


Bây giờ, chúng tôi Nhìn vào dữ liệu này, tôi nghĩ đến câu hỏi "Làm thế nào máy chủ thời gian thô có thể sai lệch nhiều như vậy?" Dữ liệu cho thấy độ lệch được báo cáo bởi tất cả các máy chủ Prysm là dưới 0,1 giây. Tại sao cuối cùng lại đến trước 4 tiếng?


Nguồn hình ảnh: @prestonvanloon.eth


Chúng tôi vẫn đang điều tra vấn đề này! Đây chắc hẳn là một lỗi tính toán delta thời gian thô, chúng tôi hy vọng sẽ sớm tìm ra nó. Bất kể những phát hiện đó là gì, chúng tôi tin rằng việc hiệu chỉnh thời gian tự động nên được thực hiện tùy chọn hoặc thậm chí loại bỏ hoàn toàn.


Chào mừng bạn đến đọc báo cáo hậu điều tra đầy đủ và tìm hiểu về tiến trình điều tra mới nhất.


Trước khi mạng chính trực tuyến, mạng thử nghiệm được sử dụng để phát hiện những vấn đề như vậy. Đối mặt với tình trạng này, người dùng sẽ có nhiều lựa chọn hơn cho khách hàng.


(Kết thúc)


Lưu ý của biên tập viên: Tài liệu thứ hai lấy từ báo cáo phân tích của nhóm khách hàng Prysm, với bản ghi dòng thời gian chi tiết. Từ đó, chúng ta có thể biết toàn bộ quá trình ứng dụng khách Prysm phát hành các bản sửa lỗi khẩn cấp, cũng như các tác động phụ của các bản sửa lỗi khẩn cấp (bản thân các bản sửa lỗi khẩn cấp cũng mang lại sự cố). Khi bản dịch này được xuất bản, báo cáo phân tích cho biết nguyên nhân cụ thể của sự cố đã được tìm ra. Điều đáng nói là báo cáo ban đầu sử dụng thời gian UTC (Giờ phối hợp quốc tế) và chúng tôi luôn chuyển đổi nó sang giờ Bắc Kinh.


 thời gian tạm dừng " báo cáo phân tích sự kiện


Tác giả: Terence, Raul, Preston


Trạng thái: Đang chờ giải quyết. Nguyên nhân gốc rễ đã được tìm thấy và vấn đề đã được giảm nhẹ.


Mạng: Huy chương


Tóm tắt: Tất cả các máy chủ hoạt động trong thời gian thô của Cloudflare đều trả về thông báo lỗi và các nút Prysm đã không thực hiện các biện pháp khẩn cấp thích hợp. Lỗi này khiến đồng hồ bị lệch trên tất cả các nút Prysm. Dưới ảnh hưởng của độ lệch đồng hồ, người xác thực đề xuất các khối và tạo thông báo chứng kiến cho các vị trí nâng cao.


Tác động: Do lỗi phản hồi trong thời gian thô và độ lệch đồng hồ, trình xác thực tính toán vị trí không chính xác và khối được đề xuất cũng như thông báo nhân chứng được tạo ra đều không hợp lệ. Vấn đề này ảnh hưởng đến sự tham gia toàn cầu. Tất cả các nút Prysm đều bị ảnh hưởng trong khoảng thời gian từ 1:30 đến 2:45 sáng theo giờ Bắc Kinh.


Nguyên nhân cốt lõi: Lỗi phản hồi trong thời gian thô từ máy chủ Cloudflare. Cụ thể là do "ticktock" báo thời gian 24 giờ trong tương lai. Dấu thời gian này, được tính trung bình trên tất cả 6 máy chủ, dẫn đến việc điều chỉnh thời gian +4 giờ cho tất cả các nút Prysm.


Giải pháp: Trước khi chúng tôi đánh giá thời gian khó khăn Khi nào ứng phó với các sự cố tiềm ẩn do lỗi gây ra, trước tiên hãy thực hiện tùy chọn đồng bộ hóa đồng hồ thời gian thô.


Khám phá: Terence lần đầu tiên phát hiện ra vấn đề này. Anh ta nhận thấy rằng một nút chuỗi đèn hiệu cục bộ đã từ chối các tin nhắn chứng kiến và chặn nâng cao. Sau vài phút, một cảnh báo được tạo ra do độ lệch đồng hồ trong thời gian thô cao. Đồng thời, người dùng trong kênh #general và #bug-report bắt đầu báo cáo sự cố với các nút cục bộ từ chối các khối nâng cao và thông tin chứng kiến.

 


Bài học rút ra


Đã xảy ra lỗi gì


Chúng tôi đã nhầm tưởng rằng chúng tôi đã có sẵn kế hoạch dự phòng cho các lỗi máy chủ trong thời gian khó khăn.
Mọi nút Prysm trong mạng đều bị ảnh hưởng đồng thời, dẫn đến sự tham gia của người xác thực giảm đáng kể.
Nhóm Prysmatic Labs ban đầu tin rằng bản thân các máy chủ NTP tương đối phân tán và mỗi máy chủ đã mở 6 cổng nên sẽ không có lỗi toàn cầu.


May mắn thay


Một cộng tác viên đã gửi Yêu cầu kéo cho chúng tôi (cảm ơn @ncitron) để thực hiện chức năng chọn không tham gia hiệu chỉnh thời gian thô.
Giờ đây, chúng tôi có tùy chọn hủy ngay việc hiệu chỉnh đồng hồ thời gian thô bằng cách sử dụng cờ dòng lệnh, giúp việc khắc phục trở nên đơn giản và chỉ cần một Pull Requtest duy nhất để xác minh.
Người dùng tích cực tham gia thảo luận trên Discord. Có một số lượng lớn người dùng cung cấp các báo cáo chi tiết và số liệu quan trọng khi có sự cố xảy ra với các nút.
Chúng tôi có cơ chế đồng bộ hóa lại liên tục, cập nhật liên tục thời gian cục bộ của nút khi nút này phát hiện độ lệch đồng hồ lớn hơn 2 giây. Chúng tôi đã hiệu chỉnh lại đồng hồ thời gian thô để giải quyết vấn đề này nhanh hơn. Điều này có thể khiến sự kiện kết thúc sớm hơn khoảng 30 phút đến một giờ.
Vấn đề đồng bộ hóa đồng hồ thời gian thô dường như đã được giải quyết sau khoảng 90 phút và sự cố đã kết thúc trước khi chúng tôi có thể vội vàng tung ra phiên bản mới.


Dòng thời gian (giờ Bắc Kinh)


2020/08/15


1:25 AM: Terence phát hiện ra rằng nút cục bộ của mình đang nhận được một số lượng lớn cảnh báo do liên tục từ chối các khối nâng cao. Thời gian của các khối này còn hơn 4 giờ nữa.


1:28 sáng: Hệ thống cảnh báo và giám sát Prometheus đã nhận được cảnh báo có độ lệch thời gian thô cao. Vào thời điểm đó, 10 kỷ nguyên đã trôi qua kể từ lần cuối mạng hoàn thành một khối.


1:35 sáng: Ít nhất 30 người dùng trong kênh Discord cho biết họ bắt đầu nhận được cảnh báo sau: CẢNH BÁO thời gian thô: Thời gian thô báo cáo đồng hồ của bạn tắt hơn 2 giây offset=4h0m0.028854657s (cảnh báo thời gian thô: Thời gian thô báo cáo đồng hồ của bạn tắt hơn 2 giây offset= 4h0m0.028854657s = 4h0m0.028854657s)


1:43 AM: Terence đã gửi tin nhắn cảnh báo nhóm trên kênh #war-room, nói rằng đây là sự cố cấp độ PS0 và mọi người cần phải hợp tác cùng nhau để vượt qua khó khăn.


1:45 sáng: Một người dùng trên kênh Discord đã đề xuất rằng việc khởi động lại nút chuỗi beacon và ứng dụng khách xác thực sẽ không tạm thời giải quyết được sự cố. Giải pháp khả thi nhất là biến đồng bộ hóa đồng hồ thời gian thô thành một tính năng tùy chọn bị vô hiệu hóa.


1:51 sáng: Sự cố đã chuyển sang phòng trò chuyện nhiều khách hàng


1:52 AM: Ivan đã hoàn thành  https://github.com/prysmaticlabs/prysm/pull/6898


2:00 sáng: Terence đã thử nghiệm Pull Yêu cầu 6898 cục bộ với 512 trình xác thực.


2:20 sáng: Theo nhật ký gỡ lỗi được ghi lại, máy chủ "ticktock" đã báo cáo thời gian vượt quá 24 giờ trong một thời gian.



2:27 sáng: Raul liên lạc với Preston. Preston sẽ quay lại sau một giờ nữa để xây dựng một phiên bản mới. Đồng thời, chúng tôi sẽ phát hành hình ảnh docker.


2:40 AM: Preston chỉ ra rằng các bản sửa lỗi khẩn cấp là chưa đủ và chúng tôi cần loại bỏ tính năng đồng bộ hóa đồng hồ thời gian thô làm mặc định.


2:42 sáng: Raul bắt đầu điều tra Kibana và sử dụng các bộ lọc trong Fluentd để phân tích các phản hồi của nhật ký gỡ lỗi trong thời gian khó khăn.


2:43 sáng: Terence đã kiểm tra chéo nhật ký kubectl cho tất cả các nhóm trong vùng tên chuỗi beacon. Đúng như dự đoán, nhóm có vấn đề về độ lệch đồng hồ thời gian thô.


2:46 Sáng: Raul tới PR 6898 đã gửi bản sửa lỗi chính xác.


3:05 sáng: Raul xác nhận rằng bản sửa lỗi sẽ cho phép các nút hoạt động cục bộ. Bản sửa lỗi sẽ tạo nhật ký cảnh báo nếu có hiện tượng lệch đồng hồ nhưng sẽ không cố cập nhật thời gian dựa trên máy chủ thời gian thô.


3:08 sáng: Terence đã thông báo với mọi người trên kênh bất hòa của chúng tôi: "Đã xảy ra lỗi phản hồi trong thời gian thô trên nút Prysm và các biện pháp khẩn cấp không đạt được kết quả như mong đợi. Chúng tôi đã tìm ra lỗi và sẽ sớm tiến hành sửa chữa khẩn cấp, đồng thời sẽ hoàn thành nó vào ngày 1. Một phiên bản mới sẽ được tung ra trong vòng vài giờ. Trong phiên bản mới sắp tới, đồng bộ hóa đồng hồ thời gian thô sẽ không còn là tùy chọn mặc định nữa."


3:18 AM: Kiểm tra đơn vị Buildkite, kiểm tra thông số kỹ thuật và hình ảnh docker đã được xây dựng thành công. Thử nghiệm e2e vẫn chưa hoàn tất. Preston đã sẵn sàng bắt đầu quá trình đưa vào hoạt động.


3:22 sáng: Phiên bản mới được tạo: https://github.com/. Terence xác nhận rằng phương pháp này có thể sửa chữa các nút xác thực của nó. Preston bắt đầu bằng cách khởi động lại tuần tự các nhóm trong bộ sưu tập trạng thái của chúng tôi bằng hình ảnh docker mới. Trình chứng nhận cụm được cập nhật dựa trên hình ảnh mới (không có đĩa tạm thời nào được giữ lại).


3:34 AM: Docker image được đánh dấu là phiên bản alpha 21, có độ ổn định tốt và tệp nhị phân đã được xây dựng


3:34 AM: Dành cho trạng thái bộ sưu tập Theo dõi tình trạng hoạt động của nhóm để đảm bảo cập nhật luân phiên thành công


3:36 AM: Ra mắt nhóm trình xác thực của chúng tôi bằng hình ảnh docker mới.


4:29 AM: Xem giá trị độ trễ được trả về trên nhật ký. Trung bình, các giá trị này xuất hiện dưới 0,1 giây. Độ trễ không phải là thước đo quan trọng trong cuộc điều tra. Nói chính xác thì “điểm giữa” mới là nơi cần nghiên cứu. Lưu ý: Thời gian trong bảng bên dưới là Giờ chuẩn Thái Bình Dương.

https:// kibana.prylabs.network/


- Nguồn ảnh: @prestonvanloon.eth -


5:32 AM : Xem độ lệch trên 2 giây. Như có thể thấy từ dữ liệu này, thời gian bù của nhà sản xuất khối Prylabs là khoảng 14.000 giây trong thời gian ngừng hoạt động toàn cầu kéo dài 90 phút. Lưu ý: Thời gian trong bảng bên dưới là Giờ chuẩn Thái Bình Dương. https://kibana.prylabs.network/


- Nguồn ảnh: @prestonvanloon.eth -


4:41 AM: Thông qua dữ liệu về độ lệch trung bình của hệ thống báo động Prometheus, chúng ta có thể thấy rõ điều đó trong khoảng thời gian từ 1:30 đến 2:00 sáng Giờ Bắc Kinh Chắc chắn đã xảy ra sự cố lệch đồng hồ trong khoảng thời gian từ 45 đến sau đó độ lệch bắt đầu giảm trở lại bình thường.


4:52 AM: Cuộc điều tra ngay lập tức đã kết thúc. Sự cố lệch đồng hồ này dường như đã kết thúc và bản sửa lỗi đã được phát hành. Các nút đã được cập nhật sẽ được khôi phục ngay lập tức và các nút chưa được cập nhật sẽ cần được khôi phục sau một thời gian. Hệ thống giám sát cho thấy sự tham gia của người xác nhận đang dần phục hồi.


6:20 AM: Người dùng báo cáo rằng tính năng bảo vệ chém đã được kích hoạt. Điều này là do sự lệch đồng hồ trước đó đã khiến người xác thực đề xuất các khối và tạo thông báo chứng thực trước 4 giờ so với lịch trình. Để tránh bị chém, trình xác thực Prysm đã không tiếp tục đề xuất các khối không hợp lệ.


8:13 AM: Lại thất bại


8:13 AM: Nishant nhận thấy những sai sót nghiêm trọng trong PR số 6898. Người dùng chỉ có thể đặt chức năng của nó nếu cờ tính năng thời gian thô được bật.


8:16 sáng: Cập nhật Preston Tệp nhị phân "mới nhất" được trỏ đến phiên bản alpha 20 để triển khai khôi phục tạm thời và người dùng nên quay lại phiên bản alpha 20. Hiện chúng tôi đang chờ PR 7004 được sáp nhập làm ứng cử viên cho alpha 22.


8:45 sáng: Nhóm trực đang đánh giá xem có nên mở rộng kích thước của bộ đệm trạng thái nóng để alpha 22 có thể đưa mạng trở lại hoàn thiện các khối nhanh hơn hay không. Kích thước bộ đệm trạng thái nóng mặc định hiện tại là 8 kỷ nguyên, nhưng gần 100 kỷ nguyên đã trôi qua kể từ khi khối cuối cùng được hoàn thiện trên mạng thử nghiệm Huy chương.


9:12 sáng: Nhóm trực đã quyết định cập nhật kích thước bộ đệm mặc định lên 64 kỷ nguyên và đặt cấu hình bộ đệm đó thông qua cờ tính năng. Sau khi thử nghiệm sơ bộ, điều này có khả năng tăng mức sử dụng bộ nhớ lên 1,5G. Kích thước bộ đệm có thể được điều chỉnh sau khi mạng khởi động lại các khối hoàn thiện.


9:57 sáng: Tất cả các nút xác thực của Prysmatic Labs đã tạo ra các thông báo nhân chứng sẽ bị cắt bỏ. Bản sửa lỗi khẩn cấp sẽ xóa bộ nhớ cục bộ của các nút trình xác thực Prylabs. Không có cơ chế bảo vệ chém bên ngoài đang hoạt động. Tình hình chính xác vẫn chưa được xác nhận... ít nhất 800 trong số 1.024 trình xác nhận đã hoặc sắp bị cắt giảm.


10:37 sáng: Nhiều người dùng báo cáo không thể đồng bộ hóa chuỗi khối. Vấn đề hiện tại là có quá nhiều nút trong mạng đồng bộ hóa cùng một lúc. Phiên bản Alpha 22 đã bị trì hoãn cho đến khi có thông báo mới.


10:46 sáng: Nhóm Prylabs Nghĩ rằng điều tốt nhất nên làm bây giờ là chờ đợi. Người dùng nên chạy phiên bản alpha 20 hoặc hình ảnh docker mới nhất.


2020/08/16


2:12 AM: Sự cố khó đồng bộ hóa đang được điều tra.


11:36 sáng: Nishant và Victor đưa ra bản sửa lỗi đồng bộ hóa ban đầu. Xem Yêu cầu kéo 7012.


2020/8/17


1:51 AM: gộp và kéo PR số 7012. Một số người dùng báo cáo rằng đồng bộ hóa đã thành công. Prysmatic Labs bắt đầu triển khai 7012 cho các nhà sản xuất khối.


5:15 sáng: Quá trình phát triển phiên bản Alpha.22 bắt đầu từ cam kết 0be1957c2897909b943b80fdd028f5346ae6cde6


5:33 sáng: Alpha 22 đã phát hành. Liên kết: https://github.com/


5:40 AM: Thông báo phiên bản Alpha 22 trực tuyến qua kênh Discord. Nhóm hỗ trợ của Prysmatic tiếp tục theo dõi quá trình đồng bộ hóa để tối ưu hóa. Đồng thời, ngày càng có nhiều người dùng đồng bộ hóa với khối mới nhất.


12:53 AM: Phiên bản Alpha 23 đã online, được công bố trên kênh Discord. Bản phát hành Alpha 23 chứa một số bản sửa lỗi đồng bộ hóa hy vọng sẽ giải quyết được các sự cố trên mạng thử nghiệm Huy chương. Khuyến cáo người dùng nên bật cờ "--dev" khi chạy để có trải nghiệm tốt hơn.

 

Liên kết gốc: https://hackmd .io



Chào mừng bạn tham gia cộng đồng chính thức của BlockBeats:

Nhóm Telegram đăng ký: https://t.me/theblockbeats

Nhóm Telegram thảo luận: https://t.me/BlockBeats_App

Tài khoản Twitter chính thức: https://twitter.com/BlockBeatsAsia

举报 Báo lỗi/Báo cáo
Chọn thư viện
Thêm mới thư viện
Hủy
Hoàn thành
Thêm mới thư viện
Chỉ mình tôi có thể nhìn thấy
Công khai
Lưu
Báo lỗi/Báo cáo
Gửi